Introducción a la Teoría de la Información Codificación de fuentes

Transcripción

1 Introducción a la Teoría de la Información Codificación de fuentes Facultad de Ingeniería, UdelaR (Facultad de Ingeniería, UdelaR) Teoría de la Información 1 / 1

2 Agenda (Facultad de Ingeniería, UdelaR) Teoría de la Información 2 / 1

3 Codificación de fuente Fuente generadora de mensajes de un alfabeto fuente X = {x 1,..., x m} con probabilidades p X(x i). A cada uno de los mensajes se le asignará una palabra de código C(x i). Cómo asignar las palabras de códigos de forma óptima y sistemática? (Facultad de Ingeniería, UdelaR) Teoría de la Información 4 / 1

4 Codificación de fuente Sea D = {0, 1,..., D 1} un alfabeto código D-ario. D = k= k=1 d k con d k = d 1d 2... d k con d i D, es el conjunto de posibles palabras que pueden formarse con los elementos de D. Definición (Código fuente) Un código fuente C para una variable aleatoria X es un mapeo de X en D, i.e., C : X D Cada mensaje x i tendrá asignado una palabra de código C(x i) de largo l(x i) = l i. Example C es un código de fuente para X = {x 1, x 2} con alfabeto D = B = {0, 1}, C(x 1) = 00 y C(x 2) = 11 (Facultad de Ingeniería, UdelaR) Teoría de la Información 6 / 1

5 Codificación de fuente Definición (Largo medio de un código) El largo medio L(C) de un código C(x) para una variable aleatoria X con distribución de probabilidad p(x) se define como L(C) = x X p(x)l(x) donde l(x) es el largo de la palabra de código asignada a x. Example p X(X ) = { 1 2, 1 4, 1 8, 1 8 } con C(X) = {0, 10, 110, 111}, L(C) = H(X) = 1,75 bits p X(X) = { 1 3, 1 3, 1 3 } con C(X) = {0, 10, 11}, L(C) = 1,66 > H(X) = 1,58 bits (Facultad de Ingeniería, UdelaR) Teoría de la Información 7 / 1

6 Clasificación de códigos Definición (Código no singular) Un código es no singular si cada elemento de X se mapea en una palabra de código diferente de D x i x j C(x i) C(x j) Definición (Extensión de un código) La extensión C de un código C es un mapeo de una secuencia de símbolos de X en un secuencia de D definida por C(x 1x 2... x n) = C(x 1)C(x 2)... C(x n), donde C(x 1)C(x 2)... C(x n) es la concatenación de las palabras de código. (Facultad de Ingeniería, UdelaR) Teoría de la Información 9 / 1

7 Clasificación de códigos Definición (Código unívocamente decodificable) Un código es unívocamente decodificable si su extensión es no singular. O sea, no hay ambigüedades al momento de decodificar una secuencia codificada. Definición (Código instantáneo) Un código es instantáneo o de prefijo si ninguna palabra de código es prefijo de otra palabra de código. (Facultad de Ingeniería, UdelaR) Teoría de la Información 10 / 1

8 Clasificación de códigos Example X C 1 C 2 C 3 C 4 C 5 x x x x C 1 es singular, no sirve para mucho C 2 no es unívocamente decodificable (UD), la secuencia 010 puede decodificarse como x 2, x 1x 4 o x 3x 1 C 3 es UD pero no es instantáneo. Si se recibe se decodifica x 2x 1x? x 3..x? x 4..x 3x 2 C 4 es instantáneo, es un código de puntuación (de coma), el 0 marca el final de la palabra, es eficiente? Si se recibe se decodifica x 1x 3x 4 C 5 es instantáneo. (Facultad de Ingeniería, UdelaR) Teoría de la Información 11 / 1

9 Desigualdad de Kraft Teorema (Desigualdad de Kraft) Para todo código instantáneo sobre un alfabeto de tamaño D y largos de palabra l(x 1), l(x 2),..., l(x m) se debe cumplir K = x X D l(x) 1 Igualmente dado un conjunto de largos de código que cumple la desigualdad, existe un código instantáneo con esos largos. Las longitudes de las palabras no pueden ser todas cortas, si hay una muy corta debe haber otras más largas. No especifica cómo asignar los largos. (Facultad de Ingeniería, UdelaR) Teoría de la Información 13 / 1

10 Desigualdad de Kraft Demostración Considerar un árbol D-ario (ramas, hojas y camino). D l máx l i D l máx i (Facultad de Ingeniería, UdelaR) Teoría de la Información 14 / 1

11 Desigualdad de Kraft extendida Teorema (Desigualdad de Kraft extendida) Para todo código instantáneo contable infinito sobre un alfabeto de tamaño D los largos de palabra deben cumplir + D l i 1 i=1 Igualmente dado un conjunto de largos de código que cumple la desigualdad, existe un código instantáneo con esos largos. (Facultad de Ingeniería, UdelaR) Teoría de la Información 15 / 1

12 Desigualdad de Kraft extendida Demostración Sea y 1y 2... y li la i-ésima palabra, y sea 0.y 1y 2... y li = l i j=1 y jd j el número real representado. El intervalo [0.y 1y 2... y li, 0.y 1y 2... y li + D l i ) [0, 1] contiene todos los reales cuya representación D-aria empieza con 0.y 1y 2... y li Todos estos intervalos son disjuntos por la condición de prefijo. Su suma debe ser menor que la longitud del intervalo + i=1 D l i 1 (Facultad de Ingeniería, UdelaR) Teoría de la Información 16 / 1

13 Desigualdad de Kraft para códigos UD I La clase de los codigos UD es más grande que la de los instantáneos, sin embargo no presentan ninguna ventaja respecto a la longitud de las palabras de código. Teorema (McMillan) El largo de las palabras de código l i para un código C UD deben cumplir la desigualdad de Kraft. D l i 1 Igualmente dado un conjunto de largos de código que cumple la desigualdad, existe un código UD con esos largos. (Facultad de Ingeniería, UdelaR) Teoría de la Información 17 / 1

14 Desigualdad de Kraft para códigos UD II Demostración Sea C k la extensión de orden k de C. C k es no singular. Por ser UD no hay más de D n secuencias de largo n en C k. k l(x k ) = l(x 1x 2... x k ) = l(x i) Consideremos ( (cont.) x X D l(x) ) k = = = x 1 X x 2 X x k X i=1 D l(x1) D l(x2)... D l(x k) D l(x1) D l(x2)... D l(xk) x 1,x 2,...,x k X k D l(x k ) x k X k (Facultad de Ingeniería, UdelaR) Teoría de la Información 18 / 1

15 Desigualdad de Kraft para códigos UD III Demostración Reescribimos esta sumatoria en término de la longitud de las palabras D l(x k ) = x k X k kl máx m=1 a(m)d m donde a(m) es el número de secuencias x k con palabra de largo m, además a(m) D m. ( ) k D l(x) = x X kl máx m=1 a(m)d m kl máx m=1 D m D m = kl máx Entonces j D l j (kl máx ) 1 k k 1 (Facultad de Ingeniería, UdelaR) Teoría de la Información 19 / 1

16 Desigualdad de Kraft para códigos UD IV Corolario Un código UD para un alfabeto fuente infinito también cumple la desigualdad de Kraft. Example Con los códigos analizados, y la fuente p X(X ) = { 1 2, 1 4, 1 8, 1 8 } de H(X) = 1,75bits X C 1 C 2 C 3 C 4 C 5 x x x x K L H/L (Facultad de Ingeniería, UdelaR) Teoría de la Información 20 / 1

17 Códigos instantáneos óptimos (o cómo buscarlos) Se puede plantear como un problema de optimización mín l 1,l 2,...,l m L = i p il i restringido a (Kraft) i D l i = 1 J = i ( ) p il i + λ D l i 1 i D l i = pi λ ln D Usando la restricción se llega a λ = 1/ ln D y p i = D l i, dando los largos óptimos l i = log D p i Con estos largos óptimos el largo medio queda L = i p il i = i p i log D p i = H D(X) Estos largos óptimos no tienen que ser enteros, en la práctica sí. Es un mínimo global? (Facultad de Ingeniería, UdelaR) Teoría de la Información 22 / 1

18 Primer Teorema de Shannon Teorema (Teorema de Codificación de Fuente) El largo medio de un código C instantáneo, D-ario para una variable aleatoria X es mayor o igual a la entropía de X L(C) H D(X) y la igualdad se cumple sii p i = D l i La igualdad se da sii p i = q i = D l i (K = 1); distribución D-ádica. El procedimiento para encontrar el código óptimo sería hallar la distribución D-ádica más cercana a la distribución de X (en el sentido de la entropía relativa). Pero esto no siempre es fácil. Es una cota para la longitud media para la descripción de una fuente, no se puede comprimir más allá de la entropía. (Facultad de Ingeniería, UdelaR) Teoría de la Información 24 / 1

19 Teorema de Codificación de Fuente Demostración Sea K = i D l i 1 y q i = D l i /K una distribución de probabilidad D(p q) = i p i log D p i q i = i p i log D p i i p i log D q i = H D(X) i = H D(X) i p i log D D l i K p i log D D l i + i p i log D K = H D(X) + i p il i + log D K i p i = H D(X) + L(C) + log D K 0 La igualdad se da si D(p q) = 0 y K = 1. (Facultad de Ingeniería, UdelaR) Teoría de la Información 25 / 1

20 Cotas para el largo medio Qué pasa si li = log D p i no es entero? Se toma el menor entero mayor 1 l i = log D li p i Estos largos cumplen con la cota de Kraft i D log D log D 1 p i l i < log D 1 p i pi i D log D 1 p i = i p i = 1 H D(X) L < H D(X) + 1 El largo óptimo L también cumple con estas cotas H D(X) L L < H D(X) + 1 (Facultad de Ingeniería, UdelaR) Teoría de la Información 27 / 1

21 Cotas para el largo medio Por lo menos 1 bit de exceso, cómo repartirlo? Consideremos un sistema que genera símbolos independientes. Y consideremos la secuencia (x 1, x 2,..., x n) = x n un símbolo de la fuente extendida X n L n = 1 p(x1, x 2,..., x n)l(x 1, x 2,..., x n) = 1 El(X1, X2,..., Xn) n n Aplicando la cota a esta fuente H(X 1, X 2,..., X n) El(X 1, X 2,..., X n) < H(X 1, X 2,..., X n) + 1 Al ser símbolos independientes: H(X 1, X 2,..., X n) = nh(x). H(X) L n < H(X) + 1 n (Facultad de Ingeniería, UdelaR) Teoría de la Información 28 / 1

22 Cotas para el largo medio Si la secuencia proviene de un proceso estocástico estacionario H(X 1, X 2,..., X n) El(X 1, X 2,..., X n) < H(X 1, X 2,..., X n) + 1 H(X 1, X 2,..., X n) n recordando que lím n H(X 1,X 2,...,X n) n Teorema L n < H(X1, X2,..., Xn) n El largo medio mínimo por símbolo para un proceso cumple H(X 1, X 2,..., X n) n + 1 n = H(X ) es la tasa de entropía del proceso X i L n < H(X1, X2,..., Xn) n y si (X 1, X 2,..., X n) es estacionario con tasa de entropía H(X ) L n H(X ) + 1 n (Facultad de Ingeniería, UdelaR) Teoría de la Información 29 / 1

23 La mala distribución Qué pasa si utilizamos una distribución q(x) p(x)? Sea p(x) la distribución real y q(x) la distribución usada para elegir el código C de largos l(x) = log 1 q(x) Teorema El largo medio con p(x) para el código asignado con l(x) = H(X) + D(p q) E pl(x) < H(X) + D(p q) + 1 log 1 cumple q(x) D(p q) es el incremento en la complejidad de la descripción debido a «información incorrecta». (Facultad de Ingeniería, UdelaR) Teoría de la Información 30 / 1

24 La mala distribución Demostración La clave x x < x + 1 E pl(x) = p(x) log 1 q(x) x < ( p(x) log 1 ) q(x) + 1 x = ( ) p(x) 1 p(x) log + 1 q(x) p(x) x = p(x) log p(x) q(x) + p(x) log 1 p(x) + 1 x x = D(p q) + H(X) + 1 (Facultad de Ingeniería, UdelaR) Teoría de la Información 31 / 1

25 Códigos de Shannon-Fano Es un procedimiento subóptimo para construir un código, que alcanza una cota de L(C) H(X) + 2 Ordenar las probabilidades en forma decreciente. Seleccionar k tal que k i=1 pi m i=k+1 pi sea mímima Asignar un bit (diferente) a cada uno de los subconjuntos (cercanos a equiprobables) en que se divide la fuente. Repetir el procedimiento para todos los subconjuntos. Example p i c i (Facultad de Ingeniería, UdelaR) Teoría de la Información 34 / 1

26 Códigos de Huffman Un código instantáneo óptimo (mínima p il i) para una distribución dada puede ser construído con un (simple) algoritmo propuesto por David A. Huffman en Es un procedimiento recursivo que en cada paso agrupa los D símbolos menos probables para formar un nuevo símbolo. Example Para una fuente con X = {x 1, x 2, x 3, x 4, x 5}, con probabilidades p = {0,25, 0,25, 0,2, 0,15, 0,15} hallar el código de Huffman con D = 2 y D = 3. (Facultad de Ingeniería, UdelaR) Teoría de la Información 36 / 1

27 Códigos de Huffman Si D 3 puede ser que no haya suficientes símbolos para combinar en cada iteración. En este caso se agregan símbolos falsos con probabilidad cero. En cada iteración se reducen en (D 1) el número de símbolos. el número inicial de símbolos debe ser 1 + k(d 1) donde k es el número de niveles del árbol. Deben agregarse tantos símbolos falsos como sea necesario, pero cada uno de éstos será una palabra del código que no se usará. (Facultad de Ingeniería, UdelaR) Teoría de la Información 37 / 1

28 Comentarios sobre los códigos de Huffman Códigos de Huffman y número de preguntas. Para hallar el número óptimo de preguntas (con respuesta si/no) para determinar un objeto (conociendo las probabilidades de los objetos) cuál es la secuencia de preguntas más eficientes? El número medio de preguntas EQ siguiendo el esquema de Huffman cumple H(X) EQ < H(X) + 1 Códigos de Huffman y códigos alfabéticos. Las preguntas que responden los códigos de Huffman son del estilo Es X A?. Cómo usar Huffman para responder Es X > a? Supongamos que los símbolos están ordenados por probabilidad p 1 p 2 p m, Huffman asigna largos l 1 l 2 l m. Luego creamos otro código con esos largos (óptimo) asignando las palabras en orden recorriendo los nodos libres del árbol. x 1 : x 2 : x 3 : x 4 : x 5 : (Facultad de Ingeniería, UdelaR) Teoría de la Información 38 / 1

29 Optimalidad de los códigos de Huffman Probaremos el siguiente lema para un código instántáneo óptimo cualquiera. Asumiremos que las probabilidades están ordenadas p 1 p 2 p m. Lema Para toda distribución existe un código instantáneo óptimo (mínima p il i) que cumple las siguientes propiedades: 1 Si p j > p k, entonces l j l k 2 Las dos palabras de código más largas tienen el mismo largo 3 Las dos palabras de código más largas difieren en el último bit y corresponden a los dos símbolos menos probables. (Facultad de Ingeniería, UdelaR) Teoría de la Información 39 / 1

30 Optimalidad de los códigos de Huffman Demostración [Demostración de 1] Sean C m un código óptimo y C m un código igual que C m pero con las palabras j y k intercambiadas, entonces L(C m) L(C m) = p il i p il i = p jl k + p k l j p jl j p k l k = (p j p k )(l k l j) 0 Como (p j p k ) > 0 entonces (l k l j) 0 (Facultad de Ingeniería, UdelaR) Teoría de la Información 40 / 1

31 Optimalidad de los códigos de Huffman Demostración [Demostración de 2] Supongamos que C(x α) y C(x β ) son las dos palabras más largas, con largos l α, tal que l β y l β = l α + 1. Como es un código de prefijo, podemos quitarle el bit extra a C(x β ) y tener un código más corto y que conserva la propiedad de prefijo. Entonces las dos palabras más largas tienen igual largo y por la propiedad 1 son las menos probables. (Facultad de Ingeniería, UdelaR) Teoría de la Información 41 / 1

32 Optimalidad de los códigos de Huffman Demostración [Demostración de 3] Si hay una palabra de código de longitud máxima que no este en el mismo nivel del árbol que otra, se le puede quitar el último bit (igual que en 2), lo cual contradice que sea un código óptimo. Entonces toda palabra de largo código máximo tiene una «hermana» en el mismo nivel del árbol. Se pueden intercambiar las palabras de código de estos dos símbolos y el largo medio no cambia. Por lo tanto estas dos palabras coinciden en todos los bits excepto en el último. (Facultad de Ingeniería, UdelaR) Teoría de la Información 42 / 1

33 Optimalidad de los códigos de Huffman Si p 1 p 2 p m existe un código óptimo con largos tal que l 1 l 2 l m 1 = l m y C(x m 1) y C(x m) difieren en el último bit. (Facultad de Ingeniería, UdelaR) Teoría de la Información 43 / 1

34 Optimalidad de los códigos de Huffman Dado C m óptimo para m símbolos construiremos un código C m 1 para m 1 símbolos Agrupar las dos palabras de mayor longitud (menor probabilidad) en un nuevo símbolo de probabilidad p m + p m 1 El resto de las palabras queda igual El nuevo código queda así p(x) Palabra Largo p 1 w 1 = w 1 l 1 = l 1 p 2 w 2 = w 2 l 2 = l 2.. p m 2 w m 2 = w m 2 l m 2 = l m 2 p m 1 + p m w m 1 l m 1 = l m 1 1 = l m 1 además w m 1 = w m 10 y w m = w m 11. (Facultad de Ingeniería, UdelaR) Teoría de la Información 44 / 1

35 Optimalidad de los códigos de Huffman La relación entre los largos medios de los códigos queda L(C m) = = = = m p il i i=1 m 2 i=1 m 2 i=1 m 1 i=1 p il i + p m 1(l m 1 + 1) + p m(l m 1 + 1) p il i + (p m 1 + p m)l m 1 + (p m 1 + p m) p il i + (p m 1 + p m) = L(C m 1) + (p m 1 + p m) Minimizar L(C m) es igual que minimizar L(C m 1). Así se llega a un código de dos símbolos, el cuál tiene una solución obvia (C 2 = {0, 1}). (Facultad de Ingeniería, UdelaR) Teoría de la Información 45 / 1

36 Optimalidad de los códigos de Huffman Al mantener la optimalidad en cada paso de la recursión el código obtenido es óptimo. Todo esto demuestra el siguiente Teorema Los códigos de Huffman son óptimos. Si C es un código de Huffman y C otro código cualquiera para la misma fuente, entonces L(C ) L(C ). También es válido para un código D-ario. (Facultad de Ingeniería, UdelaR) Teoría de la Información 46 / 1

37 Códigos de Huffman: desventajas largo entero codificar en bloques aumento de la complejidad variación de la distribución de probabilidad de la fuente (ej.: texto, imágenes) adaptación de las probabilidades. estimación a priori adaptada al mensaje. implican desperdicio de bits, pero se usa. (Facultad de Ingeniería, UdelaR) Teoría de la Información 47 / 1

38 Codigos de Shannon-Fano-Elias Es un procedimiento constructivo que utiliza la función de distribución acumulativa para asignar palabras de código. Supongamos que X = {x 1, x 2,..., x m} y p(x i) > 0 i = 1... m. La función de distribución acumulativa es F (x) = a x p(a) Usaremos una variante F (x) = a<x p(a) p(x) F (a) F (b) si a b F (x) es un código para x (Facultad de Ingeniería, UdelaR) Teoría de la Información 49 / 1

39 Codigos de Shannon-Fano-Elias Con qué precisión debemos representar F (x) para que sea un código válido? Sea F (x) l(x) el truncamiento de F (x) con l(x) bits, Si l(x) = log p(x) + 1 F (x) F (x) l(x) < 1 2 l(x) 1 p(x) < = 2l(x) 2 F (x) F (x 1) Entonces F (x) l(x) pertenece siempre al intervalo correspondiente a x. También es un código instantáneo; la palabra w 1w 2... w l representa el intervalo y son disjuntos para todas las palabras. [0.w 1w 2... w l, 0.w 1w 2... w l + 2 l ) (Facultad de Ingeniería, UdelaR) Teoría de la Información 50 / 1

40 Códigos de Shannon-Fano-Elias Si l(x) = log p(x) + 1 la cota para el largo queda L = p(x)l(x) = ( p(x) log 1 ) + 1 < H(X) + 2 p(x) x x Example x i p(x) F (x) F (x) F (x) en binario l(x) palabra x x x x L = 2,75 bits, y H(X) = 1,75 bits. (Huffman alcanza la entropía.) El último bit de algunas palabras se puede sacar y mejorar el largo medio; pero si se quita el último bit de todas las palabras, no queda de prefijo. (Facultad de Ingeniería, UdelaR) Teoría de la Información 51 / 1

41 Códigos de Shannon-Fano-Elias Example x i p(x) F (x) F (x) F (x) en binario l(x) palabra x x x x x La entropía es H(X) = 2,28 bits. El largo medio queda L(C) = 3,5 bits, 1,2 bits más que Huffman. (Facultad de Ingeniería, UdelaR) Teoría de la Información 52 / 1

42 Codificación aritmética There is a different kind of code altogether, Arithmetic Code, introduced by me in [20] and developed further by Pasco, [18], Rissanen and Langdon, [19], and later by many others, which is very well suited for coding all kinds of random processes. (Jorma Rissanen) (Facultad de Ingeniería, UdelaR) Teoría de la Información 54 / 1

43 Codificación aritmética Teorema Sea Y una v.a. con distribución de probabilidad continua F (y). Sea U = F (Y ). Entonces U tiene distribución uniforme en [0,1]. Demostración Dado que F (y) [0, 1], el rango de U es [0,1]. También para u [0, 1], vale F U (u) = Pr {U u} = Pr {F (Y ) u} = Pr { Y F 1 (u) } = F (F 1 (u)) = u (Facultad de Ingeniería, UdelaR) Teoría de la Información 55 / 1

44 Codificación aritmética Consideremos una secuencia infinita de v.a. X 1, X 2,... tomadas de un alfabeto finito X = 0, 1, 2,..., m. Una secuencia x 1, x 2,... generada de X puede considerarse como el número real 0.x 1x 2... (en base m + 1) entre 0 y 1. Llamemos X = 0.X 1X 2... a la v.a. real. La distribución de X es F X(x) = Pr {X x = 0.x 1x 2...} = Pr {0.X 1X 2 0.x 1x 2...} = Pr {X 1 < x 1} + Pr {X 1 = x 1, X 2 < x 2} +... Sea U = F X(X) = F X(0.X 1X 2... ) = 0.F 1F 2... Si la distribución de las secuencia X no tiene átomos, entonces el lema anterior garantiza que U Uniforme[0, 1]. Por lo tanto, los bits de la expansión binaria de F 1F 2... tiene una distribución Bernoulli( 1 2 ). Entonces, esta secuencia de bits es incompresible La dificultad de este planteo es estimar eficientemente la distribución acumulativa F ( ) (Facultad de Ingeniería, UdelaR) Teoría de la Información 56 / 1

45 Codificación aritmética Example Sea X 1X 2..., X n Bernoulli(p). La secuencia x n = 1101 se mapea en F (x n ) = Pr {X 1 < 1} + Pr {X 1 = 1, X 2 < 1} + Pr {X 1 = 1, X 2 = 1, X 3 < 0} + Pr {X 1 = 1, X 2 = 1, X 3 = 0, X 4 < 1} = q + p q + p p 2 q q = q + pq + p 2 q 2 Cada término de la suma se puede calcular en función de términos previos, de la forma n F (x n ) = p(x k 1 0)x k k=1 (Facultad de Ingeniería, UdelaR) Teoría de la Información 57 / 1

46 Codificación aritmética (Facultad de Ingeniería, UdelaR) Teoría de la Información 58 / 1

47 Codificación aritmética La idea esencial es la de Shannon-Fano-Elias y representar un símbolo x n = x 1x 2... x n por un número en un subintervalo de [0,1] dado por p(x n ) y F (x n ) (estimadas eficientemente). (0.w 1w 2... w l, 0.w 1w 2... w l + 2 l ) Si se usa una presición de l(x n ) = log 1 p(x) de prefijo. Se usa l(x n ) = log p(x) bits no garantiza que sea un código Fijando el tamaño de bloque n, se ordenan las palabras x n en orden lexicográfico en las hojas de un árbol. x n > y n si x i = 1 y y i = 0 para el primer i tal que x i y i o si i xi2 i > i yi2 i Para hallar el intervalo hay que sumar las probabilidades de todas las secuencias y n < x n F (x n ) = k:x k =1 (Facultad de Ingeniería, UdelaR) Teoría de la Información 59 / 1 y:y n x n p(y n ) = p(x 1x 2... x k 1 0)

48 Codificación aritmética El procedimiento depende del modelo que genera p(x n ). Es sencillo calcular p(x n x n+1) = p(x n ) en el caso de procesos i.i.d. y procesos Markovianos p(x n ) = p(x n ) = p(x 1) n p(x i) i=1 n p(x i x i 1) El decodificador también estima con el mismo procedimiento p(x n ) y F (x n ). Cuando la acumulación supera el código (como número 0.w 1w 2... w l ) se puede decodificar uno o más símbolos. i=2 (Facultad de Ingeniería, UdelaR) Teoría de la Información 60 / 1

49 Codificación aritmética Example Queremos codificar la palabra COMPRESSOR. Símb. C E M O P R S Prob Interv = = = = Siguiendo el procedimiento se llega a que la palabra COMPRESSOR se mapea en el intervalo [0, , 0, ). A medida que la secuencia es más grande el intervalo se achica y los primeros bits quedan fijos, por lo cual ya se pueden transmitir. (Facultad de Ingeniería, UdelaR) Teoría de la Información 61 / 1

50 Codificación aritmética El procedimiento depende del modelo que genera p(x n ). Es sencillo calcular p(x n x n+1) = p(x n ) en el caso de procesos i.i.d. y procesos Markovianos p(x n ) = p(x n ) = p(x 1) n p(x i) i=1 n p(x i x i 1) Una variante más sofisticada es la Codificación Aritmética Adaptiva donde la distribución de la fuente varia y se adapta con el tiempo. i=2 (Facultad de Ingeniería, UdelaR) Teoría de la Información 62 / 1

51 Optimalidad competitiva de los códigos Probamos que los códigos de Huffman son óptimos en media. Y vimos un ejemplo donde un código de Shannon asigna un código de menor longitud que Huffman para un símbolo particular (pero no en media). Comparar los diferentes códigos respecto a la longitud que logran para una secuencia particular no es fácil, Huffman no tiene una fórmula cerrada para saber la longitud del código, Shannon sí. Teorema Sea l(x) la longitud de palabra asociada al código de Shannon y l (x) la longitud de palabra asociada por cualquier otro código UD, entonces Pr { l(x) l (X) + c } 2 1 c La probabilidad que l (X) sea 5 bits más corta que l(x) es menor a 1 16 = 0,0625 Ningún código es mejor que el de Shannon (la mayoría de las veces), Pr {l(x) l (X) + 1} 1 2. (Facultad de Ingeniería, UdelaR) Teoría de la Información 64 / 1

52 Optimalidad competitiva de los códigos Demostración Pr { l(x) l (X) + c } { = Pr log } 1 l (X) + c p(x) { } 1 Pr log p(x) l (X) + c 1 = Pr {p(x) } 2 l (X) c+1 = p(x) x:p(x) 2 l (x) c+1 x:p(x) 2 l (x) c+1 x 2 l (x) 2 1 c 2 1 c 2 l (x) c+1 (Facultad de Ingeniería, UdelaR) Teoría de la Información 65 / 1

53 Optimalidad competitiva de los códigos Teorema Para una distribución de probabilidad diádica p(x), sea l(x) = log p(x) la longitud de palabra asociada al código de Shannon y l (x) la longitud de palabra asociada por cualquier otro código univocamente decodificable, entonces Pr { l(x) < l (X) } Pr { l(x) > l (X) } La igualdad se da si y sólo si l(x) = l (X) para todo X. (Facultad de Ingeniería, UdelaR) Teoría de la Información 66 / 1

54 Optimalidad competitiva de los códigos Demostración Usaremos la función 1 si t > 0 sgn(t) = 0 si t = 0 1 si t < 0 sgn(t) 2 t 1 t IN (cont.) (Facultad de Ingeniería, UdelaR) Teoría de la Información 67 / 1

55 Optimalidad competitiva de los códigos Demostración Pr { l (X) < l(x) } Pr { l (X) > l(x) } = = p(x) p(x) x:l (x)<l(x) x:l (x)>l(x) = p(x)sgn(l(x) l (x)) x x p(x)(2 l(x) l (x) 1) = x 2 l(x) (2 l(x) l (x) 1) = x 2 l (x) x 2 l(x) = x 2 l (x) = 0 (Facultad de Ingeniería, UdelaR) Teoría de la Información 68 / 1

56 Optimalidad competitiva de los códigos Corolario Para distribuciones de probabilidad no diádicas Esgn(l(X) l (X) 1) 0 donde l(x) = log 1 y l (x) es el largo de cualquier otro código. p(x) (Facultad de Ingeniería, UdelaR) Teoría de la Información 69 / 1