2 de mar de 2004 Codificación de imágenes y v ideo

Transcripción

1 Teoría de la Información 2 de mar de 2004 Codificación de imágenes y v ideo

2 2 de mar de 2004 Codificación de imágenes y video 2 El clima en el Río de la Plata N L N N L S N... N L L T L L L... N N L S N L L... N S L S S T T... S N N S S L N... N S N T N N N... L S T L N L N p(n=0.5, p(s=0.25, p(l=0.125, p(t=0.125 N: nublado; S: soleado; L: lluvia; T: tormenta

3 Motivación Para comunicar estos cuatro símbolos se acuerda usar el siguiente código: C(N = 00 C(S = 01 C(L = 10 C(T = 11 Típicamente uno se pasa usando el código C(N=00. La pregunta es: existe otra codificación más eficiente? 2 de mar de 2004 Codificación de imágenes y video 3

4 Formalización Se puede considerar al estado del tiempo como una variable aleatoria discreta, con un alfabeto A={N,L,T,S} y una función de probabilidad con x en A. p(x=probabilidad(=x 2 de mar de 2004 Codificación de imágenes y video 4

5 Formalización: información Dado que típicamente esta nublado, el símbolo N contiene poca información, es predecible, es más probable, no es noticia. Información. Una medida de la información podría ser: I(x = -log 2 (p(x I(N = 1, I(S = 2, I(L = 3, I(T = 3 2 de mar de 2004 Codificación de imágenes y video 5

6 Información Qué pasa si supiéramos que siempre está nublado (p (N=1?. En este caso I(N = 0, podemos predecir con probabilidad 1 que va a estar nublado, no hay incertidumbre, no hay información. La situación de mayor incertidumbre es cuando p(n =p(l=p(s=p(t=1/4. 2 de mar de 2004 Codificación de imágenes y video 6

7 Información Si pudiéramos elegir libremente (símbolos equiprobables entre 2 símbolos necesitaríamos 1 bit, para 16 símbolos necesitaríamos 4 bits y en general para N símbolos se necesitan log 2 (N bits. log 2 (N = -log 2 (1/N, lo que nos dice que hay una relación entre información y cantidad de bits necesarios. 2 de mar de 2004 Codificación de imágenes y video 7

8 Entropía La entropía H( es la media de la información de la fuente: I ( x H ( E p( xlog2 Idea: La entropía mide la información media, y por tanto, la cantidad media de símbolos necesarios. p( x 2 de mar de 2004 Codificación de imágenes y video 8

9 Entropía Se puede ver fácilmente H(>=0. Esto corresponde al caso de menor incertidumbre Además, H(<=log( A, A =cantidad de elementos A. Lo que corresponde al caso de mayor incertidumbre, símbolos equiprobables. 2 de mar de 2004 Codificación de imágenes y video 9

10 Entropía Definición: x es una variable aleatoria discreta (V.A.D. con probabilidad p(x y un conjunto de mensajes posibles A={x 1,...,x N }. Definición: Entropía H ( p( xlog p( x xa Observación: H( = E{ -log p( } 2 de mar de 2004 Codificación de imágenes y video 10

11 Ejemplos de códigos Evento Probabilidad Código 1 Código 2 Nublado Sol Lluvia Tormenta de mar de 2004 Codificación de imágenes y video 11

12 Largo medio El largo medio de estos códigos es: L E{ C( x} p( x C( x donde C(x es el largo de x. Para este caso L1 = 2 L2 = 0.5 x x x x 3 = 1.75 H(x =1.75 Alcanzamos la entropía. 2 de mar de 2004 Codificación de imágenes y video 12

13 Largo medio: ejemplo Fuente con dos símbolos ={x 1,x 2 }, con probabilidades p 1 y p 2. Caso 1 p 1 =p 2 =0.5; x 1 = 0 ; x 2 = 1 H(=0.5 x log 2 ( x log 2 (2 = 1 L = 0.5 x x 1 = 1 Caso 2 p 1 =0.1; p 2 =0.9; x 1 = 0 ; x 2 = 1 H(=0.1 x log 2 ( x log 2 (10/9 = L = 0.1 x x 1 = 1 2 de mar de 2004 Codificación de imágenes y video 13

14 Shannon Se puede demostrar que no existe ningún código que permita codificar a un bit-rate menor a la entropía. Teorema (Shannon 1948 min{ L} H ( Se puede demostrar también que el bit rate se puede acercar arbitrariamente a la entropía. 2 de mar de 2004 Codificación de imágenes y video 14

15 2 de mar de 2004 Codificación de imágenes y video 15 Entropía conjunta Definición: La entropía conjunta H(,Y de un par de variables aleatorias con distribución p(x,y es: Teorema (Regla de la cadena:, ( log, ( }, ( log {, ( y x p y x p y x p E Y H ( (, ( Y H H Y H

16 2 de mar de 2004 Codificación de imágenes y video 16 Entropía Condicional Definición: La entropía condicional de dos variables (,Y~p(x,y es: Observación: A( es el alfabeto de ( ( ( ( log, ( ( ( ( A x Y A y A x x y p y x p x Y H x p Y H

17 Kullback-Leibler Definición: La entropía relativa o distancia Kullback- Leibler entre dos distribuciones de probabilidad p(x y q(x se define como: D( p q xa p( xlog p( x q( x Elog p( x q( x Teorema: D( p q 0 y la igualdad se cumple si p(x=q(x 2 de mar de 2004 Codificación de imágenes y video 17

18 Kullback-Leibler: Aplicaciones Teorema: H( <= log( A Teorema: El condicionar reduce la entropía, H(Y <= H(Y y la igualdad se da si e Y son independientes. 2 de mar de 2004 Codificación de imágenes y video 18

19 Extensión de una fuente Extensión de orden N z i =(x i1, x i2,..., x in p(z i = p(x i1 p(x i2... p(x in Teorema: H( N =N.H( 2 de mar de 2004 Codificación de imágenes y video 19

20 Extensión de una fuente: ejemplo Fuente con dos símbolos ={x 1,x 2 }, con probabilidades p 1 =0.1 y p 2 =0.9 Z={x 1 x 1, x 1 x 2, x 2 x 1, x 2 x 2 } p(z={0.01, 0.09, 0.09, 0.81} H(Z=0.01 x log 2 ( x ( 0.09 x log 2 (100/ xlog 2 (100/81 = 0.934=2 x C1={ 00, 01, 10, 11 } L1 = 0.01 x x ( 0.09 x x 2 = 2 C2={ 111, 110, 10, 0 } L2 = 0.01 x x x x 1 = 1,29 2 de mar de 2004 Codificación de imágenes y video 20

21 Regla de la cadena Teorema: (Regla de la cadena ( 1,..., n ~ p(x 1,...,x n : H ( n 1,..., n H( i i1,..., 1 i 1 Teorema: H ( n 1,..., n H ( i i1 2 de mar de 2004 Codificación de imágenes y video 21

22 Dependencia Observando el estado del tiempo en días sucesivos se ve que el estado del tiempo en un día depende del día anterior y condiciona el siguiente. No es simplemente una variable aleatoria sin memoria. 2 de mar de 2004 Codificación de imágenes y video 22

23 Formalización: Markov de orden k Una fuente se dice Markov de orden k si símbolos sucesivos son estadísticamente dependientes, i.e. cada símbolo depende de los k anteriores Una fuente MKS se especifica con: p( i x i1,, ik i, k 2 de mar de 2004 Codificación de imágenes y video 23

24 2 de mar de 2004 Codificación de imágenes y video 24 MKS: Entropía La entropía de una fuente markov se define a partir de la entropía condicional En general H MKS ( < H DMS (, por lo tanto, podríamos comprimir aún más! Vale el resultado H( N =N.H(,, (,, ( ( 1 1 k i i k i i MKS H p H,, ( log,, (,, ( k i i i k i i i k i i x p x p H

25 Métodos para símbolos dependientes Codificación condicional: Se calculan las nuevas probabilidades dado el símbolo anterior. (H( Y<H( Codificación en bloques: Se agrupan símbolos consecutivos en bloques (nuevos símbolos. Codificación predictiva: Dado i predecimos i+1 y codificamos la diferencia. 2 de mar de 2004 Codificación de imágenes y video 25

26 Ejemplo: codificación predictiva de imágenes Idea: Usa la redundancia presente en la imagen (la correlación entre los píxeles para estimar el nivel de gris en (i,j: Î(i,j. Error: e(i,j=î(i,j-i(i,j. Compresión con pérdidas. Los valores de e(i,j son cuantificados y comprimidos. Compresión sin pérdidas. La señal e no es cuantificada. 2 de mar de 2004 Codificación de imágenes y video 26

27 Ejemplo: codificación predictiva de imágenes Predicción lineal. T: template con píxeles anteriores it El alfabeto de los errores de predicción será el doble de grande que el original. xˆ a i x i Un buen predictor minimiza el error; el símbolo más probable será el 0. 2 de mar de 2004 Codificación de imágenes y video 27

28 Ejemplo: codificación predictiva de imágenes 2 de mar de 2004 Codificación de imágenes y video 28

29 Ejemplo: codificación predictiva de imágenes La predicción es Î=(a+b+c+d/4. 2 de mar de 2004 Codificación de imágenes y video 29

30 Ejemplo: codificación predictiva de imágenes Imagen diferencia y su histograma 2 de mar de 2004 Codificación de imágenes y video 30

31 Ejemplo: codificación predictiva de imágenes Cómo hallar los a i? Iˆ a1i ( i, j 1 a2i( i 1, j 1 a3i( i 1, j Si asumimos I estacionario con media 0. Encontramos los a i minimizando la esperanza del error. a R(0,0 a a R(0,1 a a R(1,1 a R(01, a R(0,0 a R(1,0 a R(1,1 R(1,0 R(1,0 R(11, R(0,0 R(01, 2 de mar de 2004 Codificación de imágenes y video 31

32 Códigos Definición: Un código de fuente C, para una V.A.D, es un mapeo de A a D*, el conjunto de secuencias finitas de símbolos de una alfabeto D. N D* D i i1 Observación: C(x es el código para x y l(x su largo Observación: Típicamente usaremos: D =B = {0,1} 2 de mar de 2004 Codificación de imágenes y video 32

33 Códigos: Largo Esperado Definición: El largo esperado de un código de fuente C es: Ejemplo: A={N,S,L,T} p(n=1/2 p(s=1/4 p(l=p(t=1/8 C(N=0 C(S=10 C(L=110 C(T=111. l(n=1 l(s=2 l(l=l(t=3 L (C=1,75 L ( C p( x l( x xa 2 de mar de 2004 Codificación de imágenes y video 33

34 Códigos no singulares Definición: Un código se dice no singular si cada elemento de A se mapea en un elemento diferente en D*. Definición: La extensión C* de C es el mapeo de secuencias de símbolos de A en secuencias de D, C(x 1 x 2...x n =C(x 1 C(x 2...C(x n 2 de mar de 2004 Codificación de imágenes y video 34

35 Códigos de decodificación única Definición: Un código se dice de decodificación única si su extensión es no singular. Definición: Un código es instantáneo si ninguna palabra de código es prefijo de otra. no singulares unívocamente decodificables instantáneos códigos singulares no unívocamente decodificables no instantáneos 2 de mar de 2004 Codificación de imágenes y video 35

36 Desigualdad de Kraft Teorema: Para cada código instantáneo sobre un alfabeto de dimensión d= D, los largos de las palabras del código, l i, deben satisfacer: l d i 1 i Dados l i que cumplen lo anterior, existe un código instantáneo con esos largos. 2 de mar de 2004 Codificación de imágenes y video 36

37 Códigos óptimos Teorema: El largo esperado (L de cualquier código instantáneo (C para una V.A.D cumple LC H y se da la igualdad si y solo si d -li = p i (1er. Teorema de Shannon 2 de mar de 2004 Codificación de imágenes y video 37

38 Cotas para el L óptimo Motivación para log p 1 x Teorema: Sean l i * los largos de los códigos óptimos y L* el largo esperado asociado entonces: H ( L* H ( 1 2 de mar de 2004 Codificación de imágenes y video 38

39 Codificación en bloques Que pasa si juntamos símbolos? C(x 1...x n, l(x 1...x n Definición: Largo esperado por símbolo L n Corolario: Para i I.I.D 1 p( x1,..., xn l( x1... xn n H ( L H ( n 1 n 2 de mar de 2004 Codificación de imágenes y video 39

40 Códigos de Huffman Podemos llegar a codificar con H( bits? Idea: Usar códigos más cortos para símbolos más probables (Código Morse. Ejemplo. C(N=0, C(S=10, C(L=110, C(T=111. Cómo encontrar el código óptimo de forma sistemática? 2 de mar de 2004 Codificación de imágenes y video 40

41 Algoritmo de Huffman 0 p(n=0.5 0 p(n=0.5 0 p(n= p(s= p(s= p(l= p(y= p(t= p(= de mar de 2004 Codificación de imágenes y video 41

42 Run Length Encoding Útil cuando símbolos consecutivos son idénticos. Cada símbolo es seguido por el número de repeticiones. Zero run length coding 2 de mar de 2004 Codificación de imágenes y video 42