Introducción a los códigos compresores

Transcripción

1 Introducción a los códigos compresores Parte I de la Lección 2, Compresores sin pérdidas, de CTI Ramiro Moreno Chiral Dpt. Matemàtica (UdL) Febrero de 2010 Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

2 Índice 1 Fuentes 2 Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

3 Índice Fuentes Definición de fuente Tipos de fuentes Entropía de una fuente 1 Fuentes Definición de fuente Tipos de fuentes Entropía de una fuente 2 Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

4 Resumen Fuentes Definición de fuente Tipos de fuentes Entropía de una fuente Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

5 Resumen Fuentes Definición de fuente Tipos de fuentes Entropía de una fuente Veremos en este apartado Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

6 Definición de fuente Tipos de fuentes Entropía de una fuente Resumen Veremos en este apartado Una definición muy general del concepto de fuente de información. Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

7 Definición de fuente Tipos de fuentes Entropía de una fuente Resumen Veremos en este apartado Una definición muy general del concepto de fuente de información. Los diferentes tipos de fuentes que sirven para modelar las fuentes de información reales. Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

8 Definición de fuente Tipos de fuentes Entropía de una fuente Resumen Veremos en este apartado Una definición muy general del concepto de fuente de información. Los diferentes tipos de fuentes que sirven para modelar las fuentes de información reales. Finalmente, una definición también muy general de entropía de una fuente Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

9 Definición de fuente (I) Definición de fuente Tipos de fuentes Entropía de una fuente Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

10 Definición de fuente Tipos de fuentes Entropía de una fuente Definición de fuente (I) Para definir una fuente son necesarios Un alfabeto finito, X = {x 1 {,..., x r }, y las cadenas} de longitud n sobre X : X n = x = x i1... x in : x ij X. Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

11 Definición de fuente Tipos de fuentes Entropía de una fuente Definición de fuente (I) Para definir una fuente son necesarios Un alfabeto finito, X = {x 1 {,..., x r }, y las cadenas} de longitud n sobre X : X n = x = x i1... x in : x ij X. Una familia de v.a. s (X t ) t T sobre X, (T se identifica con el tiempo). Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

12 Definición de fuente Tipos de fuentes Entropía de una fuente Definición de fuente (I) Para definir una fuente son necesarios Un alfabeto finito, X = {x 1 {,..., x r }, y las cadenas} de longitud n sobre X : X n = x = x i1... x in : x ij X. Una familia de v.a. s (X t ) t T sobre X, (T se identifica con el tiempo). Una distribución de probabilidad conjunta, p(x, t) = P (X t1 = x t1,..., X tn = x tn ), con x = x t1... x tn X n y t = (t 1,..., t n ) T n Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

13 Definición de fuente Tipos de fuentes Entropía de una fuente Definición de fuente (I) Para definir una fuente son necesarios Un alfabeto finito, X = {x 1 {,..., x r }, y las cadenas} de longitud n sobre X : X n = x = x i1... x in : x ij X. Una familia de v.a. s (X t ) t T sobre X, (T se identifica con el tiempo). Una distribución de probabilidad conjunta, p(x, t) = P (X t1 = x t1,..., X tn = x tn ), con x = x t1... x tn X n y t = (t 1,..., t n ) T n Un conjunto de probabilidades de transición p ij (t, t ) = P ( X t = x j X t = x i ), t < t T, x i, x j X. Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

14 Definición de fuente (II) Definición de fuente Tipos de fuentes Entropía de una fuente Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

15 Definición de fuente Tipos de fuentes Entropía de una fuente Definición de fuente (II) Definición Se define una fuente S, S = ( X, {p ij (t, t )} ). Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

16 Definición de fuente Tipos de fuentes Entropía de una fuente Definición de fuente (II) Definición Se define una fuente S, S = ( X, {p ij (t, t )} ). Cuando las probabilidades de transición no se expliciten usaremos la notación más general Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

17 Definición de fuente Tipos de fuentes Entropía de una fuente Definición de fuente (II) Definición Se define una fuente S, S = ( X, {p ij (t, t )} ). Cuando las probabilidades de transición no se expliciten usaremos la notación más general S = ( X, (X t ) t T ) Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

18 Tipos de fuentes Fuentes Definición de fuente Tipos de fuentes Entropía de una fuente Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

19 Tipos de fuentes Fuentes Definición de fuente Tipos de fuentes Entropía de una fuente Fuentes estacionarias, si las probabilidades de transición no dependen del origen de tiempos, P ( X t = x j X t = x i ) = P ( Xt +τ = x j X t+τ = x i ), τ T. Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

20 Tipos de fuentes Fuentes Definición de fuente Tipos de fuentes Entropía de una fuente Fuentes estacionarias, si las probabilidades de transición no dependen del origen de tiempos, P ( X t = x j X t = x i ) = P ( Xt +τ = x j X t+τ = x i ), τ T. Fuentes simples: son fuentes estacionarias donde las v.a. s X n son iid X, S = (X, X). Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

21 Tipos de fuentes Fuentes Definición de fuente Tipos de fuentes Entropía de una fuente Fuentes estacionarias, si las probabilidades de transición no dependen del origen de tiempos, P ( X t = x j X t = x i ) = P ( Xt +τ = x j X t+τ = x i ), τ T. Fuentes simples: son fuentes estacionarias donde las v.a. s X n son iid X, S = (X, X). Fuentes con memoria, cuando p ij (t, t ) p j (t ): el presente depende de lo ocurrido en el pasado. Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

22 Tipos de fuentes Fuentes Definición de fuente Tipos de fuentes Entropía de una fuente Fuentes estacionarias, si las probabilidades de transición no dependen del origen de tiempos, P ( X t = x j X t = x i ) = P ( Xt +τ = x j X t+τ = x i ), τ T. Fuentes simples: son fuentes estacionarias donde las v.a. s X n son iid X, S = (X, X). Fuentes con memoria, cuando p ij (t, t ) p j (t ): el presente depende de lo ocurrido en el pasado. Fuentes de Markov: estacionarias, con memoria y con una condición de Markov de orden m, P ( ) {}}{ X tn = x n X t1,..., X tn 1 = P(Xtn = x n X tn m,..., X tn 1 ) m Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

23 Entropía de una fuente Definición de fuente Tipos de fuentes Entropía de una fuente Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

24 Definición de fuente Tipos de fuentes Entropía de una fuente Entropía de una fuente Definición Definiremos como entropía por carácter de una fuente S = (X, (X n )) al límite H (X 1,..., X n ) H(S) = lim. n n Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

25 Definición de fuente Tipos de fuentes Entropía de una fuente Entropía de una fuente Definición Definiremos como entropía por carácter de una fuente S = (X, (X n )) al límite H (X 1,..., X n ) H(S) = lim. n n Para una fuente simple, S = (X, X), es H(S) = H(X). Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

26 Definición de fuente Tipos de fuentes Entropía de una fuente Entropía de una fuente Definición Definiremos como entropía por carácter de una fuente S = (X, (X n )) al límite H (X 1,..., X n ) H(S) = lim. n n Para una fuente simple, S = (X, X), es H(S) = H(X). Otra definición alternativa, H (S) = lim n H (X n X 1,..., X n 1 ). Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

27 Definición de fuente Tipos de fuentes Entropía de una fuente Entropía de una fuente Definición Definiremos como entropía por carácter de una fuente S = (X, (X n )) al límite H (X 1,..., X n ) H(S) = lim. n n Para una fuente simple, S = (X, X), es H(S) = H(X). Otra definición alternativa, H (S) = lim n H (X n X 1,..., X n 1 ). pero para fuentes S estacionarias es H(S) = H (S). Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

28 Índice Fuentes 1 Fuentes 2 Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

29 Resumen Fuentes Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

30 Resumen Fuentes Trataremos de los siguientes temas Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

31 Resumen Trataremos de los siguientes temas La definición de qué es un código compresor. Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

32 Resumen Trataremos de los siguientes temas La definición de qué es un código compresor. Los tipos de códigos que se pueden presentar y su posible uso en compresión de fuentes. Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

33 Resumen Trataremos de los siguientes temas La definición de qué es un código compresor. Los tipos de códigos que se pueden presentar y su posible uso en compresión de fuentes. Y, finalmente, dedicaremos nuestra atención al tipo de códigos más usual: los instantáneos. Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

34 Códigos: definición Fuentes Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

35 Códigos: definición Fuentes Definición Dados un alfabeto fuente, X, tal que X = r; un alfabeto código, Σ, con Σ = d, y el lenguaje sin la cadena vacía, Σ + ; diremos que un código, C, para la extensión n-ésima del alfabeto fuente, es una aplicación C Σ + x C(x), X n donde x = ( ) x i1,..., x in, xik X. A los elementos del código, C(x), los llamaremos palabras código. Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

36 Codificación de fuentes Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

37 Codificación de fuentes Definición Dada una fuente S = (X, (X n )), definimos un código para S como un código asociado al alfabeto fuente, X. Entonces, Llamaremos L(C(x)) = C(x) a las longitudes de las palabras código. Y la longitud media del código será L = L(C) = E X1...X n L(C(x)) = x X n p(x)l(c(x)). Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

38 Codificación de fuentes simples Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

39 Codificación de fuentes simples Si la fuente es simple, S = (X, X), la aplicación código es más sencilla Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

40 Codificación de fuentes simples Si la fuente es simple, S = (X, X), la aplicación código es más sencilla X C Σ + x C(x), Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

41 Codificación de fuentes simples Si la fuente es simple, S = (X, X), la aplicación código es más sencilla X C Σ + x C(x), y la logitud media también: Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

42 Codificación de fuentes simples Si la fuente es simple, S = (X, X), la aplicación código es más sencilla X C Σ + x C(x), y la logitud media también: L = L(C) = E X L(C(x)) = x X p(x)l(c(x)). Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

43 : definiciones Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

44 : definiciones C es no singular si x x X n es C(x) C(x ), i.e., si C es una aplicación inyectiva. Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

45 : definiciones C es no singular si x x X n es C(x) C(x ), i.e., si C es una aplicación inyectiva. Dado un código C : X Σ +, definimos C, su código extensión, X n C Σ + x = (x 1... x n ) C(x 1 )... C(x n ) Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

46 : definiciones C es no singular si x x X n es C(x) C(x ), i.e., si C es una aplicación inyectiva. Dado un código C : X Σ +, definimos C, su código extensión, X n C Σ + x = (x 1... x n ) C(x 1 )... C(x n ) C es de decodificación única si su extensión n-ésima, C, es no singular para cualquier n. Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

47 : definiciones C es no singular si x x X n es C(x) C(x ), i.e., si C es una aplicación inyectiva. Dado un código C : X Σ +, definimos C, su código extensión, X n C Σ + x = (x 1... x n ) C(x 1 )... C(x n ) C es de decodificación única si su extensión n-ésima, C, es no singular para cualquier n. C es un código instantáneo o libre de prefijo si ninguna palabra código es prefijo de otra palabra código. Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

48 Relación entre los tipos de códigos Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

49 Relación entre los tipos de códigos La siguiente figura ilustra la relación entre los distintos tipos de códigos Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

50 Relación entre los tipos de códigos La siguiente figura ilustra la relación entre los distintos tipos de códigos Todos los codigos No-singulares Decodificacion unica Libres de prefijo Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

51 Ejemplos de códigos Fuentes Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

52 Ejemplos de códigos Fuentes X C 0 C 1 C 2 C 3 Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

53 Ejemplos de códigos Fuentes X C 0 C 1 C 2 C 3 x Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

54 Ejemplos de códigos Fuentes X C 0 C 1 C 2 C 3 x x Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

55 Ejemplos de códigos Fuentes X C 0 C 1 C 2 C 3 x x x Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

56 Ejemplos de códigos Fuentes X C 0 C 1 C 2 C 3 x x x x Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

57 Ejemplos de códigos X C 0 C 1 C 2 C 3 x x x x Singular Porque C 0 (x 1 ) = C 0 (x 1 ) = 0. Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

58 Ejemplos de códigos X C 0 C 1 C 2 C 3 x x x x Singular No singular No es de decodificación única: x 2 x x 4 Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

59 Ejemplos de códigos X C 0 C 1 C 2 C 3 x x x x Singular No singular Decod. única Porque existe un algoritmo con el que decodificamos siempre. Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

60 Ejemplos de códigos X C 0 C 1 C 2 C 3 x x x x Singular No singular Decod. única Instantáneo Ninguna palabra código es prefijo de otra. Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

61 Representación en árbol de los Σ Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

62 Representación en árbol de los Σ Definición Dado Σ, Σ = d, ordenado, una representación literal de Σ es el árbol d-ario completo con raíz, T = (V, A) que se obtiene Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

63 Representación en árbol de los Σ Definición Dado Σ, Σ = d, ordenado, una representación literal de Σ es el árbol d-ario completo con raíz, T = (V, A) que se obtiene 1 Asignando a cada vértice de V una palabra de Σ. La palabra vacía λ Σ se asigna al vértice raíz. Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

64 Representación en árbol de los Σ Definición Dado Σ, Σ = d, ordenado, una representación literal de Σ es el árbol d-ario completo con raíz, T = (V, A) que se obtiene 1 Asignando a cada vértice de V una palabra de Σ. La palabra vacía λ Σ se asigna al vértice raíz. 2 Dado un vértice v V se etiqueta cada arista que sale de él con cada uno de los caracteres de Σ. Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

65 Representación en árbol de los Σ Definición Dado Σ, Σ = d, ordenado, una representación literal de Σ es el árbol d-ario completo con raíz, T = (V, A) que se obtiene 1 Asignando a cada vértice de V una palabra de Σ. La palabra vacía λ Σ se asigna al vértice raíz. 2 Dado un vértice v V se etiqueta cada arista que sale de él con cada uno de los caracteres de Σ. 3 Dados u, v V, la arista uv A sii existe un α Σ tal que v = uα, considerando u, v Σ. Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

66 Ejemplos: árboles de representación de los alfabetos {0, 1} y {α, β, γ} Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

67 Ejemplos: árboles de representación de los alfabetos {0, 1} y {α, β, γ} Σ = {0, 1} Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

68 Ejemplos: árboles de representación de los alfabetos {0, 1} y {α, β, γ} Σ = {0, 1} λ Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

69 Ejemplos: árboles de representación de los alfabetos {0, 1} y {α, β, γ} Σ = {α, β, γ} Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

70 Ejemplos: árboles de representación de los alfabetos {0, 1} y {α, β, γ} Σ = {α, β, γ} λ α β γ α β γ α β γ α β γ α β γ αα αβ αγ βα ββ βγ γα γβ γγ αα... αβ... αγ... βα... ββ... βγ... γα... γβ... γγ... En T, palabras de la misma longitud l de Σ están a la misma profundidad l y ordenadas según el orden de Σ. Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

71 Representación en árbol de los códigos Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

72 Representación en árbol de los códigos Identificando un código C con su imagen, consideramos C Σ, siendo Σ el alfabeto código. Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

73 Representación en árbol de los códigos Identificando un código C con su imagen, consideramos C Σ, siendo Σ el alfabeto código. La representación literal de un código será el subárbol del árbol T de representación literal de Σ, Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

74 Representación en árbol de los códigos Identificando un código C con su imagen, consideramos C Σ, siendo Σ el alfabeto código. La representación literal de un código será el subárbol del árbol T de representación literal de Σ, obtenido al eliminar los subárboles cuyos vértices no pertenezcan a C. Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

75 Ejemplos de árboles de códigos Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

76 Ejemplos de árboles de códigos C2 C3 C C4 C Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

77 Ejemplos de árboles de códigos C2 C3 C C4 C Se ve que un código es instantáneo sii todas las palabras código son hojas del árbol de su representación literal. Lo son los C 1, C 2 y C 4. Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

78 Ejemplos de árboles de códigos C2 C3 C C4 C Se ve que un código es instantáneo sii todas las palabras código son hojas del árbol de su representación literal. Lo son los C 1, C 2 y C 4. El C 3 es de decodificación única: lo decodificamos esperarando un 0 y decodificando los bits recibidos hasta entonces. Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

79 Ejemplos de árboles de códigos C2 C3 C C4 C Se ve que un código es instantáneo sii todas las palabras código son hojas del árbol de su representación literal. Lo son los C 1, C 2 y C 4. El C 3 es de decodificación única: lo decodificamos esperarando un 0 y decodificando los bits recibidos hasta entonces. El C 5 no es instantáneo ni de decodificación única: es tan sólo no singular. Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

80 Caracterización algebraica de los códigos instantáneos Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

81 Caracterización algebraica de los códigos instantáneos Proposición (Desigualdad de Kraft para códigos instantáneos) Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

82 Caracterización algebraica de los códigos instantáneos Proposición (Desigualdad de Kraft para códigos instantáneos) Si C es un código instantáneo o libre de prefijos sobre un alfabeto X, con X = r y sobre un alfabeto código Σ d-ario, Σ = d, Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

83 Caracterización algebraica de los códigos instantáneos Proposición (Desigualdad de Kraft para códigos instantáneos) Si C es un código instantáneo o libre de prefijos sobre un alfabeto X, con X = r y sobre un alfabeto código Σ d-ario, Σ = d, se verifica la desigualdad de Kraft r d l i 1, i=1 Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

84 Caracterización algebraica de los códigos instantáneos Proposición (Desigualdad de Kraft para códigos instantáneos) Si C es un código instantáneo o libre de prefijos sobre un alfabeto X, con X = r y sobre un alfabeto código Σ d-ario, Σ = d, se verifica la desigualdad de Kraft r d l i 1, i=1 siendo l i = L(C(x i )), x i X. Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

85 Caracterización algebraica de los códigos instantáneos Proposición (Desigualdad de Kraft para códigos instantáneos) Si C es un código instantáneo o libre de prefijos sobre un alfabeto X, con X = r y sobre un alfabeto código Σ d-ario, Σ = d, se verifica la desigualdad de Kraft r d l i 1, i=1 siendo l i = L(C(x i )), x i X. Recíprocamente, si l i, 1 i r, l i Z >0, satisfacen la desigualdad de Kraft, Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

86 Caracterización algebraica de los códigos instantáneos Proposición (Desigualdad de Kraft para códigos instantáneos) Si C es un código instantáneo o libre de prefijos sobre un alfabeto X, con X = r y sobre un alfabeto código Σ d-ario, Σ = d, se verifica la desigualdad de Kraft r d l i 1, i=1 siendo l i = L(C(x i )), x i X. Recíprocamente, si l i, 1 i r, l i Z >0, satisfacen la desigualdad de Kraft, existe un código instantáneo d-ario para X, cuyas longitudes de las palabras código son los l i. Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

87 de longitud media mínima Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

88 de longitud media mínima Los códigos instantáneos son de codificación y decodificación fáciles: Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

89 de longitud media mínima Los códigos instantáneos son de codificación y decodificación fáciles: pueden ser, además, de longitud media mínima? Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

90 de longitud media mínima Los códigos instantáneos son de codificación y decodificación fáciles: pueden ser, además, de longitud media mínima? Se busca, pues, un código d-ario instantáneo, C, para una fuente simple S = (X, {p i } 1 i r ). Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

91 de longitud media mínima Los códigos instantáneos son de codificación y decodificación fáciles: pueden ser, además, de longitud media mínima? Se busca, pues, un código d-ario instantáneo, C, para una fuente simple S = (X, {p i } 1 i r ). Su longitud media L ha de ser mínima. Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

92 de longitud media mínima Los códigos instantáneos son de codificación y decodificación fáciles: pueden ser, además, de longitud media mínima? Se busca, pues, un código d-ario instantáneo, C, para una fuente simple S = (X, {p i } 1 i r ). Su longitud media L ha de ser mínima. Se trata de un problema de extremos condicionados: Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

93 de longitud media mínima Los códigos instantáneos son de codificación y decodificación fáciles: pueden ser, además, de longitud media mínima? Se busca, pues, un código d-ario instantáneo, C, para una fuente simple S = (X, {p i } 1 i r ). Su longitud media L ha de ser mínima. Se trata de un problema de extremos condicionados: Minimizar: L = r p i l i, i=1 Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

94 de longitud media mínima Los códigos instantáneos son de codificación y decodificación fáciles: pueden ser, además, de longitud media mínima? Se busca, pues, un código d-ario instantáneo, C, para una fuente simple S = (X, {p i } 1 i r ). Su longitud media L ha de ser mínima. Se trata de un problema de extremos condicionados: Restricciones: Minimizar: L = r p i l i, i=1 r d l i 1 (Kraft) i=1 l i Z >0, 1 i r Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

95 Códigos de Shannon (I) Solución al problema de extremos condicionados Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

96 Códigos de Shannon (I) Solución al problema de extremos condicionados Los siguientes valores resuelven el problema de extremos condicionados anterior, sin la restricciones l i Z >0 : Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

97 Códigos de Shannon (I) Solución al problema de extremos condicionados Los siguientes valores resuelven el problema de extremos condicionados anterior, sin la restricciones l i Z >0 : li = log d p i, L = r p i log d p i = H d (S), i=1 Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

98 Códigos de Shannon (I) Solución al problema de extremos condicionados Los siguientes valores resuelven el problema de extremos condicionados anterior, sin la restricciones l i Z >0 : li = log d p i, L = r p i log d p i = H d (S), i=1 donde H d (S) = H(S) log d es la entropía de la fuente en d-bits. Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

99 Códigos de Shannon (I) Solución al problema de extremos condicionados Los siguientes valores resuelven el problema de extremos condicionados anterior, sin la restricciones l i Z >0 : li = log d p i, L = r p i log d p i = H d (S), i=1 donde H d (S) = H(S) log d es la entropía de la fuente en d-bits. Ahora considerando que l i Z >0, 1 i r, se obtiene Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

100 Códigos de Shannon (I) Solución al problema de extremos condicionados Los siguientes valores resuelven el problema de extremos condicionados anterior, sin la restricciones l i Z >0 : li = log d p i, L = r p i log d p i = H d (S), i=1 donde H d (S) = H(S) log d es la entropía de la fuente en d-bits. Ahora considerando que l i Z >0, 1 i r, se obtiene l (s) i = l i = log d p i. Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

101 Códigos de Shannon (II) Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

102 Códigos de Shannon (II) Los valores l (s) i definen los llamados códigos de Shannon, que son instantáneos y que verifican el siguiente resultado Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

103 Códigos de Shannon (II) Los valores l (s) i definen los llamados códigos de Shannon, que son instantáneos y que verifican el siguiente resultado Proposición (SCT para los códigos de Shannon) Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

104 Códigos de Shannon (II) Los valores l (s) i definen los llamados códigos de Shannon, que son instantáneos y que verifican el siguiente resultado Proposición (SCT para los códigos de Shannon) Dada una fuente simple S = (X, {p i } 1 i r ), existe un código d-ario instantáneo de longitud media mínima definido por las longitudes l (s) i = log d p i, llamado código de Shannon, Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

105 Códigos de Shannon (II) Los valores l (s) i definen los llamados códigos de Shannon, que son instantáneos y que verifican el siguiente resultado Proposición (SCT para los códigos de Shannon) Dada una fuente simple S = (X, {p i } 1 i r ), existe un código d-ario instantáneo de longitud media mínima definido por las longitudes l (s) i = log d p i, llamado código de Shannon, tal que H d (S) L (s) H d (S) + 1. Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

106 Códigos de Shannon (III) Ejemplo Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

107 Códigos de Shannon (III) Ejemplo Sea la fuente simple S = ( {x 1, x 2, x 3, x 4 }, { 1 3, 1 3, 1 4, 1 12 }). Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

108 Códigos de Shannon (III) Ejemplo Sea la fuente simple S = ( {x 1, x 2, x 3, x 4 }, { 1 3, 1 3, 1 4, 1 12 }). Vamos a construir el código de Shannon sobre Σ = {0, 1}. Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

109 Códigos de Shannon (III) Ejemplo Sea la fuente simple S = ( {x 1, x 2, x 3, x 4 }, { 1 3, 1 3, 1 4, 1 12 }). Vamos a construir el código de Shannon sobre Σ = {0, 1}. Longitudes: l (s) 1 = L(C(x 1 )) = log 1 3 = 2 l (s) 2 = L(C(x 2 )) = log 1 3 = 2 l (s) 3 = L(C(x 3 )) = log 1 4 = 2 l (s) 4 = L(C(x 4 )) = log 1 12 = 4 Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

110 Códigos de Shannon (III) Ejemplo Sea la fuente simple S = ( {x 1, x 2, x 3, x 4 }, { 1 3, 1 3, 1 4, 1 12 }). Vamos a construir el código de Shannon sobre Σ = {0, 1}. Longitudes: l (s) 1 = L(C(x 1 )) = log 1 3 = 2 l (s) 2 = L(C(x 2 )) = log 1 3 = 2 l (s) 3 = L(C(x 3 )) = log 1 4 = 2 l (s) 4 = L(C(x 4 )) = log 1 12 = 4 Código: C(x 1 ) = 00, C(x 2 ) = 01, C(x 3 ) = 10, C(x 4 ) = Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

111 Códigos de Shannon (III) Ejemplo Sea la fuente simple S = ( {x 1, x 2, x 3, x 4 }, { 1 3, 1 3, 1 4, 1 12 }). Vamos a construir el código de Shannon sobre Σ = {0, 1}. Longitudes: l (s) 1 = L(C(x 1 )) = log 1 3 = 2 l (s) 2 = L(C(x 2 )) = log 1 3 = 2 l (s) 3 = L(C(x 3 )) = log 1 4 = 2 l (s) 4 = L(C(x 4 )) = log 1 12 = 4 Código: C(x 1 ) = 00, C(x 2 ) = 01, C(x 3 ) = 10, C(x 4 ) = Longitud media: L (s) = bits Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

112 Códigos de Shannon (III) Ejemplo Sea la fuente simple S = ( {x 1, x 2, x 3, x 4 }, { 1 3, 1 3, 1 4, 1 12 }). Vamos a construir el código de Shannon sobre Σ = {0, 1}. Longitudes: l (s) 1 = L(C(x 1 )) = log 1 3 = 2 l (s) 2 = L(C(x 2 )) = log 1 3 = 2 l (s) 3 = L(C(x 3 )) = log 1 4 = 2 l (s) 4 = L(C(x 4 )) = log 1 12 = 4 Código: C(x 1 ) = 00, C(x 2 ) = 01, C(x 3 ) = 10, C(x 4 ) = Longitud media: L (s) = bits y entropía: H(S) = bits Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

113 Códigos de Shannon (III) Ejemplo Sea la fuente simple S = ( {x 1, x 2, x 3, x 4 }, { 1 3, 1 3, 1 4, 1 12 }). Vamos a construir el código de Shannon sobre Σ = {0, 1}. Longitudes: l (s) 1 = L(C(x 1 )) = log 1 3 = 2 l (s) 2 = L(C(x 2 )) = log 1 3 = 2 l (s) 3 = L(C(x 3 )) = log 1 4 = 2 l (s) 4 = L(C(x 4 )) = log 1 12 = 4 Código: C(x 1 ) = 00, C(x 2 ) = 01, C(x 3 ) = 10, C(x 4 ) = Longitud media: L (s) = bits y entropía: H(S) = bits, cumpliéndose que < < Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

114 Códigos optimales Fuentes Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

115 Códigos optimales Fuentes Obsérvese que el código instantáneo C (o) (x 1 ) = 0, C (o) (x 2 ) = 10, C (o) (x 3 ) = 110, C (o) (x 4 ) = 111 Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

116 Códigos optimales Fuentes Obsérvese que el código instantáneo C (o) (x 1 ) = 0, C (o) (x 2 ) = 10, C (o) (x 3 ) = 110, C (o) (x 4 ) = 111 para la fuente S anterior tiene longitud media menor que el de Shannon L (o) = 2 bits < L (s) = bits Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26

117 Códigos optimales Obsérvese que el código instantáneo C (o) (x 1 ) = 0, C (o) (x 2 ) = 10, C (o) (x 3 ) = 110, C (o) (x 4 ) = 111 para la fuente S anterior tiene longitud media menor que el de Shannon L (o) = 2 bits < L (s) = bits Definición (Códigos optimales) Diremos que un código C (o) instantáneo es optimal para una fuente S si su longitud media L (o) es menor o igual que la de cualquier otro código instantáneo para la misma fuente Ramiro Moreno (Matemàtica, UdL) Introducción a los códigos compresores Febrero de / 26