Práctica 5. Códigos Huffman y Run-Length

Transcripción

1 EC2422. Comunicaciones I Enero - Marzo 2009 Práctica 5. Códigos Huffman y Run-Length 1. Objetivos 1.1. Simular, usando MATLAB, un codificador y decodificador Huffman a fin de estudiar sus características mas importantes Caracterizar, usando MATLAB, una codificación de tipo Run-Length Estudiar el efecto de la probabilidad de los símbolos en ambos codificadores. 2. Introducción Teórica La figura 1 ilustra un diagrama de bloques simplificado de un sistema de comunicaciones digital: Figura 1. Sistema de comunicaciones digital Los símbolos son generados por una fuente. El codificador de fuente se puede encargar de codificar eficientemente los datos binarios o símbolos, asignando, por ejemplo, más bits a los símbolos menos probables y menos bits a los más probables. Entre estos tipos de codificadores de fuente se encuentra el codificador Huffman Código Huffman David Huffman, de 25 años estudiaba doctorado en el MIT y era alumno de Fano. En un trabajo de la asignatura Teoría de Información se le ocurrió la codificación Huffman la cual produce un código compacto con una longitud promedio, L, que tiende al ideal (L=H(x)). Huffman nunca trató de patentar la invención de su trabajo. En su lugar, concentró

2 sus esfuerzos en la educación. Con palabras propias de Huffman, "Mis productos son mis estudiantes." Para generar una codificación Huffman el procedimiento es el siguiente: 1.- Se organizan los mensajes en orden decreciente de probabilidad 2.- Se agrupan los dos últimos para dar origen a un nuevo mensaje con probabilidad igual a P n +P n Se vuelven a reordenar los mensajes en forma decreciente de acuerdo a su probabilidad de ocurrencia, y se repite el paso 2 hasta que sólo queden dos mensajes 4.- Se asigna el bit 0 al elemento superior y 1 al inferior. Se van desagrupando los valores de probabilidad, manteniendo los bits que los hijos heredan de sus padres, y se le añade un 0 al hijo superior y 1 al inferior. Por ejemplo, en la tabla que sigue se muestra un alfabeto de 6 símbolos o caracteres, con las probabilidades mostradas, y el código binario que resulta al aplicar codificación Huffman sobre el mismo. Observe que a los símbolos más probables se le asigna una combinación de bits más corta. Si observa los dos elementos finales, se le asignó el bit 0 al que tiene una probabilidad igual a 0.57 y un 1 al de probabilidad El elemento con probabilidad 0.57 se desagrupa en dos elementos: 0.3 y A estos dos elementos hijos se les mantiene el bit 0 que heredan de su padre, pero luego se les agrega un bit más. Al elemento con probabilidad igual a 0.30 se le añade un 0, quedando en 00, mientras que al elemento 0.27 se le agrega un 1, quedando en 01. Pi code S1- S1 S2- S2 S3- S3 S4- S4 mi Pi code Pi code Pi code Pi code m m m m m m Cada fuente o alfabeto se caracteriza por un determinado valor de entropía la cual se calcula como: n H ( m) = Pi log 2 Pi = 2.418bits / símbolo i= 1 (1) La entropía representa la información promedio que ofrece esta fuente. También representa la mínima cantidad de bits necesaria, en promedio, para transmitir un mensaje de una determinada fuente. Para el ejemplo que llevamos H = bits/símbolo. Para estos códigos la longitud promedio viene dada por: particular: L n = i i= 1 L = Σ l i p. En este caso PL = 0.3(2) (2) (3) (3) + 0.1(3) (3) = 2.45bits / símbolo i Observe que la longitud promedio es mayor que H, pero se acerca bastante a ese valor. i (2)

3 Se puede definir la eficiencia del código como η = (H/L) 100% = 97.6 %. Esto indica cuanto se acerca L al valor de H. Otro cálculo que se puede realizar para caracterizar un tipo de codificación es su Tasa de Compresión (TC), cuyo cálculo se observa en la ecuación 3. n L TC = 100% (3) n En la ecuación 3, n es el número de bits que se emplearían para representar cada elemento de la fuente con un mismo número de bits. En este caso n = 3, ya que para representar 6 caracteres se necesita esta cantidad de bits. Así TC = 18.33% Código Run-Length Otro tipo de código de fuente que permite reducir la cantidad de bits transmitidos es el Run-Length. Este código es aplicable cuando hay caracteres en el alfabeto que se repiten mucho, produciendo cadenas largas de ellos. Por ejemplo, en la transmisión de un fax hay zonas donde se presentarán muchos píxeles negros, y otras donde se presentarán muchos blancos. En ese caso, en vez de enviar cada bit, se analizan varios bits y se ve si hay cadenas de unos y/o ceros. Se envían entonces palabras que indican la longitud de la cadena de unos o de ceros. El código Run-Length es utilizado cuando la información tiende a ser poco cambiante, y con mayor tendencia hacia un solo símbolo. Si una señal tiene una alta probabilidad de ocurrencia de uno de sus símbolos, entonces se procederá a agrupar éste, colocando el valor de ese símbolo seguido del número de veces que se repite. A medida que la señal tienda a ser más estable la codificación será más eficiente, ya que los grupos son más numerosos. Para agruparlos debemos primero definir cual de los símbolos agruparemos (en el caso binario el 0 o el 1 ), así podemos seleccionar el más probable para esta agrupación. En esta práctica agruparemos el símbolo 0. Luego se debe seleccionar el valor de m, el cual representa la cantidad de bits utilizados para expresar el número de veces que se repite el símbolo seleccionado. Para valores pequeños de m, el código se hace ineficiente cuando los tramos repetidos son grandes, mientras que si este número es muy grande, se perderán muchos bits transmitidos por el overhead introducido. En resumen, el código Run-Length consta de escribir primero el valor del símbolo repetido, y luego con m bits la cantidad de bits repetidos menos 1 (esto es para aprovechar los m bits completos). Los otros símbolos se copian en el código de manera normal y directa. En la figura 2 se puede observar un código Run-Length por agrupación del símbolo 0 y con m=3, de modo que se pueden agrupar hasta 8 bits. Para este código la Tasa de Compresión (TC) se define como: NCod TC = 100% (4) NOri En la ecuación 4, NCod es el número total de bits en la palabra codificada, mientras que NOri es el número total de bits en la palabra original.

4 Figura 2. Código Run-Length 3. Prelaboratorio Preparar una función que tenga como argumentos de entrada las siguientes variables: a) N = Número de bits o símbolos a generar. b) m = número de bits a agrupar para generar nuevos símbolos. c) P 0 = Probabilidad del 0. Dicha función, que llamaremos huffman, debe hacer lo siguiente: Generar una secuencia aleatoria (randsrc) de N bits o símbolos Generar la tabla de probabilidades de la fuente que resulta de agrupar los bits de m en m. Por ejemplo, en esta práctica sólo usaremos m = 1, 3 y 4. En este caso se tendrá: Para 1 bit se tienen dos símbolos [0,1] con probabilidades: [p, (1-p)] Para 3 bits se tienen 8 símbolos [0 : 7] con probabilidades: [p p p, p p (1-p), p (1-p) p, p (1-p) (1-p), (1-p) p p, (1-p) p (1-p), (1-p) (1-p) p, (1-p) (1-p) (1-p)] Para 4 bits se tienen 16 símbolos [0 : 15], cuyas probabilidades son: [p p p p, p p p (1-p), p p (1-p) p, p p (1-p) (1-p), p (1-p) p p, p (1-p) p (1-p), p (1-p) (1-p) p, p (1-p) (1-p) (1-p), (1-p) p p p, (1-p) p p (1-p), (1-p) p (1-p) p, (1-p) p (1-p) (1-p), (1-p) (1-p) p p, (1-p) (1-p) p (1-p), (1-p) (1-p) (1-p) p, (1-p) (1-p) (1-p) (1-p)] Calcular H de la fuente. Generar el diccionario: Usar la función huffmandict. Codificar usando Huffman: Empleando la función huffmanenconew, la cual se encuentra en la página del curso. Determinar L promedio. Determinar η. Determinar la tasa de compresión del código (TC). Decodificar: Utilizando la función huffmandeconew, la cual se encuentra en la página del curso. Comparar si los datos decodificados coinciden con los originales, para lo cual se recomienda usar la función isequal.

5 Los parámetros de salida de la función huffman serán: La secuencia original, la secuencia codificada, el diccionario, H, L, η, TC y el resultado de aplicar isequal Obtenga teóricamente el código Huffman del alfabeto de 8 símbolos que se genera al agrupar 3 bits con P 0 = Se le suministra una función denominada PracticaRunLength, la cual le permitirá generar una secuencia de bits (de largo igual a NBIT) aleatorios, con probabilidad P 0 para el cero, y codificarla empleando la codificación tipo Run-Length, usando como parámetro de agrupación el valor m. Debe leer el código de esta función y realizar comentarios sobre cada línea o grupo de líneas del script sobre lo que se hace para lograr dicha codificación. 4. Trabajo de laboratorio Debe realizar primero pruebas de codificación Huffman con secuencias cortas (5 veces el número de símbolos del alfabeto) para verificar que el diccionario está siendo aplicado correctamente. Realice las pruebas con m = 3 y P 0 = 0.75, ya que este código fue el calculado teóricamente en el prelaboratorio Realizar corridas de codificación Huffman con los siguientes parámetros: P 0 = 0.5, 0.75, 0.85, 0.95 cada una con m = 1, 3 y 4. Los resultados de estas corridas debe almacenarlos en la siguiente tabla y luego, en base a ellos use Excel para graficar H, L, η y TC en función de P 0 para m=1, m=3 y m=4 P 0 m H L η TC Simulación del código Run-Length: Prepare tres secuencias de bits al azar con randsrc, de muestras y con probabilidades del 0 de 0.65, 0.75 y Codifique con el código Run-length estas tres secuencias para m = 3, m = 5 y m = 7. En cada caso debe calcular TC.

6 RECOMENDACIONES: Para el caso Huffman: Se debe tomar en cuenta que el número de símbolos generados para el mensaje no puede ser el mismo, sino que será el número de bits total entre el número de bits agrupados, así será 3333 y 2500, para 3 y 4 bits respectivamente. Esto es con la intención de asegurar que la cantidad total de bits del mensaje original es siempre Para el caso Run Length: La fuente de bits no genera bits equiprobables, sino con una probabilidad de ceros (P 0 ) mayor que la de unos. Esta opción se debe a que una fuente de dígitos binarios equiprobables ya está óptimamente codificada, y no es suceptible de ser comprimida. La salida del codificador se aplica a un medidor de desempeño a fin de calcular la Tasa de Compresión. Además de la Tasa de Compresión se muestra su recíproco, que es el número de bits de código promedio por cada bit de fuente (NC). Estos resultados se muestran al final de la ejecución del programa. En caso de que la longitud de bits a simular NBIT sea menor que 32, se muestran también las secuencias fuente y codificadas. También es necesario definir el parámetro m (longitud del bloque). Para simulaciones estadísticas se recomienda usar NBIT = para el código run-length. 5. Informe El presente informe debe basarse en el estudio de los resultados para responder las siguientes preguntas para el caso Huffman: Pudo verificar que el diccionario se calcula con los métodos empleados para desarrollar el código Huffman? La secuencia se recupera sin errores? Qué le ocurre a H, η, TC y L cuando m crece?. Explique cada caso en detalle Qué le ocurre a H, η, TC y L cuando P 0 crece? Explique cada caso en detalle. Para el caso Run-Length: Como varía TC en función de m y de P 0? Explique cada caso en detalle. Para ambas codificaciones: Construya una gráfica de TC vs P 0, en la cual estén sintetizados todos los resultados de TC obtenidos para todas las codificaciones desarrolladas en la práctica: Huffman con m = 3 y m = 4, y Run-Length con m = 3, m = 5 y m= 7.