Compresión de datos Algoritmos de compresión con pérdida

Transcripción

1 Compresión de datos Algoritmos de compresión con pérdida Las técnicas de compresión sin pérdida generalmente producen tasas de compresión pobres cuando se aplican a imágenes, audio o video. La mayoría de las imágenes contienen el mismo tipo de redundancia que se puede encontrar en texto, la cual puede removerse al almacenarlas y recuperarla cuando se reconstruyen, pero esto no ocasiona gran compresión. Afortunadamente, las imágenes (ya sea fijas o en movimiento ) poseen una característica que las diferencia de otro tipo de datos: el ojo humano no es igualmente sensible a toda la información visual que poseen las imágenes, ya que cierto tipo de información es menos relevante que otra y en ese caso podría ser eliminada sin que ocasione un impacto significativo sobre la calidad de la reconstrucción (redundancia psicovisual). Por esta razón es que la mayoría de las técnicas orientadas a imágenes y video permiten cierto grado de pérdida (ya que este proceso es irreversible), que generalmente es inadvertida sobre la reconstrucción, con el objetivo de lograr mejores tasas de compresión. Un aspecto a tener en cuenta al considerar una técnica de compresión es el tipo de aplicación donde las imágenes son usadas, ya que hay que determinar si se deben considerar ciertas restricciones en cuanto a la complejidad del algoritmo, el tiempo de procesamiento o la calidad de los datos decodificados. Obviamente, no es la misma fidelidad la que se exige para imágenes médicas, en las cuales se debe preservar la calidad diagnóstica, que la requerida en transmisión o almacenamiento de fotografías digitales convencionales. Generalmente, existe un trade-off entre la calidad exigida y la tasa de compresión que pueda obtenerse, ya que a mayor compresión, mayor será seguramente la pérdida de calidad en la reconstrucción de las imágenes. Existen diferentes métodos de compresión de imágenes, sonido y video, algunos de ellos estándares habitualmente usados, los cuales son actualizados periódicamente. A continuación se presentan las características generales de algunos de los más importantes.

2 JPEG (Joint Photographic Expert Group) JPEG es una técnica estándar de compresión con pérdida, surgida en 1992 como un esfuerzo de standarización para la compresión de imágenes fijas, desarrollado por el Joint Photographic Expert Group ( Si bien el estándar admite diferentes modos de compresión, el esquema básico de codificación consiste de 3 etapas principales, luego de una fase inicial de preparación de la imagen de entrada: 1) transformación discreta del coseno, 2) cuantización, y 3) codificación estadística (también conocida como codificación de entropía). La siguiente imagen muestra el esquema de codificación correspondiente a imágenes en escala de grises. Para comprimir imágenes color, cada una de las componentes de color puede codificarse una luego de la otra, o en forma intercalada para cada bloque de la imagen. Transformación del Coseno Durante la preparación de la entrada, se subdivide la imagen original en bloques, generalmente de 8x8 pixels. Luego, a cada uno de estos bloques se le aplica una Transformación Discreta del Coseno (DCT), procesando los elementos del bloque de izquierda a derecha y de arriba abajo, en un sentido zig-zag. Esto se debe a que, luego de aplicar la transformación, el valor más representativo del bloque se encuentra en la celda superior izquierda, conocido como coeficiente DC (en la posición 0,0), ya que contiene la media del bloque. A medida que los valores se alejan hacia la esquina inferior derecha se hacen cada vez más pequeños y son menos significativos para la descripción del bloque. La DCT no produce pérdida de información, salvo un mínimo error de precisión proveniente de operaciones en punto flotante. En realidad, el propósito es convertir los datos del dominio espacial a una representación equivalente en el dominio de las frecuencias, más apropiada para la compresión. Cuantización A la salida de la DCT, se obtiene un nuevo bloque de 8x8 valores, los que luego son cuantizados, disminuyendo su precisión. Los coeficientes más alejados del (0,0) son los más afectados, ocasionando que algunos de ellos se transformen en valores nulos. La implementación de esta etapa se lleva a cabo a partir de una tabla de cuantización (quantum), de igual dimensión que el bloque. Cada valor cuantificado se calcula como: DCT( i, j) valor cuantizado ( i, j) quantum( i, j) Los valores de la matriz de cuantización deben ser definidos cuidadosamente, ya que al introducir pérdida de información, de esta etapa depende el grado de compresión y la calidad de la reconstrucción posterior. El standard sugiere definir la tabla en función de un 2

3 factor de calidad el cual, por convención, se establece en un rango entre 1 y 25 (para valores mayores a 25, la calidad de la imagen se verá muy degradada). La matriz de cuantización tiene una estructura opuesta a la que se obtiene como producto de la DCT, ya que posee valores pequeños en la esquina superior izquierda y valores cada vez mayores a medida que se desplaza hacia la esquina inferior derecha. Esto produce que los valores más significativos del bloque, o sea los de alta frecuencia, sean los menos afectados por este proceso, mientras que los menos significativos sufren la mayor pérdida de precisión (tomando generalmente valores nulos). Codificación estadística Luego de la cuantificación, de los 64 coeficientes quedan pocos valores distintos de cero. El último paso de la compresión consiste en aplicar una codificación de entropía a estos datos. Para ello, el valor del coeficiente DC se codifica como la diferencia entre el valor del bloque y el del anterior y el resto de los coeficientes se procesan en un recorrido zig-zag, mediante el algoritmo de Huffman o codificación aritmética y RLC (Run-Lenght Conding) para codificar las corridas de ceros. La decodificación En el proceso de descompresión se aplica siguiendo los pasos inversos a los efectuados durante la compresión. Inicialmente, se realiza la decodificación de Huffman/codificación aritmética y Run Length a los datos comprimidos generando las matrices de 8x8, aproximadas a las que se tenían antes de la compactación. Luego se aplica la decuantización y posteriormente la inversa de la DCT. Finalmente se reconstruye la imagen uniendo todos los sub-bloques de 8x8 reconstruidos. La calidad de la imagen reconstruida depende directamente del factor de calidad usado para definir la tabla de cuantización. Normalmente, la pérdida generada en los componentes de alta frecuencia no tiene un efecto grave sobre el contenido de información de la imagen, de manera que las reconstrucciones poseen una calidad aceptable. JPEG 2000 El estándar original se ha revisado y en el año 2000 se lanzó la versión JPEG-2000, la cual se basa en la transformada wavelet, en lugar de la DCT incluida en el estándar original. JPEG generalmente puede alcanzar tasas de compresión mayores, a la vez que en menos sensible a los principales defectos del estándar anterior y se adapta mejor a la transmisión progresiva de las imágenes. Una ventaja adicional de JPEG-2000 es la posibilidad de poder seleccionar regiones de interés para considerar en más detalle, evitando transmitir o almacenar detalles de toda la imagen. 3

4 VECTOR QUANTIZATION (VQ) La cuantificación vectorial se basa en aproximar un vector de k dimensiones por un número. La compresión de imágenes y de voz son las áreas de mayor interés para la aplicación de este tipo de codificación, ya que ambos tipos de datos presentan características suficientemente adecuadas para lograr compresiones considerables. En el caso de imágenes, los vectores representan bloques de n x n pixels de la imagen; en el caso de archivos de audio, se trata de conjuntos de muestras de sonido. Esquema Base El método realiza una comparación del conjunto los vectores de entrada contra un conjunto de vectores de salida o niveles de reconstrucción representativos, los cuales conforman el codebook usado para codificar. La codificación se asocia a un índice que identifica cuál de los vectores de salida corresponde a cada bloque o vector de entrada, de acuerdo a algún criterio que minimice el error entre ambos. Para esta comparación, VQ evalúa la distorsión entre vectores, la cual representa la diferencia o distancia d(v,v ) asociada a la reproducción de un vector v con otro v. Luego, se puede evaluar la performance del sistema por la distorsión media D = <d(v,v )> que es el promedio de las distorsiones entre los vectores de entrada y los correspondientes vectores de reproducción. La figura representa el esquema del compresor según VQ: Imagen a Comprimir Armar particiones Algoritmo LBG Calcular distorsión D D < ϵ? si Imagen Comprimida Codebook Inicial Obtener centroide no Los vectores representativos que codificarán los sucesivos bloques en que se divide la imagen se ubican en una lista (codebook). Esta lista se define según un tamaño previamente establecido y existen distintas maneras de generarla, siendo una de las más usadas la selección de vectores al azar a partir de los bloques de la imagen de entrada. Luego, este codebook inicial se optimiza mediante un algoritmo iterativo conocido como LBG (por Linde, Buzo y Gray, sus autores). Codificación El objetivo del proceso de optimización del codebook (LBG) es encontrar un conjunto de vectores representativos que tenga una distorsión mínima o aceptable para representar el conjunto total de bloques en que se divide la imagen. En cada paso, se codifican los bloques de la imagen, asociando a cada uno el vector del codebook actual que produzca menor distorsión. Una vez codificada de esta forma toda la imagen, si la distorsión promedio alcanza un cierto valor umbral o si se ha llegado a un tope de cantidad de iteraciones permitidas, el proceso de optimización concluye. Caso contrario, 4

5 se reemplaza cada vector en el codebook por el centroide (promedio) de los vectores de la imagen que se asociaron a ese vector de reproducción y se repite el proceso de codificación. El algoritmo puede resumirse en los siguientes pasos: a) Dados una secuencia de vectores de entrada X y un codebook inicial Y b) codificar la secuencia de vectores de entrada en una secuencia de símbolos de salida usando la regla de distorsión mínima; es decir, en cada paso se asocia un vector de entrada x i al vector de reproducción y j que resulte con menor diferencia. c) Se calcula la distorsión media entre X e Y: D = <d(xi,yi)>. Si está por debajo de un umbral de tolerancia previamente establecido, termina el proceso de optimización y se obtiene la codificación de los datos. Sino, d) reemplazar cada vector de reproducción y j del codebook Y por el centroide de los vectores de entrada que han sido asociados a y j y reiterar los pasos b) y c). Una vez obtenido el codebook más representativo de acuerdo a los parámetros especificados, la codificación se efectúa reemplazando cada uno de los bloques de la imagen por el índice del vector del codebook que lo representa. Además, debe anteponerse el codebook utilizado, para que sea posible la interpretación de los datos codificados por parte del descompresor. VQ es una técnica de compresión con pérdida, ya que cada vector de la imagen se codifica por medio de otro vector que minimiza la distorsión, o sea el "vecino más cercano". Descompresión Debido a la forma en que trabaja el algoritmo, el proceso de compresión es algo lento pero la fase de descompresión es rápida. Se trata de algoritmos asimétricos, ya que el descompresor sólo debe ir reemplazando cada bloque de la imagen destino con los valores del vector representativo especificado por el índice al codebook que ha sido transmitido. Durante este proceso no se requieren comparaciones ni búsquedas, como en la compresión. Performance La tasa de compresión alcanzable suele depender del conjunto de datos de entrada, pero puede hablarse de una tasa promedio de 15:1, según el algoritmo base. Existen variantes de este algoritmo, tendientes a mejorar el factor de compresión, la distorsión de la imagen reconstruida o a bajar el tiempo insumido por la codificación. En este último aspecto, una de las alternativas consiste en aplicar un VQ clasificado. En este caso, en lugar de utilizar un codebook general para toda la imagen, se establecen distintas clases de bloques dentro de la imagen y se clasifica cada vector en una categoría particular. Para cada una de estas categorías se genera un codebook diferente. Mediante esta estrategia, es posible reducir la cantidad de comparaciones a realizar para obtener el vecino más cercano de cada vector y así disminuir el tiempo de proceso de la fase de compresión. 5

6 CODIFICACIÓN FRACTAL Un fractal es una imagen que tiene la propiedad de auto-similitud; es decir, es una imagen que está construida por copias transformadas de sí misma. Ejemplos característicos de fractales son el set de Mandelbrot (Fig.1-a.), o el helecho de Barnsley (Fig.1-b), donde las partes guardan autosimilitud con la figura original. Muchos fractales se basan en la teoría de IFS (Iterated Function Systems) que expresa las relaciones entre partes de una imagen mediante el uso de transformaciones afines (rotaciones, cambios de escala o traslaciones). En el proceso de generación de una imagen fractal, se aplican en forma reiterada las transformaciones que la describen, obteniendo en cada paso una nueva imagen que sirve como entrada para la iteración siguiente. Por ejemplo, el fractal conocido como copo de nieve de Koch (Fig.1-c.) se construye a partir de un triángulo equilátero, estableciendo en cada paso, un nuevo triángulo equilátero en la parte media de cada lado. a b c Figura 1: Set de Mandelbrot (a), Helecho de Barnsley (b), Copo de Nieve de Koch (c) Cuando las transformaciones aplicadas a una imagen no producen diferencias con respecto a la obtenida en el paso anterior, a la imagen resultante se la denomina atractor o punto fijo de la transformación. Las transformaciones aplicadas deben ser contractivas, es decir una transformación aplicada a dos puntos cualesquiera de la imagen de entrada debe llevarlos a una posición más próxima uno del otro en la imagen de salida, de manera de asegurar la convergencia del proceso. Proceso de compresión automático Es bastante improbable que una imagen convencional contenga la similitud que aparece en una imagen fractal pura como las anteriores, siendo muy difícil encontrar transformaciones afines que describan la imagen completa. Sin embargo, existe casi siempre un cierto grado de autosimilitud que permite aplicar este enfoque en forma parcial. Para ello, se debe establecer una partición de la imagen a codificar con el objeto de lograr transformaciones de unas regiones en otras. Para codificar una imagen siguiendo esta idea, se particiona la imagen original mediante una división quadtree, generando bloques rangos de diferente tamaño. Además, considerando una copia de la misma imagen, se establecen bloques denominados dominios que se utilizan como espacio de búsqueda de bloques similares a los rangos (Fig.2) 6

7 w 1 w 2 Teoría de la Información dominios rangos w 3 Figura 2. Búsqueda de transformaciones A partir de una división inicial de la imagen, para cada bloque rango Ri, debe buscarse un bloque dominio Dj tal que, al aplicarle alguna transformación afin, difiera lo menos posible con Ri. Para ello, se debe utilizar alguna medida de distorsión entre imágenes, como por ejemplo el error cuadrático medio. En caso de que no se encuentre ningún bloque con distorsión dentro de la tolerancia permitida, se debe dividir Ri en cuatro sub-bloques y realizar la búsqueda de dominios semejantes con cada uno de los sub-bloques. Este proceso se repite recursivamente hasta encontrar un bloque dominio que produzca un valor de distorsión por debajo del nivel de tolerancia admitido. Reconstrucción de la imagen La decodificación constituye un proceso iterativo, mucho más veloz que la etapa de compresión, consistente en efectuar iteraciones del conjunto de transformaciones descriptas a partir de una imagen inicial cualquiera, lo que producirá una secuencia de imágenes que convergerán a una aproximación de la imagen original. De esta manera, se toma una imagen de entrada arbitraria y se le aplica el conjunto de transformaciones especificadas en el archivo comprimido, para obtener una imagen de salida. Luego, esta imagen se considera entrada en la siguiente iteración y el proceso se repite hasta obtener el punto fijo de la transformación (cuando las diferencias entre entrada y salida son inapreciables), lo que generalmente sucede luego de unas 10 iteraciones. Performance w 4 En general, esta técnica de compresión permite obtener altas tasas de compresión (típicamente 40:1 sin gran deterioro de la imagen), debido a que la imagen se describe a sí misma en función de una serie de transformaciones. Los bloques más homogéneos serán más grandes, ahorrando más espacio, mientras que aquellos con mayor nivel de detalle, deberán subdividirse para codificarse en base a dominios más pequeños. El problema de este enfoque es que la etapa de compresión es computacionalmente costosa, por lo que se trata de plantear estrategias que permitan reducir el tiempo de búsqueda. 7

8 COMPRESIÓN DE SONIDO Y VIDEO En sonido digital se asigna cada muestra obtenida (amplitud) a un intervalo dentro de los valores posibles, según el tamaño máximo predefinido para las muestras. La escala de muestreo puede ser de 8 o 16 bits, lo que hace que una onda originalmente continua sea transformada a una señal discreta en una escala de valores 128 a 127, o de a 32767, respectivamente. La calidad de la codificación depende directamente de la velocidad de muestreo y del tamaño de las muestras. Codificación diferencial Esta técnica sencilla de compactación tiene en cuenta la escasa variación de valor entre muestras sucesivas de sonido. La codificación entonces consiste en registrar las diferencias entre dos muestras consecutivas, en lugar de sus valores de amplitud absolutos. Inicialmente, se almacena el primer dato en la onda original y, a partir de él, se guardan las diferencias con la muestra anterior. La compactación surge del hecho que la representación de las diferencias puede hacerse con mucho menos bits que la muestra original. Si los bits asignados para codificar la diferencia no fueran suficientes se produce pérdida de información. Compactación de silencio Es una especie de codificación RLC (Run-lenght encoding), ya que en este caso se codifica cada secuencia de silencios relativos como una corrida de silencio absoluto. Para aplicar la técnica, se debe especificar el rango de amplitudes que son consideradas como silencio y luego asignar una codificación RLC (símbolo de silencio, longitud de corrida). La compactación de silencio puede ser una buena estrategia para eliminar información redundante de los archivos de sonido que representan conversaciones. Para el caso de archivos de música, no suele ser una opción muy efectiva. MPEG Las actividades de MPEG (Moving Picture Experts Group) cubren más que compresión de video solamente, ya que se ocupa de la codificación de audio y de la sincronización entre imagen y sonido. MPEG es un standard genérico, universal, independiente de cualquier aplicación particular. Compresión de video Un video puede verse como una secuencia de imágenes fijas a ser codificadas individualmente, pero mostradas secuencialmente a una tasa de video dada (30 frames/seg.) Sin embargo, la excesiva redundancia entre frames sucesivos posibilita lograr una importante compresión en el dominio temporal. Los requerimientos para la utilización del video comprimido en medios de almacenamiento digital tienen un impacto directo sobre las características del algoritmo. Se debe proveer: - acceso aleatorio: la secuencia comprimida debe poder ser accedida en cualquier punto y el frame correspondiente debe ser decodificado en una cantidad limitada de tiempo. Esto implica la existencia de puntos de acceso, segmentos codificados sólo con referencia a ellos mismos que aceleran el proceso de decodificación. 8

9 - búsqueda hacia adelante/atrás: dependiendo del medio de almacenamiento, debe ser posible mostrar la secuencia con un efecto rápido hacia delante o hacia atrás. - playback reverso: se puede requerir que la señal se muestre en orden reverso. - sincronización audio-visual: la señal de video debe ser sincronizable con la de audio, proveyendo un mecanismo de resincronización permanente. - robustez frente a errores: la mayoría de los medios de almacenamiento y transmisión no están libres de errores, así que el esquema de codificación debería ser robusto ante cualquier error físico no corregido para evitar un comportamiento indeseable. - delay codificación/decodificación: algunas aplicaciones, como videoconferencia por ejemplo, requieren mantener controlada la demora del sistema a fin de proveer una comunicación aceptable. Esquema de compresión Los requerimientos anteriores exigen una tasa de compresión alta, no alcanzable en función de una codificación intra-frame únicamente. El esquema de compresión puede cumplir todos los requisitos en cuanto que logra un buen balance entre los diferentes aspectos, logrando una alta compresión asociada con la codificación inter-frame, sin comprometer el acceso aleatorio mediante la intercalación de puntos de codificación intra-frame. MPEG se basa en dos técnicas de codificación básicas: interpolación de movimiento para la reducción de la redundancia temporal inter-frame y compresión basada en la Transformada Discreta del Coseno (DCT) para la codificación de la redundancia espacial intra-frame. A causa de la necesidad de acceso aleatorio y de la importante reducción por interpolación de movimiento, se utilizan 3 tipos de imágenes en MPEG: - Intrapictures (I), proveen puntos de acceso aleatorio pero con moderada compresión. - Predictiva (P), son codificadas con referencia a una imagen anterior (I ó P), generalmente se usan como referencia para imágenes predictivas posteriores - Interpoladas (B), proveen la mayor compresión, pero debido a que se utilizan para predicción bidireccional, requieren referencias pasadas y futuras I B B B P B B B I En todos los casos, cuando una imagen se codifica como una referencia, se aplica una técnica de compensación de movimiento para aumentar el grado de compresión. En este caso se asume que la imagen corriente puede ser modelada como una traslación de la imagen anterior, atendiendo sólo al sector de la imagen que sufrió una modificación. 9