TECNOLOGÍA DE LOS CONTENIDOS MULTIMEDIA

Transcripción

1 Programa Oficial de Postgrado: Master en Comunicaciones, Redes y Gestión de Contenidos TECNOLOGÍA DE LOS CONTENIDOS MULTIMEDIA Optativa de 2º cuatrimestre TEMA 10 Compresión de Vídeo

2

3 TEMA 10 Compresión de Vídeo 10.1 INTRODUCCIÓN A LA COMPRESIÓN DE VÍDEO. La compresión de sonido y de vídeo es hoy en día una necesidad conocida y las herramientas que se han desarrollado a lo largo de los últimos años han ido apareciendo en el mercado de consumo con intensidad relevante. La ventaja fundamental de la compresión va más allá del mero ahorro en los dispositivos de almacenamiento. Su mayor interés práctico se centra en las comunicaciones, especialmente mediante Internet, ya que influye decisivamente en la posibilidad de transferir elementos de audio y/o video mediante este medio. La tecnología de la compresión de vídeo es el factor fundamental para la transmisión de vídeo mediante un canal de comunicación con un coste aceptable. También es básica para la autoría multimedia, el entretenimiento, los sistemas educacionales, la televisión digital por satélite, etc. Por otro lado, la historia de la tecnología de compresión está íntimamente relacionada con la historia de la industria de la videoconferencia. Por ejemplo, en una videoconferencia un CIF (Common Intermediate Format), Formato Común de Intermediación, contendría 352 x 288 pixels de luminancia, 176 x 144 de crominancia R-Y y 176 x 144 de crominancia B-Y. A 30 frames en NTSC (25 en PAL) por segundo con 8 bits de información por píxel, esto es alrededor de 36 Mb por segundo, y transmitirlos por un canal de comunicaciones RDSI (RDSI, Red Digital de Servicios Integrales en España) a 128 kb por segundo es un reto formidable. Pretenderlo en tiempo real manteniendo la sincronización del audio y el video es todavía más difícil. En la figura 10.1 se muestra un diagrama especialmente significativo, que ilustra cómo la historia de la videoconferencia está estrechamente relacionada con la historia de las tecnologías de compresión y los desarrollos industriales relacionados con ella, tanto hardware como software.

4 Ancho de Banda 1.5 Mbps capacidad 768 Mbps Requerimientos Figura 10.1 Necesidades de ancho de banda para el transporte de video a lo largo de los años. Como puede observarse durante la década de los 80 se produjo un extraordinario descenso en los requerimientos necesarios de ancho de banda para obtener una secuencia de video de calidad aceptable. Tras esta década, el ancho de banda necesario para la transmisión de video está alrededor de 1.5 Megabits por segundo. Hoy en día, la mayoría de los usuarios encuentran suficientemente satisfactoria una velocidad de 384KB por segundo, y se han producido mejoras extraordinariamente significativas tanto en los algoritmos como en las capacidades de los dispositivos hardware diseñados para ejecutar dichos algoritmos. Por otro lado durante este periodo de tiempo también se han desarrollado importantes mejoras en el precio y en la capacidad de las líneas de comunicación que han permitido transportar las secuencias digitales de bits necesarias para conseguir calidades relativamente buenas tanto de video como de videoconferencia. Con todo ello puede establecerse que la convergencia entre la capacidad de las comunicaciones con la tecnología de compresión han permitido el desarrollo del video digital y la entrada masiva de la industria y el consumo en este campo. Con el fin de comprender el coste real de la compresión de video se analiza el siguiente ejemplo. Considérese la compresión del video NTSC, que es el estándar de las emisiones de televisión, VCR y videocámaras en USA. El estándar en Europa y Asia es PAL o C-CAM. En cualquier caso el cálculo es el mismo salvo los datos. Si se digitaliza una señal de video NTSC y cada frame se digitalizará. Como hay 30 frames por segundo se tendría una secuencia de alrededor de 24.9 MB por segundo o 200 Megabits por segundo: 1 frame = 720 x 576 pixels de luminancia + 2 x 360 x 576 pixels de crominancia 1 frame = 829,440 bytes a 30 frames por segundo. NTSC = 24.9 Mbytes / sec = 200 Mbits/sec 10.2 Tecnología de los Contenidos Multimedia

5 Es recomendable que el lector realice los cálculos para el sistema PAL con los datos indicados en el capítulo anterior. Obviamente esto excede con mucho la capacidad de la mayoría de las líneas de comunicación. Por ejemplo la línea T1, que en general es considerada como un acceso a Internet de alta velocidad, sólo es capaz de transmitir 1.54 Mbits/sec. Puede observarse que la compresión es fundamental, al igual que se indicó en el ejemplo anterior de la videoconferencia. En conclusión, puede considerarse que típicamente es necesaria una compresión de 500, 1000 o 2000 a 1 para que sea posible la transmisión de una secuencia de video mediante las líneas de comunicación disponibles. Es imprescindible comprimir la señal. Análogamente sucede en la transmisión de vídeo con televisión de alta definición, o HDTV (High Definition TV). Un formato de vídeo HDTV habitual se escanea progresivamente con pixels/frame, con una señal de vídeo a 60 frames por segundo, con 24 bits/píxel, 8 bits para el rojo, 8 para el verde y 8 para el azul, lo que implica una velocidad de datos por fila de alrededor 1.3 Gbits por segundo. Con las comunicaciones digitales modernas se pueden transmitir cerca de 20 Mb por segundo con un ancho de banda de 6 MHz por cada canal de televisión. De nuevo se observa la necesidad de utilizar potentes técnicas de compresión para comprimir en este caso con un factor de 70, equivalente a 0.35 bits/pixel, para enviar por un canal de 20 MB por segundo la información con una velocidad de fila de 1.3 Gb por segundo. El estándar de compresión de vídeo MPEG-2 es el utilizado para la compresión de vídeo HDTV. En conclusión la compresión de vídeo ha sido un instrumento esencial en diversas aplicaciones, entre las que destacan la televisión digital, los discos de vídeo digital, la telefonía con vídeo y las secuencias de vídeo transportadas mediante Internet o enlaces sin cables (wireless). Además la compresión ha sido un elemento crucial para superar el problema de la limitación en el ancho de banda, y también en la capacidad de almacenamiento COMPRESIÓN / DESCOMPRESIÓN: CARACTERÍSTICAS Y RESTRICCIONES. La compresión y la descompresión se realiza mediante un codificador y un decodificador respectivamente, que en la terminología del área suele denominarse Codec. Este elemento no es más que una función, que toma una secuencia de bits y da como salida una secuencia de datos. La figura 10.2 muestra el esquema general de la tarea del Codec. Existen diferentes Codecs ya que algunos se optimizan para audio, otros para video, voz o para datos. Por otro lado debe tenerse en cuenta que hay multitud de restricciones en el diseño lo que también implica la existencia de multiples Codecs. Prácticamente existen tantos CODECs para la compresión de audio y video como investigadores en el área. Las elecciones posibles son múltiples y las aplicaciones son aún más. Tecnología de los Contenidos Multimedia 10.3

6 Datos de Entrada CODEC Datos de Salida Audio Voz Video Datos Restricciones de diseño Figura 10.2 Codec. Compresión / descompresión. Otro aspecto de especial interés es el hecho de que un Codec es una función, y no está limitado a ningún aspecto en particular, ni es un dispositivo en particular. Por ejemplo puede ser una simple tarjeta en un computador personal, o un chip en una placa madre, o una función software que se ejecute en un computador. Un primer aspecto a considerar es la compresión genérica multimedia. En general en los entornos multimedia se hace uso de los conocimientos fisiológicos sobre los sistemas de visión y audición humana. Esto es especialmente útil en el diseño de los Codecs que aprovechan las facultades más relevantes de los sistemas auditivos. Por ejemplo, es conocido que el ojo humano es mucho más sensible al brillo y mucho menos sensible a la variación del color. Por ello en la compresión de video se presta mucha más atención a los elementos que tratan el brillo y mucha menos a los de color. Análogamente se conoce que el oído humano no puede oír algunas frecuencias y que otras no son agradables de escuchar. Por ello las señales con estas frecuencias se digitalizan con menos precisión o incluso se eliminan completamente en el proceso de compresión. Tanto cuando se selecciona un Codec como cuando se diseña es fundamental considerar las restricciones. Como todo usuario de Internet sabe, en el entorno de las comunicaciones es muy importante disponer de Codecs adecuados. Es importante realizar las comunicaciones sin que el usuario tenga que preocuparse de los detalles del hardware en cada extremo de la comunicación y es necesario que independientemente del esquema que se utilice en la compresión el otro lado de la comunicación pueda descomprimir. Sin embargo, las restricciones impiden que haya un único Codec universal. Por ejemplo, en la compresión de video siempre existe una cuestión que debe tenerse en cuenta: cuántos bits por píxel se están suponiendo en la compresión. En el ejemplo de la compresión NTSC anteriormente comentado se ha supuesto que hay 8 bits por píxel para los pixels de luminancia y también 8 para los de crominancia. Sin embargo, si la capacidad de memoria es una restricción debería almacenarse todo en un byte Tecnología de los Contenidos Multimedia

7 Una de las características principales de los Codecs es su complejidad computacional. Los algoritmos muy complejos pueden necesitar una potencia de cálculo que no está disponible en el sistema utilizado. Es evidente la importancia de las restricciones en el diseño del Codec, pero la más importante es que el Codec pueda realizar su tarea con una complejidad computacional adecuada y adaptada a la potencia de cálculo disponible. Sería absurdo diseñar un Codec que necesite dos supercomputadoras tipo Cray o un clúster cuando la aplicación se desarrolló en el entorno de la informática de consumo. Además es evidente que debe haber sintonía entre la potencia de cálculo y las exigencias del algoritmo. Por ejemplo los algoritmos de compresión de voz para telefonía sin cable deben ejecutarse en procesadores de señal que sean compatibles con las características de la tecnología sin cables (wireless), como por ejemplo un bajo consumo de potencia para conseguir una larga vida de la batería. Otra restricción importante para las trasmisiones en tiempo real es la razón de compresión, aunque con frecuencia es una de las más ignoradas. Sin embargo es obvio que la salida del Codec tiene que ser compatible con la capacidad del canal de comunicaciones. Por ejemplo, si se está trabajando con un Codec MPEG2, no es posible que se transmita adecuadamente por un canal de bajo coste en tiempo real ya que la salida del MPEG2 es de 6Mb por segundo, 6000 kb por segundo. Esta es la velocidad de la televisión MPEG2 por satélite, mientras que la de por ejemplo un CD-ROM I/O es 1.5 Mb/s (Mb=Megabits) por segundo en aplicaciones multimedia que no tiene mucha aplicación para los sistemas de comunicación basados en la telefonía (que disponen de 9.6 a 128 kb por segundo). Por tanto es evidente que un Codec optimizado para el ancho de banda de la televisión MPEG2 por satélite ofrece mayor calidad de audio y video que uno optimizado para videoconferencia sobre línea RDSI a 128 kb por segundo. La restricción más evidente es que la calidad de la salida del Codec debe ser aceptable. Sin embargo, esta restricción es ignorada con frecuencia, a costa del sufrido observador del resultado. Si se trata de comunicaciones y transmisión de voz es evidente que el Codec sólo será adecuado si lo escuchado es inteligible y el hablante reconocible, y lo mismo sucede en la codificación de video, aunque es habitual que en las videoconferencias las deficiencias en la salida no sean fuertemente rechazadas por el usuario. Afortunadamente la calidad es un factor que se beneficia de las continuas mejoras que se realizan tanto en los algoritmos como en la potencia de cálculo. Otro aspecto a considerar es la simetría. En el entorno de las comunicaciones bidireccionales en tiempo real, los usuarios suelen enviar y recibir secuencias simultáneamente a ambos lados de la línea de codificación, piénsese por ejemplo en la videoconferencia. Esta es una situación muy diferente al paradigma típico de los desarrollos multimedia sobre PC. Por ello en estas aplicaciones es necesario que el Codec realice la compresión y la descompresión de forma balanceada, es decir, utilice el mismo tiempo para realizar la compresión y la descompresión. Evidentemente este aspecto no tiene interés en las aplicaciones unidireccionales, en las que se almacenan las Tecnología de los Contenidos Multimedia 10.5

8 secuencias de salida del Codec y posteriormente se envían. Además, los algoritmos basados en el modelo consistente en codificar una vez lentamente y decodificar muchas veces rápidamente no son apropiados para la videoconferencia. Sin embargo, los algoritmos con simplicidad suficiente para descodificar pueden implementarse en un host PC, mientras que la codificación normalmente se realiza sobre dispositivos dedicados o DSP de propósito general. Este hecho también se está convirtiendo cada vez más en un paradigma para los MPEG multimedia. Un factor importante a tener en cuenta es la latencia. La latencia es un término técnico que indica retardo o retraso, relacionado con el manejo de los bits de forma agrupada. Si se agrupa una muestra grande de datos y se comprime se pueden analizar los datos y tratarlos con un algoritmo para comprimir un grupo de datos. Hacer esto es mucho más eficiente que tratar cada punto individualmente, obsérvese que por ejemplo se pueden evitar redundancias. Sin embargo al agrupar un grupo de datos normalmente aparece un gran retardo debido al tiempo utilizado para agrupar los datos. Por ejemplo, si se agrupan 30 milisegundos de datos de voz y posteriormente se decide cómo comprimirlos se está introduciendo al menos un retardo de 30 milisegundos en el lado de la recepción y otros 30 milisegundos en el de la emisión. Por tanto, en una comunicación en tiempo real se están introduciendo al menos 60 milisegundos, lo que es muy significativo en los entornos de comunicación bidireccionales en tiempo real. Cuando se tienen diferentes cantidades de retardo en el video y en el audio se empieza a perder la sincronización, lo que es molesto e inaceptable. Por tanto la latencia es un problema serio en las aplicaciones de videoconferencia pero no es un problema para las que utilizan almacenamiento para la posterior comunicación, como por ejemplo las películas en DVD. Hay aplicaciones, especialmente en la compresión de datos, en las que es muy importante disponer de un entorno "sin pérdidas", lossless, es decir, es importante que al descomprimir los datos se obtenga una reproducción exacta de la señal original. La compresión sin pérdidas se considera un proceso reversible en el que se puede reconstruir perfectamente la secuencia de datos de imágenes o audio. Ejemplos de esta característica son las técnicas de codificación vectorial, codificación de entropía o codificación de longitud variable (como los códigos de Huffman). La compresión con pérdidas hace uso de las características fisiológicas y especialmente los límites de los sistemas sensoriales humanos, que permiten eliminar de las secuencias de datos señales de varias frecuencias y amplitudes no detectables. La codificación psicofísica produce técnicas de compresión que reducen el número de bits necesarios para reproducir los sonidos o imágenes, pero la reconstrucción nunca es el 100% del original. Evidentemente las técnicas sin pérdidas serían inapropiadas para la compresión de datos cuando cada bit cuenta, como por ejemplo en bases de datos en las que cada bit es importante o en la transmisión de imágenes médicas. Las técnicas de compresión sin pérdidas están muy limitadas, en general a una razón de compresión de 4 a 1, mientras que las técnicas con pérdidas pueden ofrecer razones de 200 a Tecnología de los Contenidos Multimedia

9 Por último una restricción evidente es el coste. Cuando se elige un Codec es importante considerar los costes tanto de software como de hardware. Cualquier algoritmo de compresión de video representa un compromiso de diseño entre la potencia de cálculo requerida para implementar la compresión, la potencia de cálculo necesaria para la descompresión, la calidad de los datos descomprimidos en relación con los datos de entrada, la razón de compresión y el retardo debido al esquema de compresión. Por ejemplo, la razón de compresión más alta posible se obtendría con un coste de hardware elevado o si no se tendría una muy pobre calidad de imagen en el receptor. Sin embargo, como el coste de un equipo es un factor determinante obtener la mayor compresión de los datos de vídeo posible con la mayor calidad de vídeo no es una solución adecuada, por lo el mercado presenta una amplia gama de posibilidades que serán más o menos adecuadas en función de la aplicación que vaya a ser desarrollada en las mismas. Para la videoconferencia corporativa la selección de un esquema de compresión con una calidad de imagen razonable pero no grande es menos sensible al precio que una aplicación de juegos multimedia, en la que el coste es fundamental. El punto clave en la videoconferencia es un algoritmo de compresión que produzca una secuencia con velocidad compatible con el canal de comunicación. Y además, como se ha dicho, la compresión debe tener latencia pequeña para mantener la sincronización y que la comunicación sea en vivo. Sin embargo, para los reproductores de CD-ROM el objetivo principal es que la descompresión sea de bajo coste, que suele conseguirse utilizando sólo software, que puede producir video basándose en velocidades de datos fuera del reproductor de CD-ROM. Como el material se comprime sólo una vez, el tiempo y el coste de la compresión no son aspectos primordiales. Lo mismo ocurre en la distribución de video por demanda, se comprime sólo una vez y se trasmite por cable o satélite, descomprimiéndose finalmente en el receptor TÉCNICAS DE COMPRESIÓN El esquema general de compresión de vídeo consta de tres pasos básicos: 1.- Análisis de la señal. Se realizan medidas sobre la secuencia de vídeo de entrada, se calculan los errores de predicción y se realizan las transformadas (operaciones matemáticas) del dominio temporal al dominio de la frecuencia, obteniendo los coeficientes asociados a dicha transformada. La compresión de datos siempre se realiza haciendo uso de un algoritmo de procesamiento digital de señales. Seguidamente se divide la señal en subbandas y se realiza un análisis de correlación. Los pixels de entrada se transforman a otro formato, por ejemplo a los coeficientes de la transformada discreta del coseno, DCT, pero estos mantienen toda la información de la señal, salvo errores de redondeo, por lo que no se realiza ninguna reducción de datos. Tecnología de los Contenidos Multimedia 10.7

10 2.- Cuantificación En este paso es dónde se realizan la mayoría de las técnicas de compresión porque el cuantificador puede eliminar valores que representan información inútil. Este paso suele implicar pérdidas en la información para recuperar la señal, pero también se pueden definir técnicas sin pérdidas con razones de compresión menores. 3.- Codificación de longitud variable o codificación por entropía. A cada evento se le asigna un código con un número de bits variable. En general suceden eventos que tienen códigos con pocos bits, sólo los eventos poco comunes tienen códigos con muchos bits. Es de esperar que la longitud de código en promedio sea menor que la longitud de un código fijo que sería necesario sin esta disposición. Esto suele realizarse mediante el código de Huffman. En general pueden considerarse dos aproximaciones para implementar un Codec. El primero se conoce como Procesamiento de Señal Nativo, Native Signal Processing. Generalmente está basado en un Host en el que se utiliza un procesador, como por ejemplo un Pentium, una Sun Spark Station o un procesador HP, con un Codec software. La característica básica en este tipo de compresión es que el procesador es de propósito general y el Codec es sólo software, lo que permite que sea una implementación de bajo coste y la integración y el desarrollo del software es más general y sencillo. La segunda aproximación es utilizar un dispositivo dedicado, típicamente un chip que ha sido diseñado y optimizado para la compresión de video y/o audio. Estos chips son conocidos como Procesadores Digital de Señales, DSP (Digital Signal Processors), y ofrecen prestaciones mucho mayores. Además libera a la CPU de la tarea de compresión, por lo que puede ejecutar otras aplicaciones, y es compatible con dispositivos no conectados e individuales. Las tecnologías utilizadas para la compresión de video son muy diversas pero en general pueden establecerse cuatro aproximaciones para implementar la compresión de un frame de video: Transformada del Coseno Discreta, (DCT, Discrete Cosine Transformation). Cuantificación vectorial, (VQ, vector quantization). Compresión fractal. Transformada Wavelet Discreta, (DWT, Discrete Wavelet Transform) La DCT es la base fundamental para la mayoría de los protocolos de comunicación y también la mayoría de los estándares que se utilizan hoy en día, como por ejemplo JPEG 2000, MPEG-1 y MPEG-2, H.26X, y prácticamente todos los sistemas de videoconferencia. Durante el proceso de codificación basada en DCT una imagen se divide en bloques de 8 8 pixels que serán la entrada de la DCT, en la que se reducen las redundancias. Seguidamente se realiza la cuantificación utilizando funciones con peso optimizadas para el sistema visual del ojo humano. Como la visión humana es menos sensible al color que al brillo, la gradación de niveles en la cuantificación de los valores de color pueden ser mayores que la de los valores de intensidad, es decir, la distancia entre los niveles de los valores cuantificados puede ser mayor. Esto permite un mayor grado de 10.8 Tecnología de los Contenidos Multimedia

11 compresión para los componentes de color sin provocar una degradación perceptible de la imagen. Análogamente, como la visión humana es menos sensible a los detalles de alta frecuencia (variaciones rápidas) que a los de baja frecuencia (variaciones lentas), la cuantificación de los valores de alta frecuencia puede ser mayor, obteniéndose una compresión extra sin deteriorar significativamente la calidad de la imagen. Como se comprime a lo largo de todo el rango de datos la operación de cuantificación sobre la matriz de frecuencias resultante de la DCT se convertirá en una matriz alterada que contiene muchos valores iguales debido a la cuantificación. En particular una matriz cuantificada contiene muchos más ceros. La matriz cuantificada puede tratarse de manera inversa para recuperar de forma aproximada la original, pero siempre habrá pérdidas de mayor o menor importancia en función del tamaño de la granularidad de la cuantificación. Finalmente los datos resultantes de la cuantificación se codifican en entropía utilizando un esquema de Huffman de longitud variable. Para descomprimir la imagen se realiza el proceso inverso. El esquema general de la compresión con DCT directa se ilustra en la figura DCT hacia delante Cuantifucador Codificador de Entropía Datos de la imagen comprimida Datos de imagen original bloques 8x8 Tabla de especificaciones Tabla de especificaciones Figura 10.3 Esquema general de la codificación con DCT directa. Estas técnicas de compresión se aplican sobre un único bloque de datos, por lo que se denominan intrabloques. En ningún caso consideran los datos que no estén en el bloque tratado. En general con estas técnicas de compresión pueden obtenerse razones de compresión de 20 a 1 o 30 a 1. En la codificación vectorial los cambios en la posición de un píxel se representan mediante números que indican la magnitud y la dirección. La VQ elimina menos información sobre los datos de color que la DCT, pero tiende a difuminar movimiento en los laterales de una imagen que se mueve rápidamente. Con VQ una palabra digital transmitida representa los valores cuantificados de más de una muestras de la señal. Para imágenes, un único vector normalmente representa un array de 4 4 pixels. VQ es un algoritmo altamente asimétrico. La codificación necesita un proceso complejo de búsqueda para determinar qué vector se transmite y la decodificación consiste meramente en utilizar una tabla de consulta para dibujar el valor correspondiente. Las tecnologías con fractales y wavelets se basan en técnicas avanzadas en el procesamiento de señales digitales. Las wavelets descomponen una imagen en componentes frecuenciales mediante un filtrado iterativo paso baja y paso alta que se realiza sobre la imagen completa, no en Tecnología de los Contenidos Multimedia 10.9

12 bloques. El resultado es una representación jerárquica de la imagen en la que cada capa representa una banda de frecuencia. La compresión fractal es lenta debido a su complejidad, pero produce una tamaño de fichero mucho menor que con otras técnicas, y la descompresión puede realizarse con software. La empresa Iterated Systems, Inc ha apostado fuerte por la tecnología fractal y desarrolla tecnología para la compresión de imágenes de calidad desde CD-ROM. Esta empresa también es muy activa en la distribución de vídeo a través de Internet y está desarrollando tecnología para videoconferencias bidireccionales. Por otro lado Aware Inc., promociona las wavelets como una forma de mejorar la calidad de la compresión de vídeo, y tiene licenciada la mayoría de su tecnología a Analog Devices, que es también líder en el campo de las wavelets. Al contrario que la DCT, la DWT, se aplica sobre la imagen completa, eliminando con ello los efectos debidos a la partición en bloques, típicos de las tecnologías basadas en DCT. Además de la clasificación de la compresión de video en cuatro tipos que se acaba de describir, suele establecerse que existen dos tipos de aproximaciones al problema de la compresión de vídeo, de acuerdo con el hecho de que se base en datos de un único frame o no. Si la técnica se basa en los datos de un único frame se conocen como intraframes. Un ejemplo típico de estándar basado en intraframes es el JPEG. Mientras que si se obtiene compresión adicional mediante la comparación de varios frames se denomina interframe. Las técnicas interframe aprovechan las similitudes (redundancia) que existe entre frames adyacentes. Si se quieren conseguir razones de compresión mayores manteniendo una calidad aceptable la mayoría de los dispositivos de compresión utilizan técnicas interbloques, que utilizan información de otros bloques realizando comparaciones bloque a bloque. Una aproximación interbloques sencilla consiste en calcular la diferencia entre dos bloques adyacentes y comprimir y transmitir sólo la diferencia. Por ejemplo puede restarse el bloque 15 del 16 y comprimir la diferencia, ya que no es de esperar que las diferencias sean muy grandes entre los datos de un bloque y el siguiente. De hecho se espera que haya un gran numero de ceros tras la resta, y los ceros son fáciles de comprimir. Por tanto, si se realizan comparaciones bloque a bloque hay un gran número de técnicas de estimación y de compensación de movimiento que permiten deducir cómo se ha podido mover el frame, por ejemplo desplazado cuatro pixels a la derecha y hacia arriba tres. En consecuencia, se está enviando al receptor por el canal de comunicación cómo desplazar la imagen anterior. Como puede imaginarse estas técnicas se caracterizan por una gran capacidad de compresión, es decir, razones de compresión mucho mayores. El coste de esta mejora se encuentra en el hecho de que los algoritmos son mucho más complejos y necesitan más recursos de cálculo. La figura 10.4 muestra que con compresión intrabloques se eliminan redundancias con un único frame, mientras que la compresión interframe elimina redundancias entre frames adyacentes Tecnología de los Contenidos Multimedia

13 Compresión intraframe Mapa de bits RGB Rojo Azul Verde Traducción al espacio de colo YUV Luminancia Crominancia Tranformada al dominio de la frecuencia Cuantización Codificación Run lenght Codificación Huffman Frame actual Frame anterior Compresión interframe Cambios Dispositivos de comparación Las diferencias representan el frame completo Figura 10.4 Compresión intraframe e interframe. Tecnología de los Contenidos Multimedia 10.11

14 Hoy en día existen soluciones que permiten codificar y descodificar mediante software y hardware en diversas combinaciones: codificación y descodificación hardware, ambas software o una hardware y la otra software. Además hay soluciones que utilizan una de estas tres aproximaciones para el audio y otra diferente para el video. Todas ellas coexisten en el mercado. En la figura 10.5se muestra la relación entre calidad y número de bits por píxel con las técnicas de compensación de movimiento. Como puede observarse con una técnica determinada, para mejorar la calidad de imagen tiene que aumentarse el número de bits por píxel. Pero se puede aumentar la calidad de la imagen con un número fijo de bits por píxel si se utilizan técnicas de compresión interbloques cada vez más y más complejas. Algoritmo de futuro movimiento compensado Compresión de movimiento compensado Calidad de la imagen Compresión de imagen estática Número de bits/pìxel Figura 10.5 Relación entre calidad y número de bits por píxel con las técnicas de compensación de movimiento ESTÁNDARES DE COMPRESIÓN DE VIDEO Los estándares de compresión de vídeo proporcionan un gran número de ventajas, siendo la más importante el hecho de que facilitan la interoperabilidad. Asegurar la interoperabilidad permite que los riegos de tener un sistema de poco uso, tanto para los consumidores como para los fabricantes, sean los menores posibles, ya que permiten comunicación entre dispositivos diseñados por diferentes fabricantes. Los estándares permiten una aceptación más rápida de los productos así como un uso más amplio. Además se diseñan para un gran número de aplicaciones, por lo que se reducen costes debido a la economía de escala. Actualmente existen dos familias de estándares de compresión de vídeo, definidos bajo los auspicios de dos organizaciones internacionales. Por un lado la ITU-T, International Telecommunications Union- Telecommunications, antes conocida como International Telegraph and Telephone Consultative Committee, o CCITT, y en segundo lugar la ISO, International Standards Organization Tecnología de los Contenidos Multimedia

15 El primer estándar de compresión de vídeo que consiguió una muy amplia aceptación fue el ITU H.261, que fue diseñado para la transmisión de videoconferencia sobre la red de servicios digitales integrados, RDSI. El H.261 fue adoptado como estándar en 1990, y fue diseñado para funcionar a velocidades con múltiplos p=1, 2,..., 30 de la velocidad de datos de la línea base RDSI, es decir, a p 64 kb por segundo. En 1993, la ITU-T inició un esfuerzo de estandarización en la que el primer objetivo era la telefonía con vídeo sobre la red pública de telefonía conmutada, PSTN en USA (Public Switched Telephone Network), RTB en España (Red Telefónica Básica). Estas redes son líneas telefónicas analógicas convencionales, en las que la capacidad total en la velocidad de datos es sólo de 33.6 kb por segundo. La parte del estándar referente a la compresión de vídeo se denomina H.263, y su primera fase fue adoptada en Una versión H.263 realzada, conocida como H.263+, finalizó en En la actualidad se está desarrollando un nuevo estándar de compresión conocido como H.26L. Existen numerosos estándares para los Codecs publicados por la ITU-T, y además de los comentados cabe destacar las técnicas de compresión H.261 para video y la G.728 para audio. El grupo de expertos conocido como MPEG, (Moving Pictures Expert Group), fue establecido por la ISO en 1988 con el fin de establecer un estándar para la compresión de imágenes en movimiento y el audio asociado a medios de almacenamiento digitales tales como CD-ROM. Es estándar que resultó inicialmente, conocido como MPEG-1, finalizó en Este proporciona aproximadamente calidad de vídeo VHS y audio con alrededor de 1.5 Mb por segundo. La segunda fase de su trabajo desarrolló el siguiente compresor, denominado MPEG-2, que era una extensión del MPEG-1 desarrollada para la emisión de televisión digital y con velocidades de bit mayores. Actualmente la mayoría de los estándares de televisión digital, DTV, y de televisión digital de alta definición, HDTV, se basan en la tecnología MPEG-2 tanto en Norte América y Europa como en Asia. Recientemente ha finalizado la tercera fase del trabajo de este grupo de estandarización, desarrollando el estándar conocido como MPEG-4. El objetivo fundamental del MPEG-4 es proporcionar una funcionalidad creciente, incluyendo procesamiento basado en contenido, integración tanto natural como sintética, material generado por computador e interactividad con la escena. La tabla 10.1 muestra los estándares de compresión más habituales con sus aplicaciones características y la velocidad de bits que son capaces de desarrollarse con cada tecnología. El bitrate, tasa de bits o velocidad de bits especifica únicamente el número de bits por segundo que tiene una secuencia. Si disminuye a valores muy pequeños, se tienen muy pocos bits por frame. Esto hace que al reproducir el video sea evidente esa pérdida de información y se obtenga una imagen degradada. Así pues ajustando la velocidad de bits se determina cuántos bits por Tecnología de los Contenidos Multimedia 10.13

16 segundo se utilizan para almacenar la información. Esto a su vez determina la perdida de información y con ello la calidad de la imagen. ESTANDARD APLICACION BIT RATE JPEG Compresión de imágenes tonos continuos Variable H.261 Telefonía de vídeo y teleconferencia sobre p x 64 kb/s RDSI p=1, 2,,30 MPEG-1 Vídeo sobre medios de almacenamiento digital (CD-ROM) 1.5 Mb/s MPEG-2 Televisión Digital. DVD > 2 Mb/s H.263 Telefonía de vídeo sobre RTB < 33.6 kb/s MPEG-4 Codificación basada en objetos, contenido sintético, interactividad Variable Tabla 10.1 Estándares de compresión más habituales con sus aplicaciones características y la velocidad de bit. Los fabricantes que utilizan los Codecs basados en estándar son probablemente los que disfrutan de mejor interoperatividad. Sin embargo, los algoritmos de propietario pueden ofrecer ventajas en determinadas situaciones. Si la necesidad de interoperatividad o de soportar contenidos de otros fabricantes es mínima entonces tiene el sentido para el diseñador utilizar un algoritmo de compresión de propietario. Algunos algoritmos son estándares de hecho debido a su amplia utilización por los usuarios y por estar disponibles a muy bajo coste, y sin embargo nunca han sido estandarizados oficialmente. Una cuestión muy importante es qué especifica realmente un estándar de compresión de vídeo. Esto permitirá además de conocer cuál es su aplicación fundamental, de qué manera es compatible con otros sistemas u otras tecnologías desarrolladas para la misma o diferente aplicación. En general, un sistema de compresión de vídeo está formado por un codificador, secuencias de bits comprimidas y un decodificador. El codificador recibe la señal de vídeo original y la comprime en una secuencia de bits. Está secuencia entrará en el decodificador que realizará el proceso inverso para reconstruir el vídeo original. La figura 10.6 muestra este esquema básico. Vídeo Original Codificador Bits-stream Secuencia de bits Decodificador Video Reconstruido Figura 10.6 Esquema básico de una especificación del estándar. Una posibilidad para definir un estándar es que este especifique tanto el codificador como el decodificador, pero esta aproximación tendría un gran número de desventajas, todas ellas relacionadas con el hecho de que el detalle de estos elementos provocaría que cualquier pequeña modificación no fuera compatible, incluso cuando se pudieran conseguir los mismos resultados. En lugar de ello, los estándares delimitan las características que especifican con el fin de asegurar la Tecnología de los Contenidos Multimedia

17 interoperabilidad a la vez que permiten que en las implementaciones concretas haya diferencias en la medida de lo posible. En concreto, los estándares no especifican ni el codificador ni el decodificador, tal y como ilustra la figura En lugar de ello especifican la sintaxis de la secuencia de bits y el proceso de decodificación. La sintaxis de la secuencia de bits es el formato en el que se representan los datos comprimidos. El proceso de decodificación es el conjunto de reglas o técnicas que permiten interpretar la secuencia de datos. Proceso de decodificación Ámbito de la estandarización Figura 10.7 Especificaciones de los estándares. Aparentemente este hecho es igual a especificar el decodificador, pero no es así. Obsérvese que el especificar el proceso de decodificación es diferente a especificar una implementación particular de un decodificador. Por ejemplo, el estándar puede especificar que el decodificador utiliza una transformada IDCT, pero no indica nada sobre como implementarla. La IDCT puede implementarse de diferentes maneras. Así por ejemplo puede implementarse de forma directa o mediante una transformada rápida de Fourier, FFT, o utilizando instrucciones MMX. En este caso, la elección de la implementación tendrá como consecuencia un mayor o menor coste computacional lo que repercutirá en un mayor o menor tiempo para realizar la descodificación, o una mayor o menor precisión en el cálculo, pero no afecta al estándar. La especificación de la implementación no estaría estandarizada. Esto permite a los diferentes diseñadores y fabricantes desarrollar sus tecnologías de manera diferente dentro del mismo estándar. El proceso de codificación tampoco se estandariza. Por ejemplo, pueden diseñarse los codificadores más sofisticados para proporcionar mejoras significativas en las especificaciones de los codificadores básicos. Además, un aspecto fundamental que resulta una extraordinaria ventaja debida a que no se especifica en la estandarización ni el codificador ni el decodificador es que pueden incorporarse las mejoras que se van desarrollando sobre los algoritmos, incluso cuando el proceso de estandarización ha finalizado y el estándar está completamente definido. Por ejemplo, las mejoras realizadas en los algoritmos y en las técnicas de estimación o compensación de movimiento o para la localización de bits pueden irse incorporando y se podrán incorporar en el futuro de forma compatible con los estándar ya establecidos. La única limitación es que el codificador produzca una secuencia de bits sintácticamente correcta de manera que pueda ser descodificada de forma apro- Tecnología de los Contenidos Multimedia 10.15

18 piada por cualquier decodificador compatible con el estándar. En conclusión, es importante recordar que no todos los codificadores y decodificadores de un estándar determinado son iguales. A continuación se describirán las técnicas más significativas de la compresión de vídeo. Pero en general la compresión se obtiene explotando las similitudes o correlaciones que existen en un señal de vídeo típica. Esto puede entenderse como una reducción de la redundancia que se da en los datos de vídeo. Existen tres clases de redundancia básicas: Redundancia Temporal. Se debe a frames adyacentes altamente correlacionados. Redundancia Espacial. Los pixels cercanos suelen estar correlacionados. Redundancia espacial de color. Los componentes RGB se correlacionan entre sí. La redundancia temporal se basa en el hecho de que a menudo los frames consecutivos en una secuencia de vídeo están altamente correlacionados, ya que en general contienen los mismos objetos. Es probable que de un frame al siguiente lo que se ha producido es algún tipo de movimiento, un desplazamiento hacía la derecha y hacia arriba, por ejemplo. Los datos son esencialmente los mismos pero desplazados. La redundancia espacial se encuentra generalmente en un mismo frame, ya que las amplitudes de los pixels cercanos están a menudo correlacionadas. Por último la redundancia espacial de color hace referencia al hecho de que a menudo están correlacionadas las componentes del color, rojo, verde y azul, de los pixels. Normalmente la redundancia es un hecho que puede ser identificado y explotado para la compresión. La segunda característica en la que se basa la compresión de vídeo es la irrelevancia en la señal de vídeo, fenómeno que consiste en reducir la información que no es perceptualmente importante, o que de hecho no será percibida por los aparatos sensoriales humanos. Desgraciadamente la percepción visual humana es muy difícil de modelar, por lo que determinar qué datos son preceptualmente irrelevantes es una tarea difícil, por lo que la irrelevancia es difícil de explotar. De hecho sólo los algoritmos más avanzados y los estándares de mayores prestaciones hacen uso de esta característica. Antes de analizar las técnicas básicas de compresión de vídeo es recomendable recordar brevemente cómo se comprimen las imágenes. Para ello se analiza cómo funciona el estándar JPEG. Estándar JPEG (imágenes) JPEG es una sencilla técnica de compresión intrabloque y se utiliza para las imágenes estáticas, como por ejemplo fotografías. Si se dispone de potencia de cálculo suficiente para realizar el algoritmo JPEG 25 veces por segundo, entonces a menudo se denomina JPEG motion (MJPEG). Como se acaba de comentar una imagen, o un frame de vídeo, contiene a menudo redundancia espacial significativa ya que los bits cercanos son frecuentemente muy similares. Las imágenes en la naturaleza son normalmente de contenidos paso baja (de variación suave), y los algoritmos Tecnología de los Contenidos Multimedia

19 de compresión de imágenes, como el JPEG, basan sus técnicas de compresión en la redundancia espacial y la naturaleza paso baja de las imágenes típicas. En el estándar JPEG la imagen se divide en primer lugar en bloques de 8 8 pixels. Seguidamente para cada bloque se calcula la transformada discreta del coseno, DCT. La razón para dividir una imagen en bloques pequeños es que en general los pixels de un bloque pequeño serán más similares que los que estén en un bloque grande. La transformada DCT compacta la mayoría de la energía de la señal de cada bloque en sólo una fracción de coeficientes de la DCT. Entonces la cuantificación de los coeficientes DCT conduce a que la mayoría de ellos sean cero. Los coeficientes cuantificados son seguidamente escaneados en zigzag, codificados en longitud y esta codificación con los valores de las amplitudes son codificadas con el código de Huffman para convertirlos en una secuencia de bits comprimida. En el caso de una imagen en color se aplica la conversión del espacio de color antes de calcular la DCT. Esta conversión del espacio de color convierte la imagen RGB en un espacio de color determinado por la luminancia y la cominancia, en el que pueden explotarse mejor la diferente percepción visual humana a las características de luminancia y cromarismo. En resumen la compresión JPEG realiza las siguientes operaciones: Dividir la imagen en bloques de 8 8 pixels. Calcular la transformada DCT de cada bloque. Cuantificar los coeficientes de la transformada DCT. Codificar con el código de Huffman los coeficientes DCT cuantificados no nulos. La figura 10.8 muestra el esquema básico del estándar de compresión JPEG. Imagen Original DCT Cuantizador Codificador Bitsteam Figura 10.8 Esquema básico del estándar de compresión JPEG de una imagen PRINCIPIOS BÁSICOS DE LA COMPRESIÓN DE VÍDEO. Una secuencia de vídeo está formada por una secuencia de frames de vídeo o imágenes. Cada frame puede codificarse como un paquete separado, por ejemplo aplicando independientemente a cada frame una codificación del tipo JPEG. Sin embargo, el vídeo tiene la característica de que los frames cercanos a un frame de vídeo son usualmente muy similares. La compresión de vídeo puede obtener razones de compresión mucho mayores que la compresión de imágenes explotando la redundancia temporal o las similitudes entre frames. Tecnología de los Contenidos Multimedia 10.17

20 El hecho de que los frames cercanos entre sí sean habitualmente muy similares puede explotarse codificando un frame determinado prediciéndolo en primer lugar, tomando como base un frame codificado previamente y posteriormente codificando el error de predicción. Los tres tipos básicos de codificación de frames son los siguientes: I-frames. Son frames intracodificados (I), es decir, son frames que se codifican independientemente de los otros frames. P-frames. Son frames codificados previamente. En ellos el frame se codifica tomando como base un frame previamente codificado. B-frames. Son frames predichos bidireccionalmente. Estos frames se codifican utilizando los frames tanto anteriores como posteriores. La figura 10.9 ilustra los tres tipos básicos de codificación de frames. Figura 10.9 Los tres tipos básicos de codificación de frames: I-frame, P-frame y B-frame. Las técnicas de predicción de la compensación de movimiento, P-frames y B-frames, se fundamentan en las mismas ideas básicas, aunque posiblemente en diferentes localizaciones espaciales. Para aprovechar la capacidad de predicción entre frames cercanos y vecinos es importante estimar el movimiento entre dos frames y posteriormente construir una predicción apropiada que compense el movimiento producido. El proceso de estimación del movimiento entre frames se conoce como estimación del movimiento. El proceso de predicción de un frame determinado se basa en un frame de referencia codificado anteriormente, mientras que la compensación para los movimientos relativos entre dos frames se conoce como predicción de movimiento compensado. Frame Anterior Frame Siguiente Figura Ejemplos de predicción de movimiento compensado. a) hacia delante, P-frames b) bidireccional, B-frames Tecnología de los Contenidos Multimedia