H.261: Codec de video para servicios p x 64 kbit/s. Recomendación ITU-T H.261

Transcripción

1 H.261: Codec de video para servicios p x 64 kbit/s. Recomendación ITU-T H.261 Introducción. Es estándar H.261 es parte del grupo de estándares H.320 para comunicaciones audiovisuales. Fue diseñado para una tasa de datos múltiplo de 64 Kbit/s. Lo cual coincide con las tasas de datos ofrecidas por los servicios ISDN. Se pueden usar entre 1 y 30 canales ISDN (64 Kbit/s a 1920 Kbit/s). Aplicaciones que motivaron el diseño de este tipo de estándar son: videoconferencia, vigilancia y monitoreo, telemedicina, y otros servicios audiovisuales. H.320 El estándar esta dispuesto en una estructura jerárquica de cuatro capas: Imagen Grupo de bloques (GOB) Macrobloques (MB) Bloques Para entender cada una de estas capas empezaremos dando una breve introducción al codec en sus aspectos más esenciales. Diagrama de bloques. Codificador de Video CONTROL DE CODIFICACION Señal de Video Codificador De Fuente Codificador multiplexor de Video Buffer de Transmisión Codificador de Transmisión bitstream

2 Decodificador de Video bitstream Señal Decodificador de Receptor Buffer de Recepción Decodificador multiplexor Decodificador de Fuente Video Entrada/Salida de video H.261 soporta dos resoluciones CIF (Common Interchange Format, 352x288 pixels) y QCIF (Quarter Common Interchange Format, 176x144 pixels). Entrada/Salida digital El codificador provee un bitstream codificado cumpliendo con las recomendaciones de ITU-T H.261 con código de corrección de errores BCH opcional. Frecuencia de muestreo Las imágenes son muestreadas a una frecuencia múltiplo entero de la frecuencia de la línea de video. Tanto el reloj de muestreo como el de la red son asíncronos. Algoritmo de codificación de la fuente El algoritmo de codificación es un híbrido entre predicción inter-imagen, codificación mediante transformada y compensación de movimiento para aprovechar la redundancia temporal. El decodificador posee la capacidad opcional de implementar la compensación de movimiento. Bit Rate La recomendación esta orientada a obtener video a una tasa entre 4 Kbit/s y 2Mbit/s. 1. Codificador de la fuente de video. 1.1 Formato El codificador opera sobre imágenes no-interlaceadas a una tasa máxima de cuadros por segundo. Las imágenes son codificadas en una componente de luminancia y dos componentes de croma (Y, CB, CR). Estas componentes y los códigos que representan sus valores muestreados están definidos en la recomendación 601 CCIR. Negro = 16 Blanco = 235 Diferencia de color cero = 128

3 Diferencia de color pico = entre 16 y 254 Estos son los valores nominales y el algoritmo de codificación funciona con valores de entrada entre 1 y 254. Se especifican dos formatos de escaneo de imagen CIF y QCIF anteriormente mencionados. H.261 usa el espacio YCBCR en lugar de RGB para representar los datos para aprovechar los estudios sobre el Sistema Visual Humano que muestra que el ojo humano es más sensible a los cambios en luminancia y menos sensible a los cambios en la cromancia. Más adelante veremos como se aprovecha este hecho al codificar más grueso la información de croma. 1.2 Algoritmo de codificación de la fuente de video El diagrama de bloques del codificador de la fuente de video se muestra a continuación. C C p t q z V i d e o i n T Q q - 1 Q T o v i d e o m u l t i p l e x c o d e r T - 1 F P v f T / d 0 3 T Q P F C C p t q z q v f T r a n s f o r m Q u a n t i z e r P i c t u r e m e m o r y w i t h m o t i o n c o m p e n s a t e d v a r i a b l e d e l a y L o o p f i l t e r C o d i n g c o n t r o l F l a g f o r I N T R A / I N T E R F l a g f o r t r a n s m i t t e d o r n o t Q u a n t i z e r i n d i c a t i o n Q u a n t i z i n g i n d e x f o r t r a n s f o r m c o e f f i c i e n t s M o t i o n v e c t o r S w i t c h i n g o n / o f f o f t h e l o o p f i l t e r F I G U R E 3 / H S o u r c e c o d e r El error de predicción (modo INTER) o la imagen de entrada (modo INTRA) es subdividido en bloques de 8x8 pixels los cuales son segmentados en bloques transmitidos y no transmitidos. Además, cuatro bloques de luminancia y dos correspondientes a la diferencia de color (CBCR) se combinan para formar un macrobloque. Un macrobloque puede ser representado de varias maneras cuando nos referimos al espacio YCBCR. La figura de abajo muestra tres formatos de video; 4:4:4, 4:2:2, 4:2:0. Cuando

4 hablamos de 4:4:4 es video YCBCR usando todo el ancho de banda, se usan 4 bloques Y, 4 bloques CB y 4 bloques CR esta forma de representar los datos contiene tanta información como si hubiésemos usado el espacio de color RGB, 4:2:2 contiene la mitad de información de croma que 4:4:4 y 4:2:0 contiene un cuarto de la información de croma Predicción Se usa una predicción inter-picture, que puede ser potenciada con compensación de movimiento y un filtro (spatial filter). De esta manera explotamos la redundancia temporal para obtener una mejor eficiencia en la compresión. Una primera aproximación a la compresión H.261 se podría resumir de la siguiente manera: Secuencia decodificada Los cuadros recordemos que pueden ser de dos tipos de formato CIF o QCIF con un submuestreo 4:2:0. Dos tipos de cuadros: cuadros Intra (I) y cuadros Inter (P) Los cuadros I son básicamente JPEG Los cuadros P usan pseudo-diferencias de un cuadro anterior (pude ser tanto un I como un P), entonces los cuadros dependen uno del otro. Los cuadros I nos dan un punto de acceso A modo de ejemplo se propone el siguiente esquema:

5 Donde la imagen previa se llama reference y l imagen a codificar se llama target. En realidad de diferencia es lo que se codifica Compensación de movimiento La compensación de movimiento ( MC ) es opcional en el codificador. El decodificador aceptará un vector por macrobloque. Tanto la componente horizontal como vertical de dichos

6 vectores de movimiento tienen valores enteros que no exceden +/- 15. El vector es usado para los cuatro bloques de luminancia en el macrobloque. El vector de movimiento para ambos bloques de diferencia de color es derivado dividiendo a la mitad los valores de la componente del vector del macrobloque y truncando la magnitud hacia cero para obtener componentes enteras. Un valor positivo de la componente horizontal o vertical del vector de movimiento significa que la predicción es formada por pixels en la imagen previa los cuales están espacialmente a la derecha o debajo de los pixels que están siendo predichos. Los vectores de movimiento están restringidos de forma que todos los pixels a los cuales hace referencia están dentro del área de la imagen codificada. La estimación de la compensación de movimiento asume que la imagen actual se puede modelar como una translación de una imagen previa en el tiempo. El estándar H.261 divide cada imagen en macrobloques de 16 x 16 pixels, cada uno de ellos se predice de un cuadro anterior estimando la cantidad de movimiento durante el tiempo transcurrido entre los cuadros. Buscamos obtener el vector de movimiento minimizando una función de costo (dentro de una región de búsqueda) midiendo el mismatch entre el cuadro de referencia y el actual. Este método de dividir en bloques se usa particularmente en la compresión de video en general por su simple implementación en hardware. Un forma de obtener el vector de movimiento es mediante la búsqueda exhaustiva que evalúa el error medio absoluto (MAE) para cada píxel en la región de búsqueda. Este método tiene un costo computacional elevado lo cual en aplicaciones de tiempo real es crítico, por otro lado obtenemos verdaderamente la mejor estimación del vector de movimiento. Otros algoritmos de búsqueda se han implementado para reducir los puntos de búsqueda. Por ejemplo, el algoritmo de búsqueda en tres pasos, primero evalúa el MAE en el centro y en ocho lugares diferentes en la imagen de referencia, el punto que tiene el menor MAE es el

7 centro para una nueva búsqueda en una región que es la mitad de la anterior y así hasta completar tres pasos. Una comparación muestra los rendimientos de ambos métodos para una región de búsqueda de 16x16, en una secuencia a 30 cuadros por segundo y una resolución de 720x480; Búsqueda exhaustiva GOPS (Giga Operaciones Por Segundo) Búsqueda en 3 pasos 1.02 GOPS Además de estos dos métodos existen muchos más que tratan de minimizar la complejidad computacional, nombrarlos a todos exigiría ahondar sobre un tema que no es el objetivo de esta monografía. Lo que si es importante es que la elección de cómo llevar a cabo la compensación de movimiento es a libre elección y dependerá de cada caso particular. Aunque el contraste entre la búsqueda exhaustiva y la en tres pasos sea evidente no quiere decir que no se pueda usar la exhaustiva, por ejemplo, en el codec que llego a mis manos se usa la misma con alguna condición de corte en el algoritmo para estimar el vector de movimiento Loop filter El proceso de predicción puede ser modificado por un filtro espacial bidimensional ( FIL ) el cual opera sobre pixels dentro de un bloque de 8 por 8 predicho. El filtro se puede separar en funciones unidimensionales horizontal y vertical. Ambas son norecursivas con coeficientes de ¼, ½, ¼ excepto en los bordes del bloque, en estos casos el filtro 1-D es cambiado para tener coeficientes de 0, 1, 0. Se usa precisión aritmética completa con redondeo a valores enteros de 8 bit a la salida del filtro 2-D. Valores cuya parte fraccional es un medio son redondeados hacia arriba. El filtro es puesto en on/off para los seis bloques en el macrobloque de acuerdo al tipo de macrobloque. Al cuantizar los coeficientes de la DCT de bloques independientes en la imagen aparecen distorsiones de tipo blocking (en zonas planas se ve la frontera entre bloques, surge de la cuantificación gruesa del coeficiente de continua ) y de ringing (se aprecian oscilaciones en los bordes debido a la cuantificación gruesa de los coeficientes de alterna). Estos efectos se pueden reducir al usar un filtrado espacial, en especial el de blocking. Se trata de in filtro pasabajos que trata de suavizar pixels adyacentes, de esa manera minimizar la distorsión. El precio que pagamos es una carga computacional extra. Cabe destacar que no se elimina totalmente el blocking, lo que si se aprecia es un aumento del PSNR Transformada

8 Los bloques transmitidos son inicialmente procesados por la transformada bidimensional separable discreta del coseno de tamaño 8 por 8. La salida de la transformada inversa varia entre 256 a 256 después de cortar ( clipping ) para ser representada con 9 bits. La función que da la transformada inversa es: f ( x, y) 1/ u 0 v0 (2x 1) u /16cos (2y 1) v /16 C( u) C( v) F( u, v)cos ] donde x y son las coordenadas espaciales, u v son las coordenadas en el dominio de la transformada. C ( u) 1/ 2 para u = 0; y vale 1 en otro caso. C ( v) 1/ 2 para v = 0; y vale 1 en otro caso Cuantificación El número de cuantificación es 1 para el coeficiente de continua INTRA y 31 para el resto de los coeficientes. Dentro de un macrobloque el mismo cuantizador es usado para todos los coeficientes excepto el de continuo INTRA. Los niveles de decisión no están definidos. El coeficiente de continua INTRA es nominalmente el valor de la transformada cuantizado linealmente con un escalón de 8 y sin dead-zone. Cada uno de los otros 31 cuantizandos son también nominalmente lineales entorno a cero y con un escalón de valor par en un rango de 2 a Clipping en la imagen reconstruida Para prevenir distorsión de cuantificación debido a la amplitud de los coeficientes de la transformada que causan overflow en el lazo del codificador y decodificador, se insertan funciones de clipping. La función de clipping es aplicada a la imagen reconstruida que es suma de la predicción. Este clipper opera sobre los valores resultantes de los pixels que son menores que 0 y mayores que 255, cambiándolos por 0 y 255 respectivamente. 1.3 Control de codificación Muchos parámetros pueden ser variados para controlar la tasa de generación de datos de video codificado. Esto incluye un proceso previo al codificador de fuente, el cuantizador, criterio de significancia de bloque y submuestreo temporal. Las proporciones de dichas medidas en el total de la estrategia de control no estén sujetas a esta recomendación. Cuando se invoca, el submuestreo temporal es hecho descartando imágenes completas. 1.4 Updating forzado Esta función se logra forzando el uso del modo INTRA en el algoritmo de codificación. El patrón de update no está definido. Para el control de la acumulación de error en la transformada inversa un macrobloque puede ser forzado a actualizarse por lo menos una vez cada 132 veces que es trasmitido. 2. Video multiplex coder 2.1 Estructura de datos A menos que se especifique lo contrario el bit más significativo es transmitido primero. Este es el bit 1 y es el demás a la izquierda en las tablas de código en esta recomendación. A menos que se especifique lo contrario todos los bits no usados o libres se ponen a 1. Los bits libres no deberán ser usados hasta que su función sea especificada por la CCITT. 2.2 Arreglo de multiplexación de video

9 La multiplexación de video se arregla en una estructura jerárquica con cuatro capas. De arriba abajo las capas son: - Imagen - Grupo de bloques ( GOB ) - Macrobloque ( MB ) - Bloque Capa de imagen Los datos para cada imagen consisten en un encabezado seguido de los datos para los GOBS. La estructura se muestra en la figura. Los encabezados de las imágenes descartadas no son transmitidas. PSC: Picture Start Code Es una palabra de 20 bits. Su valor es Referencia Temporal ( 5 bits ) Es un número de 5 bits que puede tomar uno de 32 valores posibles. Es formado incrementando el valor que tenia en el encabezado de imagen previo en uno más el número de imágenes no transmitidas ( a Hz ) desde la última transmitida. La aritmética se realiza solo con los cinco bits menos significativos. PTYPE: Tipo de información Consta de información sobre la imagen completa. Bit 1: indicador de Split Screen, 0 off, 1 on. Bit 2: indicador de camara documento, 0 off,, 1 on. Bit 3: liberación de imagen congelada, 0 off,, 1 on. Bit 4: formato de la fuente, 0 QCIF, 1 CIF. Bit 5: modo opcional de imagen HI- RES. Bit 6: reservado. PEI: Inserción de información extra Un bit que cuando es puesto en 1 señala la presencia del campo de datos PSPARE. PSPARE: Información reservada Si PEI está en 1, entonces 9 bits siguen, consisten en datos de 8 bits ( PSPARE ) y luego otro bit PEI para indicar. Si más secuencias de 9 bits siguen. Los codificadores no deben ser insertados hasta que lo especifique la CCITT. Los decodificadores deben descartar PSPARE si PEI vale 1. Esto le permitirá a la CCITT especificar en un futuro nuevas funcionalidades manteniendo la compatibilidad hacia atrás en el campo PSPARE Capa de Grupo de Bloques (GOB)

10 Cada imagen es dividida en grupos de bloques (GOBs). Un GOB comprende un doceavo de área de una imagen CIF o un tercio de una imagen QCIF QCIF CIF Cada parte del GOB esta relacionada con una componente de luminancia Y de 176 pixels por 48 líneas y sus espacialmente correspondientes componentes de croma CB y CR de 88 pixels por 24 líneas cada una. Los datos para cada grupo de bloques consiste en un encabezado seguido de los datos del macrobloque según el siguiente esquema. GBSC GN GQUANT GEI GSPARE GEI MB data Donde los parámetros entre líneas quebradas son variables. Cada encabezado es transmitido una vez entre dos PSCs aun si no hay datos presentes referentes al macrobloque. El bloque GBSC (Group of Blocks start code) es una palabra de 16 bits fija; GN (Group Number) indica el número de grupo de bloques; GQUANT indica el cuantizador a ser usado. Por último los bloques de datos GEI y GSPARE son de largo variable y están reservados para aplicaciones futuras para mantener la compatibilidad hacia atrás Capa de Macrobloques Cada GOB se divide en 33 macrobloques. Cada macrobloque esta compuesto por un bloque de luminancia de 16 por 16 pixels y sus dos correspondientes bloques de croma CB y CR de 8 por 8 pixels. Los datos para cada macrobloque consiste en un encabezado seguido de los datos para los bloques. MBA MTYPE MQUANT MVD CBP datos del Bloque

11 Los bloques de datos MQUANT, MVD y CBP están presentes siempre que MTYPE lo indique (ver tabla a continuación). Prediction MQUANT MVD CBP TCOEFF VLC Intra x 0001 Intra x x Inter x x 1 Inter x x x Inter MC x Inter MC x x x Inter MC x x x x Inter MC + FIL x 001 Inter MC + FIL x x x 01 Inter MC + FIL x x x x NOTES 1 x means that the item is present in the macroblock. 2 It is possible to apply the filter in a non-motion compensated macroblock by declaring it as MC FIL but with a zero vector. El encabezado MBA (Macroblock address) es el número del macrobloque (1..33). Para macrobloques subsiguientes se manda la diferencia entre las direcciones absolutas del macrobloque a mandar y el último transmitido. Para codificar dichas direcciones se usa un código de longitud variable que esta dado por la norma, vemos que para los números más bajos se usan los códigos más cortos. Esto evidencia que estadísticamente se estarán mandando macrobloques contiguos, dando diferencias menores y por lo tanto se estarán transmitiendo pocos bits. La tabla del código variable se ve a continuación; observamos que es un código de Huffman, se puede observar que es un código instantáneo, lo cual es vital para aplicaciones en tiempo real y evitar retardos en la decodificación. En general los distintos bloques de datos se van a codificar con códigos similares a este. MBA Code MBA Code MBA stuffing Start code

12 2.2.4 Capa de Bloques Un macrobloque esta formado por cuatro bloques de luminancia y sus dos correspondientes de croma Y C B C R Los datos para un bloque consiste en una palabra código para los coeficientes de la transformada DCT y un marcador de fin de bloque. TCOEFF EOB La información sobre los coeficientes de la transformada siempre están presentes para los seis bloques en un macrobloque cuando MTYPE indica INTRA. En otros casos MTYPE y CBP señalan cuales bloques llevan dicha información. Los coeficientes cuantizados se transmiten según la figura (en zig-zag análogo a JPEG) Lo más probable es que muchos de estos coeficientes sean cero, por eso se los codifica como una corrida de ceros y un valor de nivel ( ). El estándar codifica las corridas y el nivel mediante una tabla con un código de longitud variable que toma en cuenta las combinaciones de corridas de ceros y niveles más probables asignándoles a estas los códigos de menor longitud. Cuando se trata de una combinación que no esta en la tabla se usa un código de longitud fija. En resumen el bitstream queda:

13 2.3 Consideraciones multipunto. Se trata de facilidades para soportar operaciones multipunto conmutadas. Solicitud de imagen congelada Indica al codificador congelar la imagen desplegada hasta que llegue una señal de liberación o expire un tiempo predefinido de al menos seis segundos. La transmisión de esta señal es por medios externos (recomendación H.221). Solicitud de actualización rápida. Le indica al codificador codificar la próxima imagen en el modo INTRA con parámetros adecuados para no desbordar el buffer. También la transmisión de esta señal es por vía externa. Liberación de imagen congelada Es una señal desde un codificador que ha respondido a una solicitud de actualización rápida y permite al decodificador salir del modo de imagen congelada y seguir en su modo normal. Esta señal es transmitida en el propio bitstream (PTYPE). 3 Codificador de transmisión Bitrate El reloj de transmisión se provee externamente. Buffer de datos de video El codificador debe controlar el bitstream de salida para satisfacer los requerimientos del decodificador. Cuando se opera con el formato CIF el número de bits creados para codificar una imagen no debe exceder los 256 Kbits, cuando se trata de QCIF no puede exceder los 64 Kbits. El estándar H.261 se usa frecuentemente para mandar datos sobre un canal con un bitrate constante, como ISDN (128 Kbps). La secuencia de salida del codificador varia en cuanto al número de bits dependiendo de la cantidad de movimiento en la escena, por lo que un mecanismo de control es necesario para mapear los bits de salida en la corriente de bits constante del canal. Para ello la secuencia de salida se guarda en un buffer y se va vaciando al bitrate del canal. Cuando la complejidad de la escena aumenta causa que se vaya llenando el buffer por lo tanto el paso de cuantificación se incrementa aumentando la compresión y reduciendo el birate de salida. A la inversa a medida que el buffer se va vaciando se reduce el paso de cuantificación.

14 Retardo en la codificación de video Este ítem es incluido en la recomendación por la necesidad de conocer los retardos del codificador y decodificador de video para permitir la compensación de los retardos de compresión de audio cuando H.261 es usado como parte de un servicio conversacional. Esto mantendrá la sincronización entre los labios de la persona que habla y el audio correspondiente. Corrección de errores El bitstream transmitido contiene un código de corrección de errores BCH, que utiliza un polinomio generador g ( x) ( x x 1)( x x 4 x 3 x 1). El uso del código de corrección es opcional en el decodificador. Conclusiones finales. Podemos decir que los principales problemas que se encuentran en este estándar son: Estimación del vector de movimiento Propagación de errores Control del bit-rate La estimación del vector de movimiento ya fue discutido en y el problema radica en elegir un método rápido y que de buenos resultados en cuanto a encontrar el vector de movimiento que minimice alguna función de costo como puede ser el error medio absoluto. La propagación de errores se refiere a los errores que se comenten en descodificación al computar la transformada inversa del coseno, para solucionar esto se fuerza al codificador a mandar un cuadro INTRA. El control del bitrate ya se explicó anteriormente y la filosofía era manejar un buffer que cuando se llenaba se aumentaba el paso de cuantificación y a medida que se vaciaba se volvía a reducir.

15 En cuanto al rendimiento observemos la siguiente figura: Se nota claramente que el uso del filtro espacial y de la compensación de movimiento mejoran la PSNR claramente. Y en cierto intervalo a medida que aumento el bitrate las mejoras son más apreciables. También se observa que a valores altos de bitrate (a partir de 200 Kbps más o menos) las diferencias se hacen menos notables, a pesar de todo la diferencia entre usar compensación de movimiento o no son del entorno de 3 db lo que significa una mejoría del doble en cuanto a rendimiento. A todo esto no olvidemos que al usar compensación de movimiento y el filtro espacial estamos aumentando la carga computacional, introduciendo retardos que deben de cuidarse en aplicaciones de tiempo real, sobre todo a bajos bitrates.

16 De esta gráfica podemos apreciar como decae la calidad de la secuencia con el aumento de la razón de compresión. Cuando comprimimos poco la calidad visual que se obtiene usando compensación de movimiento y el filtro espacial es mucho mejor que si no lo hiciéramos, en contraste al querer obtener valores altos de compresión las calidades visuales son muy parecidas. Esto se debe a que los efectos de la cuantificación pobre que resulta de querer comprimir predominan sobre las mejoras que introducen los métodos que aprovechan la redundancia temporal. La pruebas que pude hacer codificando secuencias con el estándar H.261 se realizaron con un software de evaluación propietario que tomaba una secuencia de archivos bitmap y los codifica utilizando el estándar. Los únicos parámetros que se pueden modificar son el bitrate y los cuadros por segundo. Se observaron resultados similares a los obtenidos con MPEG-2, por lo menos en cuanto a la calidad visual, pero la razón de compresión en H.261 es un poco menor. Luego de este estándar surgieron un montón de mejorías que dieron lugar al estándar H.263, que agrega algunos de las siguientes modificaciones: Más formatos de imágenes, y diferentes estructuras de bloques Compensación de movimiento de medio píxel, lo que elimina la necesidad del loop filter Alternativas a la codificación de entropía (codificación aritmética) Incluye bloques de tipo B como en MPEG Mejora el rendimiento en 3-4 db a bitrates menores de 64 Kbps. Codificación predictiva del vector de movimiento usando los tres anteriores. Cuatro vectores de movimiento por macrobloque. Variedad de opciones negociables. La siguiente tabla comparativa se refiere a la PSNR y lo Bits por Píxel al transmitir se con los diferentes estándares sobre un canal sin ruido usando diferentes modulaciones. Las secuencias fueron codificadas a 10 cuadros por segundo, y los esquemas de modulación se

17 corresponden a 15, 30 y 45 Kbps. El estudio comparativo muestra el mejor rendimiento de H.263 sobre H.261 a bajos bitrates con una mejor razón de compresión. Fuentes Documento con la descripción del estándar H.261 publicado por la ITU-T

18 Diversos sitios de Internet pertenecientes a universidades u organizaciones que se dedican a la compresión de video: El codec utilizado para hacer algunas pruebas con el estándar es un software de evaluación de la empresa 4i2i. Algunos publicaciones en formato pdf que se adjuntan. Material del curso Codificación de Imágenes y Video 2002