El nuevo estándar de codificación de vídeo H.265. Damián Ruiz Coll

Transcripción

1 El nuevo estándar de codificación de vídeo H.265 Damián Ruiz Coll

2 H.265, la renovación de H.264 Qué puede aportar el nuevo estándar de compresión de vídeo H.265 a la industria? 2

3 H.265, la renovación de H.264 Ciclos tecnológicos en periodos de 10 años, doble objetivo: Soporte a nuevos formatos de mayor resolución (SD, HD, 4K, 8K) Mejorar la eficiencia en un 50% UHDTV HEVC HD H.264/AVC SD MPEG-2 TV Digital (DVD) HDTV Streaming Comunicaciones audiovisuales de nueva generación de alta eficiencia

4 H.265, la renovación de H.264 Por qué necesitamos mejorar la eficiencia de compresión? Armonización del espectro Radioeléctrico para servicios de IMT en UE (WRC-2015) Posible pérdida de la banda 700MHz, en un segundo Dividendo Digital (DD2) 4

5 H.265, la renovación de H.264 Por qué necesitamos mejorar la eficiencia de compresión? 5

6 H.265, la renovación de H.264 Por qué necesitamos mejorar la eficiencia de compresión? 6

7 H.265, la renovación de H.264 Por qué necesitamos mejorar la eficiencia de compresión? Avances en las tecnologías de visualización y captación Pantallas de grandes dimensiones (85 ) que requieren de un incremento significativo de su resolución, ofreciendo un entorno inmersivo Cámaras profesionales con resoluciones de 4K Smartphone con pantallas, cámaras y sistema de grabación compatibles con el formato de 4k 7

8 H.265, la renovación de H.264 Por qué necesitamos mejorar la eficiencia de compresión? Mejoras en la distancia de observación (OVD) y ángulo de visión (α) α H OVD: Optimal Viewing Distance (ITU-R BT.1845) H: Altura Display OVD ITU BT.2020 Define 2 sub-formatos de Ultra-HD UHDTV-1: 4K UHDTV-2: 8K 13º 21º SD 6H 58º 32º HD H HD H 96º 8K 4K 0.75H 1.5H

9 H.265, la renovación de H.264 para la radiodifusión y el streaming Nuevo códec compresión de vídeo + Nueva tecnología de transmisión Tecnologías de codificación de canal con mejoras en la eficiencia 50% Redes móviles de alta eficiencia con capacidad de Broadcast Estándar abierto para servicios de streaming adaptativo (ABR) 9

10 Agenda Arquitectura y nuevos algoritmos de HEVC Falsos mitos de HEVC Estandarización de HEVC en el DVB Caso de uso Road map HEVC 10

11 Agenda Novedades tecnológicas de HEVC Falsos mitos de HEVC Estandarización de HEVC en el DVB Caso práctico, TDT-HEVC Road map HEVC 11

12 Estándar aprobado en Enero 2013 conjuntamente por el ITU e ISO (MPEG) en el JCT-VC Joint Collaborative Team on Video Coding Un mismo estándar con 3 nombres distintos: ITU H.265 ISO / e IEC (MPEG-H Part2 ) High Efficiency Video Coding, nombre acuñado durante el desarrollo del estándar, pero no es un nombre oficial 12

13 Es el esfuerzo de casi tres año de desarrollo por parte de la comunidad científica (universidades, centros de I+D y expertos de la industria) Aprobación del estándar en Enero 2013 después de 12 meetings (Dresden, Geneva, Guangzhou, Daegu, Torino, San Jose, Stckolm, Shangai, Incheon, ). Consenso internacional en la elaboración de las metodologías de evaluación de las nuevas herramientas de codificación: Conformación de Ad hoc Groups Elaboración de Core Experiments Selección de secuencias test y condiciones de test Métricas de evaluación objetiva y subjetiva 13

14 El estándar persigue un doble objetivo: Aumento de la eficiencia de compresión 50% con respecto a su predecesor H.264 Limitar la complejidad de los algoritmos, aumentando la capacidad de paralelización Aprobación de 3 perfiles: Main y Main Still (420@8b), Main10 (420@10b) 14

15 Cómo alcanza una alta eficiencia? No introduce una tecnología innovadora, mantiene la arquitectura hibrida con ME-MC y 2D-DCT La industria y C. científica esta haciendo grandes esfuerzos por reducir la complejidad computacional, sobre arquitecturas multicore y PPG 15

16 El objetivo se ha superado en términos de calidad subjetiva Comparativa calidad subjetiva HEVC vs H

17 PSNR (db) Arquitectura y algoritmos de HEVC El objetivo se ha superado en términos de calidad subjetiva Comparativa calidad subjetiva HEVC vs H PSNR-Y HEVC H Rb (Mbps) 17

18 Arquitectura HEVC 4x4 to 32x32 CTU Partiotioning - 2D-DCT Quantization Entropy Encoding DECODER 33 Directional Predictors Scaling Inverse DCT + High Throughput Intra Prediction 8-tap & 7-tap filter and bi-linear interpolation INTER INTRA Motion Compensation Motion Estimation DeblockIng Filter + SAO Decoded Frame Buffer 18

19 Arquitectura HEVC CTU Partiotioning - 2D-DCT Quantization Entropy Encoding DECODER Scaling Inverse DCT + INTER INTRA Intra Prediction Motion Compensation Motion Estimation In-Loop Filter + SAO Decoded Frame Buffer 20

20 Cómo alcanza un eficiencia superior a la de H.264? Nuevo particionado de los bloques de codificación CTU Coding Tree Unit en una estructura jerárquica adaptativa, que sustituyen a los MB (16x16), CTB (64x64) 21

21 Cómo alcanza un eficiencia superior a la de H.264? Además del CTU, HEVC define 3 nuevas unidades CU Coding Unit, PU Prediction Unit y TU Transform Unit con dependencia jerárquica. CTU CU 64x64 64x64 8x8 32x32 PU 64x64 4x4 16x16 8x8 4x4 TU 32x32 4x4 22

22 Cómo alcanza un eficiencia superior a la de H.264? CU 0 (0) CU 1 (0) CU 1 (1) CU 1 (2) CU 1 (3) CU 2 (0,0) CU 2 (0,1) CU 2 (2,0) CU 2 (2,1) CU 2 (3,0) CU 2 (3,1) CU 2 (1,0) CU 2 (1,1) CU 2 (0,2) CU 2 (0,3) CU 2 (2,2) CU 2 (2,3) CU 2 (3,2) CU 2 (3,3) CU 2 (1,2) CU 2 (1,3) 23

23 Cómo alcanza un eficiencia superior a la de H.264? Ejemplo de particionado de CUs 24

24 Cómo alcanza un eficiencia superior a la de H.264? DC Perdict CU 64x64 25

25 Cómo alcanza un eficiencia superior a la de H.264? Noisy CU64 DC Predict 26

26 Arquitectura HEVC CTU Partiotioning - 2D-DCT Quantization Entropy Encoding DECODER Scaling Inverse DCT + INTER INTRA Intra Prediction Motion Compensation Motion Estimation DeblockIng Filter + SAO Decoded Frame Buffer 27

27 Intra Prediction HEVC: 33 modos direccionales DC y Planar PUs: 32x32 hasta 4x4 4x4 DST en lugar DCT Pre-filtrado vecinos Post-filtrado 29

28 Intra Prediction La complejidad de la Predicción Intra se estima 5 veces superior a la de H.264 HEVC H.264 CU size # PUs # modes #TUs Total # Blocks # modes #Transfor. Total 64x NA NA NA NA 32x NA NA NA NA 16x (4x4) 64 8x (8x8) 576 4x (4x4) TOTAL 30

29 Intra Prediction Selección y reconstrucción de pixeles de Referencia D(x,y) Pre-Filtrado pixeles Referencia D(x,y) Cálculo Predicciones P(x,y): Angular, Planar y DC Post-Filtrado P(x,y) Codificación contextual de modos Codificacion del Residuo R(x,y) 31

30 Intra Prediction D(0,-N) D(0,-1) D(-N,0) D(-1,0) D(0,0 ) D(0,1 ) D(1,0 ) P(1,1) D(2,0 ) D(N,0 ) D(2N,0) Se duplica el número de píxeles vecinos para el cálculo de los predictores D(0,2 ) Para ciertos tamaños y modos, los píxeles de referencia están fuera de los píxeles vecinos contiguos D(0,N ) P(N,N ) D(0,2N) 32

31 Intra Prediction 33

32 Arquitectura HEVC CTU Partiotioning - 2D-DCT Quantization Entropy Encoding DECODER Scaling Inverse DCT + INTER INTRA Intra Prediction Motion Compensation Motion Estimation DeblockIng Filter + SAO Decoded Frame Buffer 34

33 2D Transform 2D-DCT entera derivada de la DCT H.264: 8x8 y 4x4 HEVC: 32x32, 16x16, 8x8 y 4x4 Para residuos 4x4 de predicción Intra aplica la 2D-DST Los vectores base de la transformación se ajustan mejor a la funciones teóricas definidas en la DCT, por lo que no es preciso compensarlos para cada coeficiente en las etapas de cuantificación y escalado, con el objetivo de cumplir el requisito de ortonormalidad, como ocurre en H.264. Se requieren 32 bits de precisión Requiere de multiplicaciones (H.264 solo sumas y desplazamientos) 35

34 2D Transform Los kernel de los distintos tamaños de transformada se han diseñado como versiones submuestreadas en las posiciones pares de la transformada de mayor resolución, 32x32 36

35 Cuantificación-Escalado Filosofía similar a la de H.264 con 52 parámetros de cuantificación 37

36 Arquitectura HEVC CTU Partiotioning - 2D-DCT Quantization Entropy Encoding DECODER Scaling Inverse DCT + INTER INTRA Intra Prediction Motion Compensation Motion Estimation DeblockIng Filter + SAO Decoded Frame Buffer 38

37 Motion Estimation - Motion Compensation H.264: 4 particionados simétricos HEVC: añade 4 particionados asimétricos 2Nx2N NxN 2NxN N2xN nlx2n nrx2n 2NxnU 2NxnD 39

38 Motion Estimation - Motion Compensation Ejemplo eficiencia de particionado asimétrico 2NxnU 2NxnD nlx2n nrx2n FILTROS INTERPOLADORES Utiliza estimación entera, half-pel and quarter-pel Luma: 8 tap filter coefficients: { -1, 4, -11, 40, 40, -11, 4, -1 } Luma: 7-tap filter coefficients: { -1, 4, -10, 58, 17, -5, 1 } Chroma: 4-tap filter [ -2,58,10,-2]. 40

39 Motion Estimation - Motion Compensation Pixeles fraccionarios son derivados desde los enteros más próximos A - 1, - 1 A 0, - 1 a 0, - 1 b 0, - 1 c 0, - 1 A 1, - 1 A 2, - 1 A - 1,0 A 0,0 a 0,0 b 0,0 c 0,0 A 1,0 A 2,0 d - 1,0 d 0,0 e 0,0 f 0,0 g 0,0 d 1,0 d 2,0 h - 1,0 h 0,0 i 0,0 j 0,0 k 0,0 h 1,0 h 2,0 n - 1,0 n 0,0 p 0,0 q 0,0 r 0,0 n 1,0 n 2,0 A - 1,1 A 0,1 a 0,1 b 0,1 c 0,1 A 1,1 A 2,1 A - 1,2 A 0,2 a 0,2 b 0,2 c 0,2 A 1,2 A 2,2 41

40 Motion Estimation - Motion Compensation Los píxeles 1/4 son filtrados con 7-taps, los posicionados 1/2 con 8-taps Píxeles entre muestra enteras son computados por filtrado horizontal y entre píxeles enteros verticales por filtrado vertical A - 1, - 1 A 0, - 1 a 0, - 1 b 0, - 1 c 0, - 1 A 1, - 1 A 2, - 1 A - 1,0 A 0,0 a 0,0 b 0,0 c 0,0 A 1,0 A 2,0 d - 1,0 d 0,0 e 0,0 f 0,0 g 0,0 d 1,0 d 2,0 h - 1,0 h 0,0 i 0,0 j 0,0 k 0,0 h 1,0 h 2,0 n - 1,0 n 0,0 p 0,0 q 0,0 r 0,0 n 1,0 n 2,0 A - 1,1 A 0,1 a 0,1 b 0,1 c 0,1 A 1,1 A 2,1 A - 1,2 A 0,2 a 0,2 b 0,2 c 0,2 A 1,2 A 2,2 42

41 Arquitectura HEVC CTU Partiotioning - 2D-DCT Quantization Entropy Encoding DECODER Scaling Inverse DCT + INTER INTRA Intra Prediction Motion Compensation Motion Estimation DeblockIng Filter + SAO Decoded Frame Buffer 43

42 In Loop filter Deblocking Filter (DF): reduce la distorsión entre los bordes de los CBs. El DF reduce significativamente la complejidad del DF de H.264 al aplicarse tan solo a CB de 8x8. Sample Adaptive Offset (SAO): reduce los artefactos en el interior de las CBs, que se producen con transformadas de mayor tamaño (16x16 y 32x32). El SAO reduce su complejidad al trabajar a nivel de CTU, permitiendo si paralelización cuando es combinado con Tiles o WPP. 44

43 Deblocking Filter Se aplica inicialmente el filtrado los bordes verticales y a continuación los bordes horizontales, utilizando las muestras previamente filtradas. Se aplica sobre una rejilla de 8x8 superpuesta sobre las CTU. No tiene una dependencia con el tipo de particionado. 45

44 Deblocking Filter Los bordes de la rejilla de 8x8 son filtrados cuando se cumplen los 3 criterios siguientes: El borde pertenece a una PU o una TU. El parámetro de fuerza del borde (Boundary strength o Bs) >0 Cuando las diferencia a ambos lados del borde están dentro de un margen pre-establecido (+c, -c), que ha sido obtenido de los valores de los píxeles vecinos. 46

45 SAO Mejora de la calidad perceptual, pero en ocasiones empeora los valores de la calidad objetive (PSNR). Ejemplo de aplicación SAO derecha, izquierda sin SAO: 47

46 SAO -Se determina el offset que se le debe aplicar a los píxeles de cada categoría. Dos tipos: - Edge Offset (EO) - Band Offset (BO). - El índice de las distintas categorías, así como sus respectivos offsets son transmitidos al decodificador, que lleva a cabo la suma de dicho offset para cada píxel de la imagen en función de la categoría a la que pertenezca. - Se aplica de modo local a nivel de CTU. - Solo define un tipo de SAO por CTU. - Solo utiliza patrones de clasificación de bordes 1D - Múltiples CTU pueden compartir los mismos parámetros si estos son clasificados de igual modo. 48

47 Edge Offset (EO) Se lleva a cabo una clasificación de cada píxel en 5 posibles categorías, utilizando la información espacial de los 9 pixeles vecinos al píxel bajo evaluación. Define 4 patrones direccionales, con orientación horizontal, vertical, diagonal 135º y diagonal 45º. Categoria Condición 1 Condición 2 1 c<a && c<b 2 c<a && c=b c=a && c<b 3 c>a && c=b c=a && c>b 4 c>a && c>b 0 Ninguna de las anteriores 49

48 Edge Offset (EO) Identificar a cada píxel con una de las cuatro categorías mostradas en la figura, que determinan un valle, una área cóncava, convexa y un pico respectivamente, o en caso de no ajustarse con ninguna de ellas, clasifica en una 5º categoría definida como distinta. 50

49 Band Offset (BO) Se utiliza para zonas más suavizadas de la imagen que no contiene bordes, en los que se puede reducir la distorsión perceptual, aplicando un pequeño offset al valor de los pixeles decodificados en función de su magnitud. El estándar define 32 bandas, por lo que para el perfil Main con soporte para 8-bits las bandas se definen con tamaño de 8 valores por banda, y para el perfil Main10 el tamaño de las bandas es de 32. El estándar exige la señalización de cuatro bandas contiguas donde se aplicaran los cuatros posibles offset. Tan solo se transmite la banda inicial (la inferior) 51

50 Band Offset (BO) El offset no tiene restricciones, y puede ser positivo o negativo para cualquiera de las bandas, por lo que es preciso enviar al decodificador tanto la magnitud como su correspondiente signo 52

51 Agenda Novedades tecnológicas de HEVC Falsos mitos de HEVC Estandarización de HEVC en el DVB Caso práctico, TDT-HEVC Road map HEVC 53

52 Falsos mitos de HEVC HEVC no da soporte a formatos entrelazados INCORRECTO HEVC no dispone de herramientas de codificación especificas para formatos entrelazados (PAFF y MBAFF) como estándares previos, H.264 y MPEG-2. HEVC permite la codificación de formatos entrelazados a nivel de secuencia, utilizando la metadatación en la VUI, SEI: frame_field_info_present_flag (VUI) picture timing SEI message pic_struct 54

53 Falsos mitos de HEVC HEVC tan solo supera a H.264 para UHDTV, ofreciendo la misma calidad que H.264 para bajas resoluciones MATIZABLE HEVC introduce nuevas características como tamaños de codificación mayores (64x64) y mayores tamaños de DCT (32x32 y 16x16) que H.264. Su eficiencia es ligeramente mayor a mayor resolución, pero siempre muy superior a H.264. No se puede hablar de ganancia de HEVC en términos absolutos 55

54 Falsos mitos de HEVC Resultados de eficiencia para secuencias de 4K Fuente: BBC + EBU + RAI 56

55 Falsos mitos de HEVC HEVC no es adecuado para entornos de contribución y producción INCORRECTO Fuente: SAPEC + UPV, Congreso Anual SMPTE 2013, Los Angeles 57

56 Falsos mitos de HEVC HEVC no es adecuado para entornos de contribución y producción INCORRECTO Fuente: Fraunhofer Institute for Telecommunications 58

57 Agenda Novedades tecnológicas de HEVC Falsos mitos de HEVC Estandarización de HEVC en el DVB Caso práctico, TDT-HEVC Road map HEVC 59

58 Estandarización de HEVC en el DVB Reciente aprobación de la Especificación Técnica TS v incluyendo como codec el HEVC 60

59 Estandarización de HEVC en el DVB Reciente aprobación de la Especificación Técnica TS v incluyendo como codec el HEVC Aplica ciertas restricciones a los parámetros soportadas por el estándar, para facilitar su economía de escala en el mercado: Formatos de vídeo (Resolución y frame rate) Profundidad de píxel Tasas binarias máximas Descriptor de vídeo a transportar en la PMT Obligatoriedad de metada SEI (colorimetría, rango de vídeo) 61

60 Estandarización de HEVC en el DVB Reciente aprobación de la Especificación Técnica TS v incluyendo como codec el HEVC 62

61 Estandarización de HEVC en el DVB DVB TS v HEVC IRD HDTV y UHDTV Los IRD HEVC pueden no dan soporte a los formatos de SD Siguientes pasos: Incorporación del perfil escalable de HEVC para 2015 (SHVC) Soporte para High Dynamic Range video (HDR) Soporte para Temporal sub-layers (escalabilidad gamut, 3D) Outgoing Liaison to ATSC on HEVC 63

62 Agenda Novedades tecnológicas de HEVC Falsos mitos de HEVC Estandarización de HEVC en el DVB Caso práctico, TDT-HEVC Road map HEVC 65

63 Caso práctico, TDT-HEVC Resultados experimentales Visualización comparativa H.264 vs HEVC Relación Compresión = Mbps/servicio SD HD 4K MPEG-2 4 Mb H.264/AVC 2 Mb 8 Mb (*4Mbps) 16Mb-20Mb HEVC 1 Mb 4 Mb 10 Mb/12Mbps 66

64 Caso práctico, TDT-HEVC Eficiencia canal = Mbps/Mux Modulación FFT Intervalo de guarda FEC C/N Tasa Binaria/Mux DVB-T 64 QAM 8k 1/4 2/ db Mbps DVB-T2 64 QAM 32K 1/16 4/ db Mbps Bajo similares condiciones topología de red y de recepción, DVB-T2 permite incrementar la capacidad del canal en mas de un 60% con respecto a DVB-T 67

65 Caso práctico, TDT-HEVC Codificación de fuente Codificación de canal MPEG-2 (1992) DVB-T (1998) DVB-T2 - HEVC DVB-T2 - AVC DVB-T MPEG-2 68

66 Caso práctico, TDT-HEVC Podemos medir la eficiencia de nuestra TDT? Servicios SD HD Bit/Serv Ser/Mu RGE Mbps 4 RGE Mbps 2 MPE Mbps 5 MPE Mbps 4 EFICIENCIA TDT (1G) 4.5 Serv/Mux MPE Mbps 5 SFN2 5 4 Mbps 5 SFN3 5 4 Mbps 5 SFN4 5 4 Mbps

67 Caso práctico, TDT-HEVC Qué eficiencia podía ofrecer la TDT de 2ª generación? DVB-T2 = 32.42Mbps/Mux HEVC (SD) = 1.5 Mbps/Mux (Penalización 0.5Mbps audio+subtitulos) EFICIENCIA TDT (2G) 22 Serv/Mux DVB-T2 + HEVC multiplican x5 la actual eficiencia de la TDT Serv/Mux SD HD 4K DVB-T2 +HEVC

68 Agenda Novedades tecnológicas de HEVC Falsos mitos de HEVC Estandarización de HEVC en el DVB Caso práctico, TDT-HEVC Road map HEVC 72

69 Road map HEVC Aprobación nuevos perfiles profesionales - HEVC V2, o Range Extensions - Meeting Julio 2014 en Sapporo 73

70 Road map HEVC Nuevos perfiles escalables - Perfiles SHVC - Escalabilidad espacial (UHDV sobre HD) - Escalabilidad temporal para streaming adaptativo (ABR) - Escalabilidad de Gamut - Escalabilidad profundidad de pixel - Escalabilidad multivista para 3D - Perfil retrocompatible con H.264/AVC - Aprobación Julio

71 Road map HEVC Nuevos perfiles para Screen Content o non camera-captured content - Nuevos perfiles para la codificación de contenido sintético/híbrido de las pantallas de dispositivos gráficos - Herramientas muy distintas a las aplicadas en HEVC V1 y V2 - Muy bajo retardo - Optimizadas para espacios de color alternativos a YUV - Elevadas ganancias de compresión muy superiores a las de HEVC - Gran interés por parte de la industria para modelos de segundas pantallas 75

72 Road map HEVC Nuevos perfiles para Screen Content o non camera-captured content - Nuevos perfiles para la codificación de contenido sintético/híbrido de las pantallas de dispositivos gráficos - Herramientas muy distintas a las aplicadas en HEVC V1 y V2 - Muy bajo retardo - Optimizadas para espacios de color alternativos a YUV - Elevadas ganancias de compresión muy superiores a las de HEVC - Gran interés por parte de la industria para modelos de segundas pantallas 76

73 Road map HEVC Industrialización HEVC 2014 Disponibilidad de primeras versiones eficientes de codecs HEVC V1, para HD Encoder software eficiencia media Player disponibles (VLC, DivX, GPAC) Chipset de decoder en Q Versiones comerciales para UHDTV Disponibilidad implementaciones hardware ASIC y FPGAs Implantación servicios streaming, OTTs 77

74 GRACIAS POR SU ATENCION Damián Ruiz Coll