Supercompresión de video y aplicaciones. Universidad Nacional de Tucumán Facultad de Ciencias Exactas y Tecnología mario mastriani.

Transcripción

1 Supercompresión de video y aplicaciones Universidad Nacional de Tucumán Facultad de Ciencias Exactas y Tecnología mario mastriani Agosto de

2 Indice - Un poco de TV Digital - Nuestras investigaciones en TV Digital Terrestre - Nuestras investigaciones en TV de UAR sobre redes GPON - Nuestras investigaciones en estereoscopía - Ubicuidad de la tesis: Transmisión n de 1080p-3D terrestrial 2

3 Un poco de TV Digital 3

4 Segmentos de las Normas ISDB-T T e ISDB-Tb 4

5 Segmentos de las Normas y organización n de tramas para transmisión 5

6 Modelo de Programas en H.264 (MPEG4-10) 6

7 Cobertura de la TDT en la República Argentina 7

8 Captura y compresión n en HDTV 8

9 Percepción n de calidad de la imagen 9

10 Servicios 10

11 Transmisión n Jerárquica rquica 11

12 Definiciones y relaciones de aspecto de analógica a digital y entre digitales - Definición n Estándar (SD: 720x576i pixeles) en 4:3 - Definición n Estándar (SD: 720x576i pixeles) en 16:9 - Alta Definición n en 16:9 (HD: 1920x1080i o 1280x720p pixeles) - Baja Definición n en 4:3 o 16:9 (LD: 320x240p pixeles) 12

13 SD vs HD 13

14 Multiplexado de las 4 componentes 14

15 Branding 15

16 Transmisión n Digital de Canal 7 16

17 Transmisor 17

18 Racks I 18

19 Racks II 19

20 Encoder de NEC VC

21 Esquema de TV Digital por Satélite 21

22 Esquema de TV Digital por Cable 22

23 Esquema de TV Digital Terrestre 23

24 Nuestras investigaciones en TV Digital Terrestre 24

25 Mapa de Investigación n en TV Digital Terrestre - 576i en 0.3 (en lugar de 2) segmentos de la norma ISDB-Tb - 576p en 0.6 (en lugar de 3) segmentos de la norma ISDB-Tb - 720p en 1.5 (en lugar de 6) segmentos de la norma ISDB-Tb p en 3 segmentos de la norma ISDB-Tb i en 1.5 (en lugar de 6) segmentos de la norma ISDB-Tb p-3D en 6 segmentos de la norma ISDB-Tb 25

26 Escaneos Escaneo Progresivo Primero líneas impares Escaneo Entrelasado Segundo líneas pares 26

27 STL-STB STB para video taming - 576i -----> > a 1/4 del bit-rate - 720p ----> > a 1/4 del bit-rate i ----> > a 1/4 del bit-rate 27

28 Video taming 28

29 Linear Row Interpolation (LRI) - 576p ----> > bit-rate de 576i 29

30 Chip para video catalyst p > > bit-rate de 720p p-3D -> > bit-rate de 1080i 30

31 Codec para TVD de UAR y redes ópticas del tipo GPON - TVD de UAR: 2K-3D, 4K-3D, 8K-3D y Multi-view 2K (MV-2K) - Cine Digital - Telemedicina 31

32 Nuestras investigaciones en TV Digital de UAR sobre redes GPON 32

33 Proyecto brasilero 2014k.org para el Mundial 2014 y las Olimpíadas 2016, ambos en 4K-3D 33

34 Justificación n japonesa para 8K 34

35 Propuesta japonesa (NHK) para 4K, 4K-3D, 8K y 8K-3D Detalle del encoder IP9500 Fujitsu 35

36 Angelina (1920x1080p) 36

37 Replicación n (7680x4320p = 8K) 37

38 Incremento del slope desde el centro 38

39 Benchmarking para la medición 39

40 Rendimiento de compresión n de H.264 en función n de la resolución 40

41 Detalle de su mejor funcionamiento 41

42 Como trabaja el codec desarrollado para TDA y para una red óptica del tipo GPON. 42

43 Broadcasting de 4Kp-3D sobre una red óptica del tipo GPON. Detalle del encoder/decoder. 43

44 Encoder para una norma de TVD de UAR sobre una red óptica del tipo GPON. 44

45 Tratamiento inter-cuadros 45

46 Tomografía Computada Seriada Oxiaxial 46

47 Agrupación de los cuadros 47

48 Deeplets y Deeplets Minor Gap (Deeplets_MG) 48

49 Tratamiento intra-cuadro 49

50 Wavelets: Haar vs Haar Minor Gap (Haar_MG) 50

51 Angelina 51

52 Haar 52

53 Angelina con Deeplets_MG 53

54 Angelina con Deeplets_MG luego de la sustracción n interbandas 54

55 Organización y recolección de los mosaicos 55

56 Transmisión n de 4K-3D y 8K-3D sobre una red GPON 56

57 Multi-view, Real 3D y TV Esférica. 57

58 El sueño por ahora inalcanzable 58

59 El sueño (continuación) 59

60 Televisores que no necesitan las gafas 60

61 Y 61

62 TV-Geométrica o TV-Esférica cámara 62

63 Mediante un trackball, es decir, mientras el control remoto selecciona el canal de HDTV, el trackball selecciona en forma remota la cámara de todas las del set o estadio. El solo movimiento del trackball switchea a otra cámara. Hoy ya hay modelos de controles remotos con trackball, aunque en la primera versión del set-top-box iría solo y dejaría el zapping intercanal al control remoto del televisor. 63

64 Su principal aplicación sería en el Futbol 64

65 Su principal aplicación fuera del Futbol 65

66 Detalle de la norma de Cine Digital RED EPIC 645 9K (9334x7000 pixeles) en violeta. Full HD para TV Digital está en celeste en el margen superior izquierdo. 66

67 Detalle de la norma de Cine Digital RED EPIC K (28000x9334 pixeles) en rojo. RED EPIC 645 quedó en carmín, mientras que también n aquí Full HD para TV Digital está en celeste en el margen superior izquierdo Best quality of image with automatic restoration 67

68 Aplicaciones en Telemedicina Hospital Electrónico Federal (HEF) sobre la red óptica Argentina Conectada. 68

69 Arquitectura del Hospital Electrónico Propuesto Interior de la República Argentina y ambulancias de la ciudad Cluster de nosocomios de baja y media complejidad Fundación Favaloro FLENI Capital Federal Hospital Italiano Clínica Suizo Argentina Dupuytren Malbrán 69

70 Mapa del Hospital Electrónico Propuesto REM Fundación Favaloro FLENI Hospital Italiano Clínica Suizo Argentina Dupuytren Malbrán 70

71 Ventajas Todos los niños del país s tendrán n el mismo nivel de interconsulta, primera opinión n remota radiológica y segunda opinión, n, sin importar su ubicación n geográfica o condición n social Fácil constitución n de un Tablero de Control Emergentológico gico Rápida estadística stica de incidentes Rápida consulta virtual de muestras: 1. Red Nacional de Microscopía a (MinCyT) 2. Red Nacional de Resonancia Magnética (MinCyT) Rápida interconsulta, primera y segunda opinión Federalización n de la interconsulta Combinación n con GIS para un Mapa Emergentológico gico Nacional 71

72 Ventajas Seguimiento en tiempo real de Focos Epidemiológicos Regionales Dengue, Gripe, Fiebre Hemorrágica, Chagas, etc. Compensa las limitaciones de conectividad del interior del país s hasta la llegada de una apropiada red óptica.. Una vez que esta llegue, la aprovecha mejor. Es consecuente con: 1. SATVD 2. Programa Nacional Igualdad Conectar reusando la conectividad idad de esta última en colegios y comunidades 3. Proyecto Libretas (Asignación n Familiar por Hijo) 4. Conectividad proyectada gracias a una red óptica 72

73 Arquitectura del Archivo BDF Paquete Biomédico (PB) 73

74 Circuito de datos y financiero ($) 74

75 2D a 3D: Cuadro Original 75

76 2D a 3D: Anaglífico 76

77 2D a 3D: Obturación 77

78 TV Digital Terrestre ISDB-T T e ISDB-Tb 78

79 Actual organización n de los servicios en ISDB-T (Japón) 79

80 Detalle de ordenamiento de los 13 segmentos en ISDB-T Formatos de resoluciones en ISDB-T 80

81 Actual organización n de servicios en ISDB-Tb 81

82 Ubicuidad de la tesis 82

83 Algunos ensayos preliminares 83

84 Compresión 84

85 Supercompresión 85

86 Encoder de 1920x1080p al bit-rate de 720x576p o 1440x720p 86

87 Implementación n mediante GPGPU 87

88 Qué tecnología a lo hace posible en el encoder? 88

89 Qué tecnología a lo hace posible en el encoder? 89

90 Qué tecnología a lo hace posible en el encoder? 90

91 Alfajor Quadro 91

92 Qué es una GPGPU? 92

93 Qué es una GPGPU? (cont.) 93

94 Decodificador 94

95 Módulo de Super-Resoluci Resolución n (MSR) 95

96 Teléfono celular como receptor HD o Full-HD 96

97 Tecnologías empleadas y a emplear GPGPU para: - video taming - video catalyst - encoder de H.264 que reemplace a los de NEC - 2D a 3D - transmitir 1080p-3D en modalidad terrestrial Chip para: - el nuevo STB de 1080p-3D en modalidad terrestrial 97

98 Tesis 98

99 Super-compresi compresión n = Super-resoluci resolución n + Compresión Codec: Filtro antialiasing + Downsampling + Compresión Decodec: Descompresión n + Upsampling + Máscara M de Realce 99

100 Sub-muestreo/sobre-muestreo representados con una máscara convolutiva bidimensional responsable de la pérdida de nitidez de la imagen. 100

101 Kernel promediador N N frecuentemente usado en filtrado de media. 101

102 Modelos 1 ϕ = N N Kernel de la máscara m de blur X t+1 = X t Y = M * X t b t Modelo de pérdida p de nitidez Estimador del cuadro o imagen ) X t+ 1 ) = X K = k I ) ε t = Yt Yt ) ) Y = M * X t b t + K ε t P ) t = ( I k I) Pt = (1 k Pt t Matriz de auto- correlación P = E t lim t P T { ε ε } t t = 0 t ) εt = Yt Mb * X t ) ) X t+ = X t + k I ) X M * Y 1 t t+1 = d t Condición n de los parámetros de la máscara de realce ( N ( N 2 2 ( Y M * X ) 1) α + β = 1 1) α + β = 0 Deducción n de la máscara m de realce b ) t 102

103 Modelo Constante del Filtro de Kalman. 103

104 Máscara de realce M d. 104

105 Modelo nuevo y simplificado de restauración de la nitidez. 105

106 Algoritmo Genético (GA) para el cálculo c de los parámetros de la máscara de realce. 106

107 Cámara integrada 3D 107

108 Ejemplos anaglíficos 1 108

109 Ejemplo polarizada 1 109

110 Ejemplos de obturación 1 110

111 Transmisiones 1080i 3D satelitales experimentales1 111

112 Final de Wimbledon en 3D 112

113 Transmisión de 1920x1080p-3D (stereo) mediante H

114 Diagrama de captura, procesamiento y transmisión 114

115 Recepción n en el hogar. En el futuro cercano, la CPU del hogar es reemplazada por un chip en el set-top top-box 115

116 Transmisión de 4K-3D mediante JPEG2000 sobre fibra óptica 116

117 Encoder 117

118 Qué tecnología a fueron probadas en el decoder? Tegra Dual ARM Cortex A9 - 1GB of RAM - High-performance, shader-based 3D acceleration - HD video encode and decode - 512MB of Flash memory - Onboard wired Ethernet - WiFi - Bluetooth - Analog stereo audio in/out - USB keyboard/mouse/storage support - HDMI/DVI-D D and VGA/CRT display support - Onboard SD(HC) - slot - 2 cores CPU y 8 cores GPU - OpenCL no CUDA 118

119 Detalle del chip 119

120 Pasos en la gestación n del chip 120

121 Independencia de la super-compresi compresión n del datastream de interactividad, las aplicaciones interactivas y su eventual canal de retorno 121

122 Empleando seis segmentos para cada transmisión n 1080p stereo y a la vez ahorrando una enorme porción n del espectro radioeléctrico (ver parte baja de la figura en violeta), así como pasando de 4 576p a p y de 2 a i/720p 122

123 Angelina 123

124 Angelina Original Reconstruida 124

125 Angelina 125

126 Texto 126

127 Texto Original Reconstruido 127

128 Texto 128

129 Tomografía 129

130 Tomografía Original Reconstruida 130

131 Tomografía 131

132 Satelitales (QuickBird-1) 132

133 Satelitales (QuickBird-1) Original Reconstruida 133

134 Satelitales (QuickBird-1) 134

135 Fingerprint 135

136 Fingerprint Original Reconstruida 136

137 Fingerprint 137

138 Rodilla 138

139 Rodilla Original Reconstruida 139

140 Rodilla 140

141 SAR 141

142 SAR Original Reconstruida 142

143 SAR 143

144 Preguntas? 144

145 Muchas gracias!!! 145