Supercompresión de video y aplicaciones Universidad Nacional de Tucumán Facultad de Ciencias Exactas y Tecnología mario mastriani Agosto de 2012 1
Indice - Un poco de TV Digital - Nuestras investigaciones en TV Digital Terrestre - Nuestras investigaciones en TV de UAR sobre redes GPON - Nuestras investigaciones en estereoscopía - Ubicuidad de la tesis: Transmisión n de 1080p-3D terrestrial 2
Un poco de TV Digital 3
Segmentos de las Normas ISDB-T T e ISDB-Tb 4
Segmentos de las Normas y organización n de tramas para transmisión 5
Modelo de Programas en H.264 (MPEG4-10) 6
Cobertura de la TDT en la República Argentina 7
Captura y compresión n en HDTV 8
Percepción n de calidad de la imagen 9
Servicios 10
Transmisión n Jerárquica rquica 11
Definiciones y relaciones de aspecto de analógica a digital y entre digitales - Definición n Estándar (SD: 720x576i pixeles) en 4:3 - Definición n Estándar (SD: 720x576i pixeles) en 16:9 - Alta Definición n en 16:9 (HD: 1920x1080i o 1280x720p pixeles) - Baja Definición n en 4:3 o 16:9 (LD: 320x240p pixeles) 12
SD vs HD 13
Multiplexado de las 4 componentes 14
Branding 15
Transmisión n Digital de Canal 7 16
Transmisor 17
Racks I 18
Racks II 19
Encoder de NEC VC-7301 20
Esquema de TV Digital por Satélite 21
Esquema de TV Digital por Cable 22
Esquema de TV Digital Terrestre 23
Nuestras investigaciones en TV Digital Terrestre 24
Mapa de Investigación n en TV Digital Terrestre - 576i en 0.3 (en lugar de 2) segmentos de la norma ISDB-Tb - 576p en 0.6 (en lugar de 3) segmentos de la norma ISDB-Tb - 720p en 1.5 (en lugar de 6) segmentos de la norma ISDB-Tb - 1080p en 3 segmentos de la norma ISDB-Tb - 1080i en 1.5 (en lugar de 6) segmentos de la norma ISDB-Tb - 1080p-3D en 6 segmentos de la norma ISDB-Tb 25
Escaneos Escaneo Progresivo Primero líneas impares Escaneo Entrelasado Segundo líneas pares 26
STL-STB STB para video taming - 576i -----> > a 1/4 del bit-rate - 720p ----> > a 1/4 del bit-rate - 1080i ----> > a 1/4 del bit-rate 27
Video taming 28
Linear Row Interpolation (LRI) - 576p ----> > bit-rate de 576i 29
Chip para video catalyst - 1080p ------> > bit-rate de 720p - 1080p-3D -> > bit-rate de 1080i 30
Codec para TVD de UAR y redes ópticas del tipo GPON - TVD de UAR: 2K-3D, 4K-3D, 8K-3D y Multi-view 2K (MV-2K) - Cine Digital - Telemedicina 31
Nuestras investigaciones en TV Digital de UAR sobre redes GPON 32
Proyecto brasilero 2014k.org para el Mundial 2014 y las Olimpíadas 2016, ambos en 4K-3D 33
Justificación n japonesa para 8K 34
Propuesta japonesa (NHK) para 4K, 4K-3D, 8K y 8K-3D Detalle del encoder IP9500 Fujitsu 35
Angelina (1920x1080p) 36
Replicación n (7680x4320p = 8K) 37
Incremento del slope desde el centro 38
Benchmarking para la medición 39
Rendimiento de compresión n de H.264 en función n de la resolución 40
Detalle de su mejor funcionamiento 41
Como trabaja el codec desarrollado para TDA y para una red óptica del tipo GPON. 42
Broadcasting de 4Kp-3D sobre una red óptica del tipo GPON. Detalle del encoder/decoder. 43
Encoder para una norma de TVD de UAR sobre una red óptica del tipo GPON. 44
Tratamiento inter-cuadros 45
Tomografía Computada Seriada Oxiaxial 46
Agrupación de los cuadros 47
Deeplets y Deeplets Minor Gap (Deeplets_MG) 48
Tratamiento intra-cuadro 49
Wavelets: Haar vs Haar Minor Gap (Haar_MG) 50
Angelina 51
Haar 52
Angelina con Deeplets_MG 53
Angelina con Deeplets_MG luego de la sustracción n interbandas 54
Organización y recolección de los mosaicos 55
Transmisión n de 4K-3D y 8K-3D sobre una red GPON 56
Multi-view, Real 3D y TV Esférica. 57
El sueño por ahora inalcanzable 58
El sueño (continuación) 59
Televisores que no necesitan las gafas 60
Y 61
TV-Geométrica o TV-Esférica cámara 62
Mediante un trackball, es decir, mientras el control remoto selecciona el canal de HDTV, el trackball selecciona en forma remota la cámara de todas las del set o estadio. El solo movimiento del trackball switchea a otra cámara. Hoy ya hay modelos de controles remotos con trackball, aunque en la primera versión del set-top-box iría solo y dejaría el zapping intercanal al control remoto del televisor. 63
Su principal aplicación sería en el Futbol 64
Su principal aplicación fuera del Futbol 65
Detalle de la norma de Cine Digital RED EPIC 645 9K (9334x7000 pixeles) en violeta. Full HD para TV Digital está en celeste en el margen superior izquierdo. 66
Detalle de la norma de Cine Digital RED EPIC 617 28K (28000x9334 pixeles) en rojo. RED EPIC 645 quedó en carmín, mientras que también n aquí Full HD para TV Digital está en celeste en el margen superior izquierdo Best quality of image with automatic restoration 67
Aplicaciones en Telemedicina Hospital Electrónico Federal (HEF) sobre la red óptica Argentina Conectada. 68
Arquitectura del Hospital Electrónico Propuesto Interior de la República Argentina y ambulancias de la ciudad Cluster de nosocomios de baja y media complejidad Fundación Favaloro FLENI Capital Federal Hospital Italiano Clínica Suizo Argentina Dupuytren Malbrán 69
Mapa del Hospital Electrónico Propuesto REM Fundación Favaloro FLENI Hospital Italiano Clínica Suizo Argentina Dupuytren Malbrán 70
Ventajas Todos los niños del país s tendrán n el mismo nivel de interconsulta, primera opinión n remota radiológica y segunda opinión, n, sin importar su ubicación n geográfica o condición n social Fácil constitución n de un Tablero de Control Emergentológico gico Rápida estadística stica de incidentes Rápida consulta virtual de muestras: 1. Red Nacional de Microscopía a (MinCyT) 2. Red Nacional de Resonancia Magnética (MinCyT) Rápida interconsulta, primera y segunda opinión Federalización n de la interconsulta Combinación n con GIS para un Mapa Emergentológico gico Nacional 71
Ventajas Seguimiento en tiempo real de Focos Epidemiológicos Regionales Dengue, Gripe, Fiebre Hemorrágica, Chagas, etc. Compensa las limitaciones de conectividad del interior del país s hasta la llegada de una apropiada red óptica.. Una vez que esta llegue, la aprovecha mejor. Es consecuente con: 1. SATVD 2. Programa Nacional Igualdad Conectar reusando la conectividad idad de esta última en colegios y comunidades 3. Proyecto Libretas (Asignación n Familiar por Hijo) 4. Conectividad proyectada gracias a una red óptica 72
Arquitectura del Archivo BDF Paquete Biomédico (PB) 73
Circuito de datos (@) y financiero ($) 74
2D a 3D: Cuadro Original 75
2D a 3D: Anaglífico 76
2D a 3D: Obturación 77
TV Digital Terrestre ISDB-T T e ISDB-Tb 78
Actual organización n de los servicios en ISDB-T (Japón) 79
Detalle de ordenamiento de los 13 segmentos en ISDB-T Formatos de resoluciones en ISDB-T 80
Actual organización n de servicios en ISDB-Tb 81
Ubicuidad de la tesis 82
Algunos ensayos preliminares 83
Compresión 84
Supercompresión 85
Encoder de 1920x1080p al bit-rate de 720x576p o 1440x720p 86
Implementación n mediante GPGPU 87
Qué tecnología a lo hace posible en el encoder? 88
Qué tecnología a lo hace posible en el encoder? 89
Qué tecnología a lo hace posible en el encoder? 90
Alfajor Quadro 91
Qué es una GPGPU? 92
Qué es una GPGPU? (cont.) 93
Decodificador 94
Módulo de Super-Resoluci Resolución n (MSR) 95
Teléfono celular como receptor HD o Full-HD 96
Tecnologías empleadas y a emplear GPGPU para: - video taming - video catalyst - encoder de H.264 que reemplace a los de NEC - 2D a 3D - transmitir 1080p-3D en modalidad terrestrial Chip para: - el nuevo STB de 1080p-3D en modalidad terrestrial 97
Tesis 98
Super-compresi compresión n = Super-resoluci resolución n + Compresión Codec: Filtro antialiasing + Downsampling + Compresión Decodec: Descompresión n + Upsampling + Máscara M de Realce 99
Sub-muestreo/sobre-muestreo representados con una máscara convolutiva bidimensional responsable de la pérdida de nitidez de la imagen. 100
Kernel promediador N N frecuentemente usado en filtrado de media. 101
Modelos 1 ϕ = N N Kernel de la máscara m de blur X t+1 = X t Y = M * X t b t Modelo de pérdida p de nitidez Estimador del cuadro o imagen ) X t+ 1 ) = X K = k I ) ε t = Yt Yt ) ) Y = M * X t b t + K ε t P ) t = ( I k I) Pt = (1 k Pt t Matriz de auto- correlación P = E t lim t P T { ε ε } t t = 0 t ) εt = Yt Mb * X t ) ) X t+ = X t + k I ) X M * Y 1 t t+1 = d t Condición n de los parámetros de la máscara de realce ( N ( N 2 2 ( Y M * X ) 1) α + β = 1 1) α + β = 0 Deducción n de la máscara m de realce b ) t 102
Modelo Constante del Filtro de Kalman. 103
Máscara de realce M d. 104
Modelo nuevo y simplificado de restauración de la nitidez. 105
Algoritmo Genético (GA) para el cálculo c de los parámetros de la máscara de realce. 106
Cámara integrada 3D 107
Ejemplos anaglíficos 1 108
Ejemplo polarizada 1 109
Ejemplos de obturación 1 110
Transmisiones 1080i 3D satelitales experimentales1 111
Final de Wimbledon en 3D 112
Transmisión de 1920x1080p-3D (stereo) mediante H.264 113
Diagrama de captura, procesamiento y transmisión 114
Recepción n en el hogar. En el futuro cercano, la CPU del hogar es reemplazada por un chip en el set-top top-box 115
Transmisión de 4K-3D mediante JPEG2000 sobre fibra óptica 116
Encoder 117
Qué tecnología a fueron probadas en el decoder? Tegra 250 - Dual ARM Cortex A9 CPU @1GHz - 1GB of RAM - High-performance, shader-based 3D acceleration - HD video encode and decode - 512MB of Flash memory - Onboard wired Ethernet - WiFi - Bluetooth - Analog stereo audio in/out - USB keyboard/mouse/storage support - HDMI/DVI-D D and VGA/CRT display support - Onboard SD(HC) - slot - 2 cores CPU y 8 cores GPU - OpenCL no CUDA 118
Detalle del chip 119
Pasos en la gestación n del chip 120
Independencia de la super-compresi compresión n del datastream de interactividad, las aplicaciones interactivas y su eventual canal de retorno 121
Empleando seis segmentos para cada transmisión n 1080p stereo y a la vez ahorrando una enorme porción n del espectro radioeléctrico (ver parte baja de la figura en violeta), así como pasando de 4 576p a 12 576p y de 2 a 8 1080i/720p 122
Angelina 123
Angelina Original Reconstruida 124
Angelina 125
Texto 126
Texto Original Reconstruido 127
Texto 128
Tomografía 129
Tomografía Original Reconstruida 130
Tomografía 131
Satelitales (QuickBird-1) 132
Satelitales (QuickBird-1) Original Reconstruida 133
Satelitales (QuickBird-1) 134
Fingerprint 135
Fingerprint Original Reconstruida 136
Fingerprint 137
Rodilla 138
Rodilla Original Reconstruida 139
Rodilla 140
SAR 141
SAR Original Reconstruida 142
SAR 143
Preguntas? 144
Muchas gracias!!! 145