Fraunhofer Digital Cinema. EdCine Valencia, 4, 5 y 6 de marzo, 2009

Transcripción

1 Fraunhofer Digital Cinema EdCine Valencia, 4, 5 y 6 de marzo, 29

2 Formatos Digitales de acceso al sonido e imágenes en movimiento o: Sobre qué trata todo este material digital?! Florian Schleich & Arne Nowak Fraunhofer Institute for Integrated Circuits EDCine Digital Film Archive Workshop, Valencia,4/5/6 de Marzo, 29 EdCine Valencia, 4, 5 y 6 de marzo, 29

3 Introducción EdCine Valencia, 4, 5 y 6 de marzo, 29

4 Contenidos 1. Principios Básicos de la Imagen Digital 2. Códecs y Compresión 3. Sonido Digital 4. Formatos de Envoltorios y contenedores 5. Ejemplos de Formatos 6. Aplicaciones Prácticas 7. Resumen EdCine Valencia, 4, 5 y 6 de marzo, 29

5 Principios Básicos de la Imagen Digital EdCine Valencia, 4, 5 y 6 de marzo, 29

6 Principios Básicos de la Imagen Digital 1. Digititalización 2. Muestreo 3. Cuantificación 4. Aliasing 5. Color y espacios de Color. EdCine Valencia, 4, 5 y 6 de marzo, 29

7 Digititalización Consiste en: Muestreo La medición de un valor en una localización discreta en el continuo tiempo /espacio / dominio Cuantificación Redondear el valor continuo medido al siguiente nivel en una gama discreta de valores EdCine Valencia, 4, 5 y 6 de marzo, 29

8 Muestreo: Teoría Medición de la luminancia en una localización infinitesimalmente pequeña EdCine Valencia, 4, 5 y 6 de marzo, 29

9 Aliasing Fundamento Matemático : teorema de muestreo de Nyquist-Shannon Si una función f(t) no contiene frecuencias mayores que W cps, esta está completemente determinada al dar sus coordenadas en una serie de puntos espaciados por 1/(2W) segundos. necesario filtrar para asegurarse de que no estén presentes frecuencias más altas. EdCine Valencia, 4, 5 y 6 de marzo, 29

10 Aliasing EdCine Valencia, 4, 5 y 6 de marzo, 29

12 Aliasing Efectos si las condiciones del teorema de Nyquist-Shannon no se dan: Modelos Moirée solapamiento espacial Efecto Rueda de Vagón solapamiento temporal EdCine Valencia, 4, 5 y 6 de marzo, 29

14 Cuantificación EdCine Valencia, 4, 5 y 6 de marzo, 29

15 Color y Espacios de Color. Longitud de onda medida en nanómetros EdCine Valencia, 4, 5 y 6 de marzo, 29

16 Visión Humana Funciones para igualar el color EdCine Valencia, 4, 5 y 6 de marzo, 29

17 Visión Humana Función de Eficiencia luminosa Negra: Verde: conos de visión fotópica, niveles de luz normales barras de visión escotópicas, niveles de luz baja. EdCine Valencia, 4, 5 y 6 de marzo, 29

18 Verde Rojo Azul EdCine Valencia, 4, 5 y 6 de marzo, 29

19 Códecs y Compresión EdCine Valencia, 4, 5 y 6 de marzo, 29

20 Códecs y Compresión 1. Motivación 2. Principios Básicos de la Compresión de Datos 3. Ejemplos Prácticos: Etapas de Compresión JPEG 4. Métodos Avanzados de Compresión de Imágenes Cinematográficas. EdCine Valencia, 4, 5 y 6 de marzo, 29

21 Motivación Reducir la cantidad de datos Almacenamiento Manipulación, Procesamiento Transmisión Objetivo: no inducir (demasiada) pérdida de calidad. EdCine Valencia, 4, 5 y 6 de marzo, 29

22 Principios Básicos de la Compresión de Datos Conceptos: Información, Entropía Incremento de Entropía Sin pérdidas Reducción de la Irrelevancia Con pérdidas En aplicaciones prácticas : combinación de ambos métodos a menudo. EdCine Valencia, 4, 5 y 6 de marzo, 29

23 Bloques en la Compresión de Datos Básica- JPEG Imagen Original Transformación Espacio de color Submuestreo de Color (Opc) Imagen dividida en Bloques (8x8) Imagen JPEG Comprimida Entropía Codificación Cuantificación Transformación discreta del coseno Estos son los pasos con pérdidas en JPEG EdCine Valencia, 4, 5 y 6 de marzo, 29

24 Transformación del espacio de color Objetivo: Reducir la correlación entre canales de color Cómo conseguirlo: Transformar de RGB a un espacio de color mejor des-correlacionado Universal: Principio de Análisis de Componentes Práctico: RGB YC B C R EdCine Valencia, 4, 5 y 6 de marzo, 29

25 Transformación del Espacio de Color Principio de Análisis de Componentes 1. Determinar los componentes principales de un conjunto de datos 2. Convertir a un nuevo sistema de coordenadas definido por los componentes principales. EdCine Valencia, 4, 5 y 6 de marzo, 29

26 EdCine Valencia, 4, 5 y 6 de marzo, 29

27 EdCine Valencia, 4, 5 y 6 de marzo, 29 Transformación del Espacio de Color r r b b b b r r K Y B P K Y B P B K G K K R K Y = = + + = 1,5 1,5 ) 1 ( K b =,114 K r =,299 + d d d r b C G R C C Y,81312,418688,5,5,331264,168736,114,587,

28 Opcional: Sub-Muestreo de Color Primer nivel de compresión con posibles pérdidas Reduce la cantidad de información de color EdCine Valencia, 4, 5 y 6 de marzo, 29

29 EdCine Valencia, 4, 5 y 6 de marzo, 29 Transformación discreta del coseno Aproximación de una señal arbitraria con una suma de funciones del coseno JPEG: aplicadas a bloques de 8 x 8 píxeles 1,..., 2 1 cos 1 = + = = N k k n N x X N n n k π = = + + = 7 7,, cos cos ) ( ) ( x y y x v u v y u x g v u G π π α α

30 Transformación discreta del coseno Resultado de DCT: Contenidos de Imagen transformados a la frecuencia del dominio Bajas frecuencias pocos detalles Altas frecuencias muchos detalles Las frecuencias más altas pueden ser almacenadas con cuantificación poco detallada sin pérdidas de calidad muy visibles reducción de la cantidad de datos EdCine Valencia, 4, 5 y 6 de marzo, 29

31 EdCine Valencia, 4, 5 y 6 de marzo, 29 Transformación discreta del coseno DCT Valores DCT Escala de grises original v u

32 La Cuantificación Cuantificación Original detallada Cuantificación Nueva Poco detallada EdCine Valencia, 4, 5 y 6 de marzo, 29

33 EdCine Valencia, 4, 5 y 6 de marzo, 29 La Cuantificación v u Cuantificación Cuantificación matriz Valores DCT Cuantificados Valores DCT originales

34 El codificador de Entropía Codificación de Series Largas Escaneado Zig-zag Run length encoding (RLE) Datos Originales: WWWWWWWWWWWWBWWWWWWWWW WWWBBBWWWWWWWWWWWWWWWWW WWWWWWWBWWWWWWWWWWWWWW RLE codificado: 12W1B12W3B24W1B14W EdCine Valencia, 4, 5 y 6 de marzo, 29

35 El codificador de Entropía Código Huffman 5 Símbolos: A, B, C, D, E Codificación Binaria: Necesita al menos 3 bits por Símbolo A B 1 C 1 D 11 E 1 EdCine Valencia, 4, 5 y 6 de marzo, 29

36 El codificador de Entropía Código Huffman EdCine Valencia, 4, 5 y 6 de marzo, 29

37 El codificador de Entropía Código Huffman 5 Símbolos: A, B, C, D, E 3 bits originalmente A B 1 C 11 D 11 E Promedio: 2,23 bits por carácter EdCine Valencia, 4, 5 y 6 de marzo, 29

38 y vuelta a la imagen original Imagen Original Transformación De espacio de Color Inversa Sub-muestreo de Color (opt.) Contruir Imagen a partir de bloques de 8x8 Imagen JPEG Comprimida Decodificación Entropía Cuantificación Inversa Transformación discreta del coseno Inversa EdCine Valencia, 4, 5 y 6 de marzo, 29

39 Compresión Avanzada: Codificación Interframe Grupo de imágenes secuenciales I-Frame: fotograma completo codificado como referencia P/B-Frames: contienen diferencias y vectores de movimiento de fotogramas anteriores y posteriores EdCine Valencia, 4, 5 y 6 de marzo, 29

40 Sonido Digital EdCine Valencia, 4, 5 y 6 de marzo, 29

41 Sonido Digital 1. Principios Básicos del Sonido Digital 2. Formatos de Sonido Digital EdCine Valencia, 4, 5 y 6 de marzo, 29

42 Principios Básicos del Sonido Digital Muestreo y cuantificación 44.1 khz 192 khz 16 bits 24 bits Solapamiento y bajas profundidades de cuantificación conducen a una distorsión audible. Compresión posible, pero la cantidad de datos es baja en comparación con los datos de la imagen. EdCine Valencia, 4, 5 y 6 de marzo, 29

43 Formatos de Sonido Digital Formatos Sin Comprimir AIFF Microsoft WAVE, Broadcast WAVE (BWF) Formatos Comprimidos con Pérdidas MPEG-2 Audio MP3 (MPEG-1 Audio Layer 3) MPEG-4 AAC AC3/Dolby SRD, DTS, SDDS Formatos Comprimidos Sin Pérdidas MPEG-4 ALS MPEG-4 SLS (HD-AAC) FLAC EdCine Valencia, 4, 5 y 6 de marzo, 29

44 Envoltorios Principios y motivación Contenido: sonido e imágenes Metadatos Archivos & flujo Cinta Digital archivo digital EdCine Valencia, 4, 5 y 6 de marzo, 29 46

45 Envoltorios Principios y Motivación Qué es un envoltorio, por qué lo necesitamos? Códecs proporcionan datos codificados, brutos Se necesitan datos adicionales para la decodificación Sincronizar las pistas de sonido e imagen. Las pistas tienen que ser multiplexadas/entrelazadas Se pueden presentar Metadatos Adicionales Tienen que ser trasportados con los datos apropiados EdCine Valencia, 4, 5 y 6 de marzo, 29 47

46 Envoltorio - Contenido: Sonido e Imagen EdCine Valencia, 4, 5 y 6 de marzo, 29 48

47 Envoltorio - Metadatos Metadatos = datos sobre datos Metadatos Estructurales Identifican los códecs usados para codificar el contenido. Controlan la sincronización de pistas. Metadatos Descriptivos Información adicional describiendo el contenido: nombres de actores, localizaciones cinematográficas, etc EdCine Valencia, 4, 5 y 6 de marzo, 29 49

48 Estructura Física EdCine Valencia, 4, 5 y 6 de marzo, 29 5

49 Archivos & Flujo Descarga Descarga progresiva (HTTP streaming) Descarga estándar Flujo Flujo directo Flujo bajo demanda EdCine Valencia, 4, 5 y 6 de marzo, 29 51

50 Envoltorios: Cinta Digital Archivo Digital Las cintas de vídeo digital no pueden prescindir de una codificación apropiada Resolución, velocidad de proyección, velocidad de transmisión de datos, etc. fija. La migración a otros medios exige conversión Archivos Digitales son completamente independientes de los medios de datos La migración a un medio de almacenamiento nuevo es posible sin conversión EdCine Valencia, 4, 5 y 6 de marzo, 29 52

51 Ejemplos: Códecs y Formatos Códecs de Fotografía JPEG, JPEG 2 Códecs de imágenes en movimiento MPEG-1/2/4 (AVC), DV/DVCPro Formatos de Fotografía DPX, TIFF Formatos de Imagen en movimiento AVI, QuickTime, MXF EdCine Valencia, 4, 5 y 6 de marzo, 29

52 Codec de Fotografía: JPEG Estándar ISO desde principios de los 9. Método de compresión de amplia difusión para imágenes fotográficas Compresión con Pérdidas Conversión de Color a YCbCr Submuestreo de Croma División en bloques y transformación discreta del coseno Cuantificación Codificación de Entropía Formato de Archivo: JPEG Formato de Intercambio (JIF) EdCine Valencia, 4, 5 y 6 de marzo, 29 54

53 Codecs de Fotografía: JPEG ~.72bpp ~.14bpp ~.23bpp ~.9bpp EdCine Valencia, 4, 5 y 6 de marzo, 29

54 Códec de Fotografía: JPEG 2 Estándar ISO desde 2 Compresión de Imagen basada en wavelets Eficiencia de la compresión mejorada Arquitectura única para compresión con pérdidas y sin pérdidas Calidad y resolución escalables Formatos de Archivo: JP2, Motion- JPEG2, Mañana más EdCine Valencia, 4, 5 y 6 de marzo, 29 56

55 Codec de Imagen Cinematográfica: MPEG-1 Estandar ISO desde 1993 Diseñado para vídeo en CD-ROM Bit rate: 1.5Mbit/s Compresión basada en JPEG La Resolución de la entrada de vídeo es escalada al Formato SIF durante la codificación Se invierte el escalado durante la descodificación Codificación Interframe: GOP Calidad comparable a la del VHS EdCine Valencia, 4, 5 y 6 de marzo, 29 57

56 Codecs de Imagen Cinematográfica: MPEG-1 EdCine Valencia, 4, 5 y 6 de marzo, 29 58

57 Codecs de Imagen Cinematográfica: MPEG-2 Estándar ISO desde 1996 Diseñado para difusión por TV, DVD y DVB/HDTV Bit rate: 4-8Mbit/s Estructura sintáctica de flujo de vídeo similar a MPEG-1 Matriz con perfiles y niveles que define los parametros técnicos del flujo. Utilizado para DVD-Video y DVB,etc. EdCine Valencia, 4, 5 y 6 de marzo, 29 59

58 Códec de Imagen Cinematográfica: MPEG-4 Estándar ISO desde 2 Trabaja sobre objetos visuales con cualquier forma geométrica Compresión similar a MPEG-1/2 Bit rate: 5kbit/s 4Mbit/s Implementaciones Populares: DivX, Xvid EdCine Valencia, 4, 5 y 6 de marzo, 29 6

59 Códec de Imagen Cinematográfica : MPEG-4 AVC Códec MPEG-4 optimizado Diseñado para una codificación de alta eficiencia Hasta 3 veces más eficiencia que MPEG-2 Hasta 3 veces más esfuerzo computacional que MPEG-2 Sólo trabaja con bloques rectangulares. Optimización de los métodos usuales. El filtro de desbloqueo reduce los artefactos Utilizado en discos Blu-ray, HDTV y aplicaciones de móviles, p.ej. EdCine Valencia, 4, 5 y 6 de marzo, 29 61

60 Códec de Imagen Cinematográfica: Video Digital (DV) DV IEC Estándar Bit rate de imagen fijada a: Mbit/s Codificación Intraframe DCT DVCPRO DVCPRO25 DVCPRO5 DVCPRO1 (HD) EdCine Valencia, 4, 5 y 6 de marzo, 29 62

61 Formatos y Ejemplos: Formatos de Imagen Fotográfica Digital Moving-Picture Exchange (DPX) Tagged Image File Format (TIFF) EdCine Valencia, 4, 5 y 6 de marzo, 29 63

62 Formato de Imagen Fotográfica: Digital Moving-Picture Exchange (DPX) Estándar SMPTE Modificación del formato Cineon de Kodak Formato de archivo común para trabajo de película digital Optimizado para gamas de alto contraste. Gama separada, punto negro y blanco para cada componente de color Compatible con varios estándares de señal de vídeo (NTSC, PAL, ) EdCine Valencia, 4, 5 y 6 de marzo, 29 64

63 Formato de Imagen Fotográfica: Digital Moving-Picture Exchange (DPX) EdCine Valencia, 4, 5 y 6 de marzo, 29 65

64 Formato de Imagen Fotográfica : Tagged Image File Format (TIFF) Formato popular para imágenes de gran profundidad de color Conjunto flexible de etiquetas de metadatos Soporte Multi-página Permite diferentes sistemas de compresión y espacios de color Sin pérdidas y con pérdidas EdCine Valencia, 4, 5 y 6 de marzo, 29 66

65 Formatos y Ejemplos: Formatos de Envoltorios Audio Video Interleave (AVI) QuickTime Material exchange Format (MXF) EdCine Valencia, 4, 5 y 6 de marzo, 29 67

66 Formato Envoltorio: Audio Video Interleave (AVI) Definido por Microsoft Derivado de RIFF Soportado por muchos Sistemas Operativos Gastos significativos cuando se usa con códecs populares MPEG-4 Códecs H.264 están mal adaptados al AVI EdCine Valencia, 4, 5 y 6 de marzo, 29 68

67 Formato Envoltorio: QuickTime Desarrollado por Apple Inc. Puede contener referencias de datos resumidas para los datos de medios. Importación y edición en el lugar sin copiar datos Utilizado como base para MPEG-4 Part 14, el formato contenedor de mp4. EdCine Valencia, 4, 5 y 6 de marzo, 29 69

68 Formatos Envoltorios: Material exchange Format (MXF) Estándar SMPTE Subconjunto del Advanced Authoring Format (AAF) Abierto a nuevos tipos de Contenidos. Soporta código de tiempos completo y metadatos Lleva datos de casi cualquier complejidad Utilizado para D-Cinema y archivos Mañana más EdCine Valencia, 4, 5 y 6 de marzo, 29 7

69 Aplicaciones Prácticas Cine Digital Home Cinema & Distribución de TV EdCine Valencia, 4, 5 y 6 de marzo, 29 71

70 Aplicaciones Prácticas Cine Digital EdCine Valencia, 4, 5 y 6 de marzo, 29 72

71 Aplicaciones Prácticas Home Cinema y Distribución de TV DVD-Video (MPEG-2) Formato de pantalla 4:3 o 16:9 Máx. 25fps (PAL) Máx. 1.8Mbit/s, min. 3kbit/s DVB (MPEG-2) SDTV y HDTV Blu-Ray Disc (H.264) Flujo de vídeo bajo demanda EdCine Valencia, 4, 5 y 6 de marzo, 29 73

72 Resumen La compresión no conduce necesariamente a una pérdida de calidad El formato de archivo y la codificación son dos cosas diferentes. La cinta digital no es equiparable a los archivos digitales. EdCine Valencia, 4, 5 y 6 de marzo, 29 74

73 Muchas gracias por su atención! El proyecto EDCine Enhanced Digital Cinema ha sido fundado por the European Commission dentro del 6th Framework Programme FP6/24/IST/4.1, contract no EDCine. EdCine Valencia, 4, 5 y 6 de marzo, 29 75