Procesos Multimedia: Captura y Reproducción. Septiembre de 2016

Transcripción

1 Captura Procesos Multimedia: Captura.. Facultad de Ingeniería. Universidad del Valle Septiembre de 2016

2 Contenido Captura 1 Captura 2 3

3 Captura reproducción Captura Definición Problema: Representación digital de la información (audio, vídeo) 1 Adquisición de la señal 2 (elimina redundancia) 3 Conversión (análoga digital) 4 Conversión para reproducción

4 Captura reproducción Captura 1 Principios generales de compresión 2 de texto 3 de imágenes 4 de sonido 5 de vídeo

5 Captura reproducción Captura Principios generales de compresión

6 Captura reproducción Captura Tipos de compresión 1 con pérdidas sin pérdidas: Determina si ha o no pérdida de información en el proceso de compresión 2 Codificación por entropía: Sin pérdida de información e Independiente del tipo de información codificada 3 Codificación basada en la fuente: Se basa en el conocimiento de la información que se codifica

7 Captura reproducción Captura Ejemplos de codificación por entropía 1 RLE (Run-Length Encoding) Sustitución de cadenas de bits o caracteres repetidos por una indicación del elemento repetido su número de repeticiones. Ejemplo: > 0,6 1,8 0,5 2 Codificación estadística: Se basa en la diferente probabilidad de aparición que tienen los códigos de una fuente Ejemplo: algoritmo de Huffman

8 Captura reproducción Captura Entriopia 1 RLE (Run-Length Encoding) Número medio mínimo de bits por código requeridos para codificar una cadena fuente determinada Entriopia = n P i log 2 (P i ) (1) i=1 n > Número de símbolos diferentes en la cadena P i > Probabilidad de la ocurrencia del símbolo i La eficiencia de un esquema de codificación se computa como ratio entre la entropía de la fuente el número medio de bits por código del esquema

9 Captura reproducción Captura Codificación basada en la fuente 1 Codificación diferencial Se basa en codificar diferencias de valores sucesivos de una señal en lugar de los valores en sí mismos Útil cuando los valores de las señales son grandes, pero no su diferencia 2 Codificación por transformación Su objetivo es transformar la fuente de información a un formato diferente más apto para la compresión La transformación es normalmente sin pérdidas

10 Captura reproducción Captura de texto 1 Sin pérdidas 2 Métodos de compresión usados (estadísticos) 3 Codificación estática o dinámica

11 Captura reproducción Captura de texto 1 Sin pérdidas 2 Métodos de compresión usados (estadísticos) 1 Basados en caracteres simples: Huffman Aritméticos 2 Aritméticos: Lempel-Ziv (LZ) (basado en diccionario de palabras) 3 Codificación estática o dinámica 1 Códigos estáticos: Huffman estático, LZ 2 Códigos dinámicos: Huffman dinámico, LZW

12 Captura reproducción de imágenes Captura Figura: Modo de operación

13 Captura reproducción de imágenes Captura Figura: Modo de operación

14 Captura reproducción Captura Formato JPEG 1 Desarrollado por el Joint Photographic Experts Group 2 Definido en el estándar internacional ISO Comprime imágenes en color en blanco negro 4 Realiza compresión con pérdidas 5 Relaciones de compresión 1 20:1 para imágenes simples (pocas transiciones de color) 2 10:1 para imágenes complejas (muchas transiciones)

15 Captura reproducción Codificador JPEG Captura Figura: Funcionamiento de JPEG

16 Captura reproducción Captura Formatos de imagen (con compresión) 1 BMP (sin pérdidas) (Microsoft) 2 PICT (sin pérdidas) (Apple) 3 TIF (sin pérdidas) (Multiplataforma) 4 GIF (Graphics Interchange Format) 5 JPG (Joint Photographic experts Group) 6 PNG (Portable Network Graphics)

17 Captura reproducción Captura de sonido Tipo de codificación Significado Kbps Relación de com- presión PCM Pulse Code Modulation DPCM Difrencial Pulse :1 Code Modulation ADPCM Adaptative Difrencial 64, 56, 48, 1:1... 4:1 Pulse 40, 32, 24 ó Code Mudalation 16 APC Adaptative Predicting 8 8:1 Coding

18 Captura reproducción Captura Codificación perceptual 1 Concepto: Eliminar de la señal fuente aquella información que es irrelevante para el oído humano 2 Tipo de compresión: Con pérdidas 3 Fundamento: Sensitividad no lineal del oído a diferentes frecuencias Enmascaramiento frecuencial Enmascaramiento temporal

19 Captura reproducción Enmascaramiento frecuencial Captura Figura: Enmascaramiento frecuencial

20 Captura reproducción Enmascaramiento frecuencial Captura Figura: Enmascaramiento temporal

21 Captura reproducción Captura Estándar MPEG-1 audio CAPA Enmascaramiento Enmascaramiento Relación frecuencial temporal de compresión típica 1 SI NO Casete digital 4:1 2 SI SI Televisión digital 6:1 3 SI SI Música de calidad CD: 12:1

22 Captura reproducción Captura Formatos de sonido (con compresión) 1 MP3 (MPEG-1 Laer3) 2 OGG Vorbis (basado en la capa 2 de MPEG-1) 3 AAC (Advanced Audio Coding) (usado en MPEG-4) 4 WMA (Windows Media Audio) (Microsoft) 5 RA (Real Audio) (RealNetworks)

23 Captura reproducción Captura Principios de compresión de vídeo 1 Concepto de vídeo: Imágenes en movimiento 2 Primera forma de compresión: 1 Eliminar la redundancia espacial presente en cada imagen individual (compresión JPEG) 2 MJPEG (Moving JPEG) 3 Relación de compresión insuficiente (10:1-20:1) 3 Segunda forma de compresión: Eliminar la redundancia espacial presente en imágenes consecutivas

24 Captura reproducción Captura Técnica de la predicción de imágenes 1 Concepto 1 Predecir el contenido de una parte significativa de las imágenes presentes en un vídeo 2 La predicción se realiza a partir de otras imágenes que sí se encuentran presentes en el vídeo 2 Aspectos de la predicción de imágenes 1 Estimación del movimiento 2 Compensación del movimiento 3 Tipos de imágenes: I (Intracoded), P (Predicted) B (Bidirectional) (Keframes)

25 Captura reproducción Predicción de imágenes P Captura Figura: Movimiento en pequeñas zonas de la imagen (Ej. Videotelefonía)

26 Captura reproducción Predicción de imágenes B Captura Figura: Escenas de acción o movimientos en varios planos (Ej. Cine)

27 Captura reproducción Estándares MPEG vídeo Captura Figura: Estándares MPEG vídeo

28 Captura reproducción Captura Formatos de vídeo (con compresión) 1 Formatos contenedores: 1 AVI (Audio Video Interleave) (Microsoft) 2 MOV/QT (MOVie/QuickTime) (Apple) 3 MATROSKA / OGG / OGM (Multiplataforma) 2 Formatos específicos 1 MJPG (Motion JPG) 2 MPEG, MPG, MPE, MP2, MP4 (MPEG) 3 WMV (Windows Media Video) (Microsoft) 4 RM, RV (Real Media) (RealNetworks)

29 Captura reproducción Captura Captura 1 Sonido Micrófono Tarjetas MIDI Tarjetas digitalización de sonido

30 Captura reproducción Captura Exhibición ( convertir señal digital a análoga) 1 Gráficos 2 Audio 3 Imágenes estáticas 4 Imágenes en movimiento

31 Captura reproducción Captura 1 AUDIO ( voz, sonido de calidad) Tarjetas de sonido Amplificadores Alto parlantes 2 Imágenes estáticas vídeo Monitores Tarjetas de vídeo

32 Captura reproducción Captura Tecnologías de Audio/Vídeo Tecnologías que permiten la gestión de audio vídeo en diferentes formatos plataformas de ejecución (entorno de ejecución + APIs + herramientas asociadas)

33 Captura reproducción Captura Tecnologías Plataformas 1 DirectShow / Media Foundation (Microsoft, Windows) 2 QuickTime (Apple, Multiplataforma) 3 Real Media (RealNetworks, Multiplataforma) 4 Java Media Framework (Sun JVM, Multiplataforma) 5 OpenML (Khronos group, código abierto, Multiplataforma) 6 OpenGL (Open Graphics Librar)

34 Captura reproducción Captura Microsoft DirectShow (DirectX) 1 Conjunto de interfaces de programación de aplicaciones (APIs) orientadas a la 2 Tiene una librería en tiempo de ejecución (run-time librar) que consta de varias dlls (dinamicall linked libraries),las cuales pueden ser distribuidas con la aplicación 3 un sistema de desarrollo asociado, el DirectX SDK (Sstem Development Kit), con varios archivos de librería (.lib) de cabeceras (.h)

35 Captura reproducción Captura Componentes de DirectX (DirectX SDK) 1 DirectX Graphics (DirectDraw + Direct3D) 2 DirectInput 3 DirectPla 4 DirectSetup 5 DirectMusic 6 DirectSound

36 Captura reproducción Componentes de DirectX (DirectX SDK) Captura Figura: Arquitectura de DirectX

37 Captura reproducción Captura Componentes de DirectX (DirectX SDK) 1 Capa de Abstracción de Hardware (HAL) Capa sobre la que se construen todas las APIs de DirectX Su misión consiste en aislar todas las particularidades del hardware ofrecer una interfaz común para las APIs de DirectX Contiene el conjunto de drivers utilizado 2 Capa de Emulación de Hardware (HEL) Construida sobre la capa HAL Emula las características no soportadas por el hardware, como por ejemplo funciones 3D en caso de no existir acelerador hardware Todo lo que HAL no puede hacer lo emula por software

38 Captura reproducción Captura Codecs 1 Concepto: Filtros software (hardware) de codificación/decodificación (compresión/descompresión) 2 Tipos: Audio Vídeo 3 Formatos de salida Plataformas: AVI, MPEG, etc

39 Captura reproducción Captura Parámetros de codecs de vídeo 1 Resolución (352x288, 720x576, etc.) 2 Relación de aspecto (3:4, 16:9, etc.) 3 Forma de pixel (cuadrada, no cuadrada) 4 Profundidad de color (8 bit/pixel normalmente) 5 Espacio de color (4:2:0, 4:2:2, etc.) 6 Tasa de cuadros (Frame Rate) (15, 30 fps, etc.) 7 Tasa de keframes (Keframe Rate) (1 cada X cuadros) 8 Tasa de bits (Data Rate)

40 Captura reproducción Captura Parámetros de codecs de vídeo 1 Umbral mínimo de calidad espacial 2 Eliminación de cuadros (Frame dropping) 3 Velocidad de compresión (+ velocidad - calidad) 4 Rango de búsqueda de movimiento 5 Filtros de postprocesado Debloquing (suaviza las pixelaciones) Deringing (mejora el aspecto de los bordes) Frame rate interpolation (compensa cuadros perdidos) Aplicados o no en función de la CPU del equipo reproductor

41 Captura reproducción Captura Elección de codecs de vídeo 1 cuál es nuestro contenido? 2 cuáles son nuestras necesidades de comunicación? 3 cuál es nuestra audiencia? El mejor codec es aquel que mejor trabaja sirviendo el contenido a la audiencia cumpliendo los requisitos de comunicaciones

42 Captura reproducción Captura Elección de codecs de vídeo 1 Eficiencia de compresión: calidad obtenida en función de la tasa de bits utilizada 2 Prestaciones para reproducción: velocidad requerida en el equipo reproductor 3 Disponibilidad: grado de difusión de codec facilidad de descarga El mejor codec es aquel que mejor trabaja sirviendo el contenido a la audiencia cumpliendo los requisitos de comunicaciones

43 Captura reproducción Captura Parámetros de codecs de audio 1 Voz / Música (codecs de propósito general) 2 Tasa de muestreo (Sample Rate) (8-44 KHz.) 3 Profundidad de bit (16 bit/muestra normalmente) 4 Número de canales (1 mono, 2 o más stereo) 5 Mono / Stereo

44 Captura reproducción Reproductores Captura

45 Contenido Captura 1 Captura 2 3

46 recuperación Captura Definición 1 Organización / Tamaño de los objetos 2 Hipertexto: Modelo de almacenamiento 3 Problema: por cualificación

47 recuperación Captura Operadores de comparación alfanumérico 1 No se aplican: por contenido en video 2 sincrónica

48 recuperación Captura Dispositivos de almacenamiento 1 CD ROM r/w 2 Discos magnéticos 3 DVD ROM R/W 4 Memorias USB 5 Internet 6 Discos Duros

49 recuperación Captura Dispositivos de almacenamiento 1 TEXTOS Archivos convencionales Archivos compactados hasta 90 % Estructuras de búsqueda

50 recuperación Captura 1 GRAFICOS / IMÁGENES ESTÁTICAS Sin compactar (4.8 a 16 bits por pixel) Compactadas (2,1,0.5 por pixel) Estructuras de búsqueda

51 recuperación Captura 1 IMÁGENES EN MOVIMIENTO: Archivos Compactados ejemplo: Submuestra (corte de escenas) 30seg 8Mb (Sin compactar) 30seg 3Mb (compactado)

52 Contenido Captura 1 Captura 2 3

53 Captura Definición Problema: cada tipo de señal tiene características distintas 1 Texto 1 No existe flujo continuo de información 2 No se pueden perder bits 2 Audio (voz) o Vídeo 1 Tráfico continuo, a tasa constante 2 Puede perder bits( por causa de redundancia)

54 Preguntas? Captura