Multimedia y Sistemas Operativos

Transcripción

1 Facultad de Ingeniería Universidad de Buenos Aires Lic. Ing. Osvaldo Clúa 2do Cuatrimestre 2006 Multimedia y Sistemas Operativos

2 La Multimedia Se compone de: Audio y Video clips. Webcasts en vivo. Se entrega en: Computadores personales. PDAs. Teléfonos Celulares -2-

3 Medios Continuos El instante en que se reproducen es importante. Son medios con requerimientos específicos de velocidad. La percepción tiene una cierta capacidad de integración. Video: 24 a 30 Cuadros (frames) /seg Son requerimientos de soft real time. -3-

4 Algunas cifras -4-

5 Streaming Entregar medios continuos desde un servidor a un cliente generalmente a través de una conexión de red Progressive Download: el medio se reproduce a medida que llega y se guarda en la computadora cliente. Real-Time Streaming: no se almacena en la computadora cliente. En vivo On demand -5-

6 Video on Demand -6-

7 El Archivo Multimedia -7-

8 Codificación de audio Sampling o Muestreo: convierte de onda de presión a onda electromagnética y serie de números binarios -8-

9 Codificación de audio Ruido de cuantificación (Quantization). Compresión sin pérdidas (au,wav,aiff). Compresión perceptual (mp3, ogg-vorbis, etc). Generación de la onda (midi). Voice Messages Mode Messages System Messages -9-

10 Análisis espectral Transformada de Fourier : La codificación (mp3, vorbis,,...) quita las frecuencias que el oido no percibe. Se preserva la calidad de la percepción, no la cantidad de información. Hay una frecuencia mínima de muestreo ver

11 Principios de MIDI Voice Messages: Note On (Key, velocity) Note Off Pitch bend Program Control Mas información en

12 Codificación de Video Video Codec: Un dispositivo que permite la compresión de un stream de audio y video. Generalmente usa compresión con pérdidas. Separa información de color de luminancia. Standards abiertos y propietarios. No confundir con containers. -12-

13 Algunos Codecs H 261 ITU-T MPEG 1 (2) MPEG MPEG 2 (2) H262 MPEG MPEG 4 (2) MPEG MPEG 4 (10) H 264 MPEG H263 ITU-T DivX Theora Xiph.org WMV Microsoft Real Video Real Quick Time Mac Video Conferencia Video Disc DVD Blu-Ray MPEG 2 (4) + Object Motion Play Station ipod Nero HD-DVD Blu-Ray Video Conferencia + Progressive scan Implementación MPEG 4 (2) Ogg (Container) Familia de codecs Propietario Framework para manejar multimedia Para una lista mas completa ver

14 Transformada Coseno (DCT) Usando el Matlab >> t = (0:1/255:1); >> x = sin(2*pi*10*t)+sin(2*pi*5*t); >> y=fft(x); >> yc=dct(x); >> subplot(3,1,1);plot (x); title('sin(2*pi*10*t)+sin(2*pi*5*t)'); >> subplot(3,1,2);plot (abs(y)); title('transformada de Fourier (modulo)'); >> subplot(3,1,3);plot (abs(yc)); title('transformada coseno (modulo)'); >> Estas frecuencias son alias

15 Porqué DCT y no FFT? Separa la imagen como suma de cosenos. Hace una mejor aproximación con menos coeficientes. Menor sensibilidad a la quantización. Para mas información: Nota: La definición de la fft de la página es distinta a la usada en Matlab -15-

16 Transformada de una Imagen Transformada Coseno de una línea en la dirección horizontal. Usando el Matlab >> ce=imread('cecilia-r.jpg'); %lee la imagen >> cebn=rgb2gray(ce); % convierte an escala de grises >> lin=cebn(190,:); % toma la linea 190 (aprox la mitad) >> subplot(3,1,1);imshow(cebn);title('cecilia'); >> subplot(3,1,2);stem(lin);title('linea 190'); >> subplot(3,1,3);plot(log10(abs(dct(lin)))); title('dct linea 190'); -16-

17 DCT en 2D de una imagen La imagen está en color por una limitación del Matlab, la transformada se hizo sobre la imagen en escala de grises. Medio: resultado de la transformación Abajo: representación habitual en falso color de la DCT 2D. Usando el Matlab >> dctcebn=dct2(cebn); % transformada coseno en 2D; >> subplot(3,1,1);imshow(ce);title('cecilia'); >> subplot(3,1,2);mesh(log10(abs(dctcebn))); >> title('transformada Coseno 2D'); colormap(jet);colorbar; >> subplot(3,1,3);imshow(log10(abs(dctcebn))); >> title('dct 2D vista como imagen'); colormap(jet);colorbar; -17-

18 JPEG Paso 1) Preparación de bloques (suponiendo 640x480); Se separan los canales de luminancia y crominancia (canales Y, I, Q). Se sub-muestrea la crominancia a la mitad (320x250 en el ejemplo) Se agrupan en bloques e 8x8-18-

19 Canales Y, I y Q Según el standard de TV NTSC Y = R G B I = R G B Q = R G B Mas información

20 JPEG Paso 2) DCT de cada bloque. Paso 3) Cuantización (ver ejemplo para un bloque de 8x8) Se divide cada coeficiente de la DCT por el de una tabla. Se usa división entera. Los coeficientes crecen a medida que se alejan del origen. La tabla determina el grado de pérdida usado (no forma parte del Standard). En este caso se pierden altas frecuencias espaciales. -20-

21 JPEG Paso 4) Se toman las diferencias al bloque anterior. Paso 5) Se arma una secuencia linear (ver figura) y se la codifica RLE. Paso 6) Los coeficientes así obtenidos se codifican según un código Huffmann (long variable) -21-

22 MPEG-2 Define tres tipos de frame: I (Intracoded) un frame comprimido según JPEG P (Predictivos) se transmiten las diferencias entre este frame y el I anterior B (Bidireccionales) se transmiten las diferencias entre este, el I o P anterior y el I o P siguiente. -22-

23 MPEG-2 GOP 12,3 (Group of pictures) N=12 (cant de frames en el GOP) M=3 Distancia I-P Debe transmitirse I3 B1 B2 P6 B4 B5 P9 B7 B8 P12 B10 B11 Para reproducir B1 B2 I3 B4 B5 P6 B7 B8 P9 B10 B11 P12 Predicción de movimiento para codificar los frames I y P. Para mas información visitar

24 MPEG-4 Part 2. Compresión de video esencialmente similar a MPEG-2 con soporte de frames B y predictores de movimiento. Part 10 (H264). Inter-picture prediction (hasta 32 reference pictures ) Variable block-size motion compensation (VBSMC). Precisión de ¼ de pixel. Predicción con pesos para efectos especiales (v. g. fade). Transformación DCT modificada y pesos adaptados para menores pérdidas. Transformaciones alternativas a DCT. Compresión por entropía (en vez de Huffmann). Numerado de frames para creación de subsecuencias. Blending. Una comparación en: Tutoriales en

25 Influencia sobre el S. O. Se deben respetar la velocidad y las restricciones de tiempo del medio continuo. (QOS Quality of Service). Procesamiento (Velocidad de CPU). Planificación. Formato de Archivos. Características de la red. -25-

26 Tipos de QOS Mejor Esfuerzo. Soft Real Time. Se hace lo posible. Se admite perder algunos vencimientos (deadlines). Hard Real Time. Garantiza cumplir con los vencimientos. -26-

27 Que queremos de la MM? Multimedia Information System. Tratamiento de los datos continuos como textuales. Controles de VCR. Edición de medios continuos. -27-

28 Planificación Asignar intervalos fijos (Clock schedule). No admiten mas tareas que las programadas. Deben planificarse a priori Rate Monotonic (RM). Prioridades fijas según su período. Preemptive. Earliest Deadline First (EDF). Prioridades variables Preemptive Óptimo (si puede ser planificado por algún otro algoritmo, EDF también lo planifica. -28-

29 Control de Admisión Cuando admitir otra tarea de Tiempo Real? Características conocidas: Ci= tiempo de cálculo de la tarea i. Ti= Período de la tarea i. Clock Schedule Hacer las cuentas con los intervalos libres. RM EDF Ci/Ti 0.67 Ci/Ti 1 (admite plena ocupación de la CPU) -29-

30 Formato de Archivos Bloques de disco chicos(a) o grandes(b) respecto al frame -30-

31 Qué hay en un DVD? AUDIO_TS: (AUDIO Title Set) forma parte de DVD-Audio. No se usa VIDEO_TS: (VIDEO Title Set) contiene los Video Title Sets (VTS) del DVD. Cada VTS tiene: VOB (Video OBject) Un container con Video, Audio, Menú y Subtítulos multiplexados. IFO (InFOrmation) Punteros a escenas y capítulos. Relaciones de aspecto y cámaras alternativas BUP (BackUP) de los anteriores

32 Fractales Son estructuras geométricas auto-similares en distintas escalas. Se las propuso como una forma de comprimir imágenes. Hubo mucha investigación, patentes y hard en los 90. Ejemplo online: (difícil de usar, busca similitudes en la imagen). Un informe online: Se obtuvieron mejores resultados con Wavelets. -32-

33 Wavelets Una transformación como Fourier o DCT. Es útil para lograr distintas resoluciones. Adoptada en JPEG 2000, ECW (Aerofotografía) y MrSID (GIS). -33-

34 La Red - IntServ Integrated Services: Arquitectura que especifica que elementos usar para garantizar la calidad de Servicios en la red (QOS). Es de grano fino, al contrario de DiffServ. Cada router debe implementar IntServ: Flow Specs Describen el tráfico RSVP (ReSerVation Protocol) el mecanismo. -34-