Tema 3: Audio y vídeo

Transcripción

1 Tema 3: Audio y vídeo Formatos de codificación de audio y vídeo Depto. Ciencia de la Computación e IA

2 Puntos a tratar Formas de transmisión Formatos soportados Podcasts 2

3 Audio y vídeo en dispositivos móviles Hay distintas formas de hacer llegar estos medios al móvil Streaming Emisión de vídeo en directo Descarga progresiva Podemos reproducir el vídeo mientras se descarga Podcast El dispositivo se sincroniza con nuestras suscripciones Integrado en aplicaciones El contenido se distribuye dentro de una aplicación 3

4 TV móvil Estándar DVB-H en Europa Basado en DVB-T Extensiones para móviles Time-slicing (permite ahorrar batería) Dispositivos en movimiento Comparte frecuencias con DVB-T VHF III UHF IV/V Pueden compartir un mismo multiplex 4

5 TV en Internet Uso de streaming para retransmitir contenidos Los dispositivos cuentan con acceso a Internet de banda ancha Aplicaciones para diferentes plataformas 5

6 Plataforma YouTube 6

7 Formatos de audio con compresión (ios) Contamos con hardware de descompresión AAC (MPEG-4 Advanced Audio Coding) ALAC (Apple Lossless) HE-AAC (MPEG-4 High Efficiency AAC, no software) MP3 (MPEG-1 audio layer 3) El hardware sólo puede reproducir un fichero simultáneo Un segundo fichero se reproduciría por software Esto resulta demasiado costoso Útil para reproductores de música 7

8 Formatos de audio sin compresión (ios) Sin compresión o con compresión simple No es necesario hardware específico Se pueden reproducir por software con escaso coste Formatos soportados: Linear PCM (sin compresión) IMA4 (IMA/ADPCM) ilbc (internet Low Bitrate Codec) µ-law y a-law Permiten reproducir varios sonidos simultáneos con escaso coste Útil para efectos de sonido 8

9 Formatos de fichero (ios) Podemos reproducir ficheros de audio de diferentes tipos.wav.mp3.aac.aiff.caf El formato preferido es CAFF (Core Audio File Format) Puede contener cualquiera de las codificaciones anteriores 9

10 Formatos preferidos (ios) PCM Little-Endian Integer 16-bit (LEI16) Empaquetado en un fichero CAFF Si hay problema de espacio AAC para música de fondo IMA4 para efectos de sonido Herramientas afconvert, afinfo, afplay afconvert - d [out data format] - f [out file format] [in file] [out file] Por ejemplo, para PCM LEI16 en CAFF: afconvert - f caff - d LEI16 sonido.wav sonido.caf 10

11 Formatos de audio soportados (Android) AAC, HE-AACv1, HE-AACv2 AMR-NB, AMR-WB 3gp 3gp, mp4, m4a, aac (3.1+), ts (3.0+) Vorbis PCM ogg, mkv (4.0+) wav FLAC (3.1+) MP3 MIDI 11

12 Estándares de vídeo Conjunto de especificaciones MPEG-4 Parte 2 (Visual, implementado en DivX, Xvid), compatible con H.263 Parte 10 (MPEG-4 AVC, Advance Video Coding), igual que H.264 Parte 14 (Formato de fichero.mp4) ITU-T serie H (Sistemas audiovisuales y multimedia) H.263 (bajo bitrate para videoconferencia) H.264 (alta calidad con menor bitrate) On2Technologies (Google) VP8 (formato de codificación abierto) Licencia Creative Commons libvpx codifica en este formato (licencia BSD) Formato.webm (Video VP8 + Audio Vorbis) 12

13 Formatos de vídeo (ios) Soporta ficheros mov, mp4, m4v y 3gp Formatos de codificación soportados H.264, hasta 1.5 Mbps, 640 x 480, 30 fps, versión de baja complejidad del H.264 Baseline Profile (no es estándar). Audio AAC- LC de hasta 160 Kbps, 48 khz, stereo H.264, hasta 768 Kbps, 320 x 240, 30 fps, Baseline Profile hasta nivel 1.3. Audio AAC-LC de hasta 160 Kbps, 48 khz, stereo MPEG-4, hasta 2.5 Mbps, 640 x 480, 30 frames per second, Simple Profile. Audio AAC-LC de hasta 160 Kbps, 48 khz, stereo 13

14 Formatos de vídeo avanzados (ios) Los dispositivos modernos soportan mayores resoluciones iphone hasta 3GS: 480x320 iphone 4/4S: 960x640 iphone 5/5S: 1136x640 ipad / ipad mini: 1024x768 ipad retina / ipad mini retina: 2048x1536 Apple TV: 1920x1080 A partir de iphone 4/iPad se admiten nuevos formatos H.264 hasta 720p, 30 fps, Main Profile nivel 3.1. Audio AAC-LC de hasta 160 Kbps, 48kHz, stereo (.m4v,.mp4, y.mov) A partir de iphone 5 H.264 hasta 1080p, 30 fps, High Profile nivel 4.1. Audio AAC-LC de hasta 160 Kbps, 48kHz, stereo (.m4v,.mp4, y.mov) 14

15 Formatos de vídeo (Android) H.263 3pg, mp4 H.264 / MPEG 4-AVC Baseline Profile 3gp, mp4, ts (3.0+) MPEG-4 SP (Simple Profile) 3gp VP8 (Android ) webm, mkv (4.0+) 15

16 Perfil de vídeo general La codificación H.264 es soportada por la mayoría de dispositivos Para asegurarnos de que funcione en la mayor parte de smartphones podemos usar: H.264 Baseline Profile Resolución 480 x 320 Framerate máximo de 30 fps Bitrate máximo de vídeo 1500 kbps Audio AAC Sample rate de audio khz Bitrate máximo de audio 128 kbps Funcionará en todos los dispositivos ios y Android 16

17 Perfil de vídeo de alta calidad El perfil anterior desaprovecha las características de dispositivos como iphone 4 y ipad Podemos crear otro perfil para aprovechar estos dispositivos: Vídeo H.264 Baseline Profile Resolución 1280 x 720 Framerate máximo de 30 fps Bitrate máximo de vídeo 5000 kbps Audio AAC Sample rate de audio khz Bitrate máximo de audio 160 kbps 17

18 Perfil de vídeo para dispositivos limitados Si queremos extender el soporte a dispositivos antiguos, deberemos ofrecer también un perfil de vídeo de menor complejidad que los anteriores: Fichero 3GP, codificación MPEG-4 (Parte 2) Resolución 176x x240 Framerate máximo de 5-15 fps Bitrate máximo de vídeo kpbs Audio AAC-LC (Low Complexity) Sample rate de audio khz Bitrate máximo de audio kpbs 18

19 Conversión de video con VLC Podemos utilizar VLC para convertir vídeo vlc - I dummy /<ruta_origen>/video.mpg :sout='#transcode{vcodec=mp2v, vb=4096,acodec=mp2a,ab=192,scale=1,channels=2,deinterlace,audio- sync}:std{access=file,mux=ps,dst=/<ruta_destino>/video.mpg' vlc:// quit Codecs vb Vídeo bitrate ab Audio bitrate vcodec mp1v mp2v mp4v Codec vídeo MPEG-1 MPEG-2 MPEG-4 H263 H.263 h264 H.264 theo VP8 Theora VP8 Video acodec mpga mp3 mp4a vorb Codec audio MPEG audio MPEG Layer 3 MP4 Audio Vorbis mux mpeg1 ts ps mp4 avi ogg dummy wav Tipo fichero MPEG-1 MPEG TS MPEG PS MPEG-4 AVI OGG MP3 WAVE 19

20 Conversión de video con ffmpeg Conversión básica ffmpeg - i entrada.ext salida.ext Permite ajustar Formato de fichero Resolución Fotogramas por segundo Codec de video Codec de audio Bitrate de video Bitrate de audio - f avi - s 640x480 - r 24 - c:v / - vcodec h264 - c:a / - acodec aac - b:v 1500k - b:a 128k Frecuencia de audio - ar Canales de audio - ac 2 Perfil - profile:v baseline Ver ffmpeg - formats Ver ffmpeg - codecs 20

21 Ejemplo de conversión con ffmpeg Conversión a un perfil standard para dispositivos móviles ffmpeg - i entrada.m2ts - strict vcodec h264 - s 480x320 - b:v 1500k - profile:v baseline - level acodec aac - ar b:a 128k - ac 2 salida.mp4 Necesario para utilizar codec experimental aac Video Audio El formato de salida queda implícito en la extensión 21

22 Perfiles y compatibilidad Perfil Dispositivos Configuración Baseline 3.0 Todos los dispositivos - profile:v baseline - level 3.0 Baseline 3.1 iphone 3G - profile:v baseline - level 3.1 Main 3.1 ipad, iphone 4 - profile:v main - level 3.1 Main 4.0 ipad 2, iphone 4S - profile:v main - level 4.0 High 4.0 ipad 2, iphone 4S - profile:v high - level 4.0 High 4.1 ipad 2, iphone 4S - profile:v high - level

23 Reproducción de medios en Android Se utiliza la clase MediaPlayer Permite reproducir medios desde diferentes fuentes Dos formas de inicialización Método create // Recurso de la aplicación MediaPlayer resourceplayer = MediaPlayer.create(appContext, R.raw.my_audio); // Fichero local (en la tarjeta de memoria) MediaPlayer fileplayer = MediaPlayer.create(appContext, Uri.parse("file:///sdcard/localfile.mp3")); // URL MediaPlayer urlplayer = MediaPlayer.create(appContext, Uri.parse(" // Proveedor de contenido MediaPlayer contentplayer = MediaPlayer.create(appContext, Settings.System.DEFAULT_RINGTONE_URI); Método setdatasource MediaPlayer mediaplayer = new MediaPlayer(); mediaplayer.setdatasource("/sdcard/test.mp3"); mediaplayer.prepare(); 23

24 Especialista Universitario en Desarrollo de Aplicaciones para Dispositivos Móviles Estados del reproductor en Android Reproducir audio con MediaPlayer Gráficos y multimedia SMDM Depto. Ciencia de la Computación e IA IA Reproducción Audio Android y vídeo- 4 24

25 Control de reproducción de audio Otros métodos Control de repetición Activación de pantalla Volumen if (!mediaplayer.islooping()) mediaplayer.setlooping(true); mediaplayer.setscreenonwhileplaying(true); Duración mediaplayer.setvolume(1f, 0.5f); mediaplayer.start(); int pos = mediaplayer.getcurrentposition(); int duration = mediaplayer.getduration(); mediaplayer.seekto(pos + (duration- pos)/10); 25

26 Reproducción de video con VideoView Similar a la reproducción de audio, excepto Se necesita una superficie sobre la que reproducir <VideoView android:id="@+id/superficie" android:layout_height="fill_parent" android:layout_width="fill_parent"> </VideoView> Vista VideoView encapsula Superficie sobre la que reproducir Objeto MediaPlayer videoview1.setvideouri(uri.parse(" videoview2.setvideopath("/sdcard/test2.3gp"); videoview3.setvideouri(uri.parse("android.resource://es.ua.dccia/" + R.raw.video_qtp)); 26

27 Control de reproducción setkeepscreenon start stopplayback pause seekto VideoView videoview = (VideoView)findViewById(R.id.superficie); videoview.setkeepscreenon(true); videoview.setvideopath("/sdcard/ejemplo.3gp"); if (videoview.canseekforward()) videoview.seekto(videoview.getduration()/2); videoview.start(); // Hacer algo durante la reproducción videoview.stopplayback(); 27

28 Preguntas...? 28