Multimedia Streaming. Memoria del proyecto Streaming Multimedia (video&audio) Departamento de desarrollo de software. Lexon S.A.

Transcripción

1 Multimedia Streaming Memoria del proyecto Streaming Multimedia (video&audio). Lexon S.A.

2 Memoria del proyecto de Streaming de video Introducción Mediante este proyecto se pretende desarrollar un sistema de transmisión de video y de audio, sincronizado, para ser monitorizado remotamente. Conceptualmente podemos representar el sistema mediante el siguiente esquema de bloques. streaming de video y audio TV TV Emisora de televisión TV donde podemos ver una emisora y varios receptores. Esta emisora puede ser de una señal de RF proveniente de un canal de televisión o simplemente la señal de vídeo de una cámara. Nuestro sistema deberá manejar tanto las estaciones emisoras como las receptoras. A las estaciones emisoras las vamos a llamar servidores de vídeo (o servidor de streaming de vídeo) y a las receptoras clientes de vídeo (o clientes del streaming de vídeo). El sistema estará basado en ordenadores tipo PC y el medio de transmisión será una red ethernet. En una segunda aproximación podemos esquematizar el sistema mediante el siguiente dibujo. Servidor de vídeo ETHERNET Cliente de video Cliente de video Cliente de video El servidor de video será el encargado de capturar la señal de video y de audio, consistirá en un equipo tipo PC con tarjetas de adquisición de video y de audio para la conversión a digital. Una vez los datos son digitalizados el sistema es capaz de enviar 2

3 los datos, a través de una red de área local, a cualquier otro PC (cliente de vídeo), para el que no es necesario que disponga de ninguna tarjeta especifica. Objetivos Los objetivos son los ya mencionados, mínimos indispensables, o sea: existe un equipo que llamamos servidor de video. Sus tareas consisten en: Adquisición de video y de audio para su digitalización. Una vez digitalizados los datos se comprimen de forma que cada emisora de streaming use el mínimo ancho de banda de la red. Además de transferir audio y video queremos también enviar texto, como un teletexto remoto, para visualizar en el cliente. Este texto se ha dispuesto que se encuentre en un fichero de texto. El ordenador servidor debe de manejar varias estaciones de streaming paralelamente. Deberá por lo tanto disponer de un sistema para configurar cada emisora con parámetros como canal de audio, canal de video, puerto TCP. Configuración del nombre de la emisora. El sistema debe ser flexible respecto a la resolución de la imagen digitalizada. De esta forma el usuario podrá enviar, siempre que así sea requerido, imágenes de resolución alta o en caso contrario de baja resolución. Escalabilidad del sistema, pudiendo instalar varias emisoras en un solo ordenador, y también dando la posibilidad de instalar varios servidores de streaming en una red de área local. Aparte de los objetivos del sistema servidor debemos cumplir los complementarios del sistema receptor o cliente de streaming de video. Los objetivos que deberá cumplir son: Posibilidad de seleccionar de entre todos las emisoras disponibles en la red de área local. Posibilidad de monitorizar varias estaciones emisoras simultáneamente. Una vez seleccionada la emisora el sistema debe descomprimir el video y el audio correctamente y convertir estos de forma correcta. Además se tendremos que representar el texto asociado en una ventana, donde podremos configurar el tamaño y color de cada elemento de esta. El usuario debe de tener la posibilidad de almacenar localmente secuencias de video (con sus audios resprectivos) de las emisoras para un visionado posterior. Implementación La principal faceta de la implementación radica en la elección de un sistema de adquisición de video y audio flexible. Dado que vamos a usar Windows la mejor opción de cara a la flexibilidad es el uso de la tecnología Direct X. Mediante ésta podemos dotar al equipo servidor de video de fuentes de video tales como: entradas de video SVHS/PAL/NTSC, tarjetas sintonizadoras de RF, tarjetas sintonizadoras de satélite, cámaras de video USB, cámaras fotográficas USB, scanners, etc. Como ya se ha dicho la única norma que deben cumplir es la compatibilidad con el estándar de captura Direct X. Para la captura de audio se debe utilizar un sistema análogo al video. 3

4 Cualquier tarjeta que sea compatible con Direct X, como puede ser, una Sound Blaster, Terratec, Digigram, etc. Además tanto en el caso de audio y en el de video existen multitud de tarjetas cada una con distinto número de entradas y salidas, parámetros de configuración como brillo, contraste, color, volumen y más. Esquema de un sistema de adquisición, compresión y transmisión de vídeo. Tarjeta de adquisición de video Emisora de streaming Audio A V MODULO DE CAPTURA DIRECT X mon Video Tarjeta de adquisición de audio COMPRESIÓN Y SINCRONIZACIÓN MONITORIZACIÓN LOCAL VIDEO Y VU-METERS PAQUETIZACIÓN HTTP http TARJETA DE RED En la figura podemos ver los módulos que componen una emisora de streaming de vídeo. Cada ordenador servidor puede disponer de tantas emisoras como sea necesario siempre y cuando el hardware del sistema sea suficiente para implementar este número de emisoras. Dado que una tarjeta de captura de audio o video puede disponer de varios canales y sólo necesitamos uno de estos canales para hacer el streaming de vídeo no podemos incluir las tarjetas dentro del bloque Emisora de streaming. Teniendo en cuenta el esquema anterior podemos representar un equipo, servidor, que disponga de la siguiente configuración: 4

5 MONITORIZACIÓN LOCAL VIDEO Y VU-METERS Receptor de satelite MON Receptor de satelite para bus PCI Cámara de video USB con micrófono A V EMISORA MON DE ASTREAMING EMISORA MON HTTP DE STREAMING V A EMISORA MON HTTP DE STREAMING V A HTTP EMISORA DE V STREAMING HTTP HTTP DATA TARJETA DE ETHERNET Audio Video Tarjeta capturadora de video y audio ESTACIÓN SERVIDOR DE VIDEO, que dispone de 4 emisoras de streaming de video y audio. El sistema permite monitorizar localmente la señal de video que tiene cada emisora así como el vu-meter de cada señal de audio. Para la configuración y funcionamiento del streaming de video se ha dispuesto una aplicación que llamaremos Servidor de Streaming de vídeo. La pantalla principal tiene una apariencia como la siguiente. 5

6 Esta es la pantalla principal del Streaming. En ella podemos ver 2 emisoras de streaming (junto con el video en tiempo real, que está saliendo en esa emisora), el panel de control con la lista de emisoras y su configuración, una lista con las tarjetas de audio instaladas en el sistema y una lista con las tarjetas de video instaladas en el sistema. Panel de control de emisoras Esta es la ventana principal. Mediante ella podemos añadir, eliminar y configurar las emisoras. Tiene una apariencia como la siguiente. En esta ventana, por ejemplo, podemos ver que hay 2 emisoras configuradas. La primera recibe el nombre de Emisora del video. El canal de video que tiene asignado es o100vc.dll Osprey Capture Card 1. El puerto por el que hace streaming es el Evidentemente cada emisora debe usar un puerto distinto. Respecto a la configuración de apariencia de video tenemos 2 parámetros. El tamaño de la imagen y el número de frames. El tamaño de la imagen puede ser cualquiera de la lista siguiente: Tamaño Bitate Kbits/s Kbits/s Kbits/s Además haciendo doble clic sobre examinar podemos asociar un fichero de teletexto a la emisora. Este fichero tiene diversos tipos de línea. Cada línea comienza por un identificador de línea luego le sigue el carácter # y a continuación los parámetros de la línea. Existe 4 identificadores de línea: Html: indica al cliente del streaming que abra la página Web indicada por el parámetro. Bmp: indica al cliente de streaming que muestre un bmp cuyo nombre es el parámetro siguiente, y se encuentra en el catálogo del cliente. Cat: indica al cliente que reproduzca el video que se encuentra en el catálogo cuyo nombre se indica en el primer parámetro. Txt: indica al cliente que muestre la línea cuyo texto se encuentra en el primer parámetro. 6

7 Un ejemplo de un fichero de teletexto sería el siguiente: Txt#Monitores de plasma Selti última generación. Html# Bmp#MDP42 Txt#Recinto acústico Quested Html# Bmp#H108 Cat#videolexon.avi Html# El proceso de streaming de teletexto envía estas líneas al cliente. Éste ejecuta las ordenes secuencialmente, según el orden de llegada. Una vez que el servidor ha leído todo el fichero, la secuencia se repite. En el panel de control de emisoras, podemos ver que hay una segunda emisora configurada. Esta recibe el nombre de Emisora del laser disc y tiene una configuración similar a la emisora anterior. Ventana de la Emisora de Streaming de vídeo Esta es la ventana de la emisora de streaming. En ella se nos muestra la configuración de la emisora, así como los sucesos dinámicos que acontecen. Podemos ver el video en tiempo real, monitorizar el audio mediante los vu-meters y ver el texto que envía el canal de teletexto. El único parámetro que podemos modificar desde esta ventana es aumentar o disminuir la amplificación que aplicamos al audio que enviamos por streaming. Además de ver los parámetros de la emisora podemos ver el nombre en el título de la ventana. Cada ventana emisora de video dispone de un botón de START y otro de STOP para arrancar y parar las emisiones respectivamente. Por otro lado existe el sistema cliente que será complementario al servidor. Este sistema tendrá un núcleo central de descompresión y desmultiplexación de los datos de audio y video. Una vez tengamos los datos digitales de cada canal, se volverán a convertir en analógico para ser monitorizados por el usuario remotamente. 7

8 Ventana de Fuentes de audio En esta ventana se muestran todas los canales de audio que pueden ser usados como fuente de audio para una emisora de streaming. En la lista de fuentes de audio sólo hay los canales que sean compatibles con la tecnología Direct X. Si una tarjeta / canal no aparece en esta lista sólo puede ser por dos motivos: la instalación no es correcta, o el driver de la tarjeta no es compatible con Direct X. Para añadir canales de audio a una emisora de streaming basta con seleccionarlo y arrastrarlo sobre la emisora, en el panel de control. Un canal puede estar asignado a más de una emisora siempre y cuando ambas emisoras no estén en marcha simultáneamente. Para configurar el canal de audio también podemos hacer doble clic sobre el canal en la lista de audio o sobre el canal audio en el panel de control. Esta configuración se realiza a través de un diálogo Standard de Direct X que tiene una apariencia como esta. En ella podemos configurar todos los parámetros típicos de una canal de audio. Ventana de Fuentes de video En esta ventana se muestran todas los canales de video que pueden ser usados como fuente de video en una emisora de streaming. En la lista de fuentes de video sólo hay los canales que sean compatibles con la tecnología Direct X. Si una tarjeta / canal no aparece en esta lista sólo puede ser por dos motivos: la instalación no es correcta, o el driver de la tarjeta no es compatible con Direct X. Para añadir canales de video a una emisora de streaming basta con seleccionarlo y arrastrarlo sobre la emisora, en el panel de control. Un canal de video puede ser asignado a más de una emisora siempre y cuando ambas emisoras no estén en marcha simultáneamente. Para configurar el canal de video también podemos hacer doble clic sobre el canal en la lista de video o sobre el canal video en el panel de control. 8

9 video. Esta configuración se realiza a través de un diálogo propio de cada driver de En ella podemos configurar todos los parámetros típicos de una canal de video. Por otro lado nuestro sistema de streaming consta de la aplicación cliente. A esta aplicación la hemos llamado Video Streaming Client. Esta aplicación, como ya se ha dicho, permite conectarse a cualquier emisora de streaming que exista en nuestra red y monitorizar los canales. Por lo tanto dispone de una ventana donde ver la señal de video de la emisora, otra donde ver el teletexto y además monitoriza el audio por una tarjeta compatible con Direct X. La pantalla principal es la siguiente. 9

10 En ella podemos ver que hay sintonizadas dos emisoras de streaming de video, una ventana que nos muestra la lista de emisoras en la red de área local (algo así como un dial), otra ventana que es un Grabador de videos, para almacenar localmente la emisión de una emisora y un catálogo con la lista de secuencias que hemos grabado o que hemos incorporado externamente a nuestra colección de videos. 10

11 En la ventana anterior podemos ver como se puede minimizar el fondo de la aplicación y monitorizar las emisoras que tenemos sintonizadas, escuchando sólo de la emisora seleccionada. Esto nos permite trabajar y acceder al escritorio a la vez que estamos visionando emisoras de streaming. Ventana de la lista de servidores de streaming. Mediante esta ventana podemos visionar la lista de emisoras disponibles en la red. Recordemos que un ordenador servidor puede implementar varias emisoras con lo que en esta ventana veremos varias emisoras que pueden estar en un solo ordenador servidor o en varios de estos. La ventana tiene un aspecto como el siguiente, donde podemos ver que en este momento hay 2 emisoras en la red. Haciendo doble clic sobre el nombre de una de estas emisoras pasamos a la monitorización de esta. 11

12 Ventana de monitorización de una emisora Una vez que hemos hecho doble clic sobre la emisora que queremos monitorizar nos aparece una ventana sobre la que se carga la emisión seleccionada. Esta ventana se puede de tamaño para hacer ampliar o reducir la imagen. Además esta ventana está siempre visible, de forma que el usuario puede trabajar con otras aplicaciones mientras monitoriza la emisora. La ventana tiene un aspecto como el siguiente. Con el botón derecho del mouse sobre el título de la ventana nos muestra un menú donde podemos seleccionar el audio de está emisora, lo cual es muy útil cuando tenemos sintonizadas varias emisoras. Además nos permite seleccionar el teletexto de la emisora. Ventana de teletexto En esta ventana nos aparecen las líneas del fichero de teletexto de la emisora que tienen el identificador de línea txt. Una ventana donde monitorizamos una emisora de streaming y tenemos seleccinado el teletexto y además la emisora nos esta enviando líneas de teletexto donde además hay comandos de abrir html tiene una apariencia como esta. 12

13 Aquí podemos ver como la hay una emisora haciendo streaming de una cámara de video que hay en el taller de Lexon. Esta emisora está enviando un teletexto que aparece en la ventana de teletexto y nos enseña un texto rotativo Monitor de plasma Selti MPD Además desde el servidor se envía el comando de abrir la página web El tamaño, la posición y el color del texto es configurable por el usuario. Como ya se comento en el apartado anterior, el servidor nos puede enviar ordenes para abrir una página web (como es el caso), reproducir un video grabado anteriormente, o mostrar una imagen. Grabadora de videos Mediante esta ventana podemos grabar una emisora de video en el disco duro local del usuario. La ventana tiene una apariencia como la siguiente. Esta ventana se usa de forma similar a como se usaría una video domestico. En este caso además disponemos de un sistema análogo para seleccionar de todos los canales que estamos visualizando, cual de ellos es el que queremos grabar en el momento que el usuario pulse el botón de REC. Para seleccionar el canal que queremos grabar lo hacemos con el botón derecho del mouse sobre el botón de REC. Una vez hecho esto nos aparece una lista compuesta por el nombre de todas las emisoras que tenemos sintonizadas. Por ejemplo, 13

14 ,aquí podemos ver como hay 4 emisoras en la red de área local. De ellas dos las estamos monitorizando, y de estas dos hemos seleccionado cámara philips. Ahora cuando usemos el grabador de video, la señal de video y de audio que grabará será la existente en la emisora cámara philips. Cuando grabemos un video y lo guardemos este irá a parar a la carpeta a la cual apunta el catálogo. El video también es necesario tenerlo abierto cuando queremos reproducir videos del catálogo. 14

15 Ventana del Catálogo Mediante esta ventana, podemos administrar el catálogo de cada cliente de streaming de video. Este catálogo permite las operaciones clásicas de edición de ficheros, como son eliminar, renombrar, ver las propiedades... Esta ventana permiten también seleccionar el directorio donde se encuentra el catálogo del cliente de streaming. Para cambiar el directorio podemos pulsar F3, lo que nos mostrará una ventana como esta, 15

16 También podemos ver las propiedades del archivo. Respecto a esto cabe decir que Windows 2000 / Windows XP administran las propiedades sobre los archivos multimedia que hay en el disco duro. Esto quiere decir que a parte de las propiedades clásicas de los archivos, como por ejemplo el tamaño, la fecha, etc, permite la creación de nuevas propiedades dinámicamente. Por ejemplo podríamos crear una propiedad que fuera autor, entonces en cualquier fichero del catálogo de tipo multimedia veríamos una propiedad con nombre autor. Windows permite además al usuario modificar el valor de estas propiedades. La ventana de propiedades de un archivo del catalogo es como esta: 16

17 Prestaciones del sistema Respecto al sistema de streaming las prestaciones más importantes radican en cuantas emisoras podemos enviar desde un solo ordenador y cuantas podemos monitorizar desde otro ordenador de tipo cliente. Por parte del servidor el número de emisoras del cual podemos hacer streaming en una sola máquina varia en función de la resolución. Esta es un factor determinante ya que por ejemplo una resolución de es 4 veces más grande que otra de , lo que quiere decir que simplemente este cambio hace que el uso de CPU de multiplique, o divida, por 4. Empíricamente se han encontrado los siguientes resultados: Nº visores Resolución Uso de CPU Observaciones % Visionado correcto % Hay zonas de compresión negativa % Visionado correcto % Visionado correcto % Hay zonas de compresión negativa % Visionado correcto % Visionado correcto % Visionado correcto % Visionado correcto Nota recordemos la tabla de bitrate: Tamaño Bitate Kbits/s Kbits/s Kbits/s En esta tabla que se ha realizado en un ordenador Pentium IV con 512 MB de RAM y una velocidad de 1.7 GHz, podemos ver que cuando el uso de la CPU se acerca al 100% se dan lo que hemos llamado zonas de compresión negativa. Cuando el uso de CPU está cerca del 100% el algoritmo de compresión no tiene tiempo para comprimir toda la imagen. El resultado es que en el cliente vemos como sólo se ha procesado la compresión de una gamma de colores. A continuación podemos ver una imagen donde observamos este efecto. 17

18 Las zonas de color rosado son las de compresión negativa. Respecto al cliente del streaming de video se han llegado a probar hasta 16 canales sintonizados sin que apenas repercuta sobre la velocidad del ordenador. Esto es debido a que la compresión usada es más costosa que la descompresión. De hecho este tipo de compresión favorece la descompresión ya que hasta hace relativamente poco era imposible comprimir imágenes por software y solo se usaban los ordenadores como reproductores. Tamaños de imagen. Como ya se había dicho en el sistema podemos escoger entre 3 tamaños para hacer streaming. En función del tamaño de la imagen el uso de CPU en el servidor será mayor o menor. A continuación se muestran los tamaños de imagen disponibles junto con una imagen a tamaño real. Resolución Uso CPU % 18

19 % 19

20 % En la prueba anterior se ha usado el mismo tipo de CPU. O sea un ordenador Pentium IV con 512MB de memoria RAM y 1,7GHz de velocidad de reloj. Por supuesto por parte del cliente de streaming el usuario puede dimensionar la ventana de monitorización al tamaño deseado, independientemente del tamaño de captura que use el servidor de streaming. Cabe decir que si el cliente estira la ventana para ver más grande la imagen del tamaño al cual se hace streaming, la imagen se ampliará con la consecuente distorsión de la señal de video. Por ejemplo haciendo un zoom de un 200% de la imagen anterior obtendríamos un resultar similar al siguiente. 20