Manual de utilización del Graphic Annotation Tool (GAT) para secuencias de vídeo

Documentos relacionados
TEMA 20 EXP. WINDOWS PROC. DE TEXTOS (1ª PARTE)

CONCEPTOS BASICOS. Febrero 2003 Página - 1/10

Ayuda para la instalación Componente Firma Digital INDICE. 1 Configuración previa Configuración Internet Explorer para ActiveX...

Proceso de cifrado. La fortaleza de los algoritmos es que son públicos, es decir, se conocen todas las transformaciones que se aplican al documento

Para ingresar a la aplicación Microsoft PowerPoint 97, los pasos que se deben seguir pueden ser los siguientes:

Lic. Saidys Jiménez Quiroz Tecnología e Informática Grado 7 CESCOJ 2011

Notas para la instalación de un lector de tarjetas inteligentes.

Descripción del programa. Características. Licencia

Nº de expediente: TSI Subprograma: Avanza Competitividad I+D+I

I.E. FRANCISCO ANTONIO DE ZELA MANUAL DE MOVIE MAKER

POWER POINT. Iniciar PowerPoint

HOOTSUITE: GESTOR DE CUENTAS EN REDES SOCIALES

Ministerio de Educación. Base de datos en la Enseñanza. Open Office. Módulo 5: Report Builder

Nuevo diseño de Google Apps Gmail, Calendar, Docs y Sites 28/11/11

1.- MENU DE CONTROL O MENU VENTANA: permite cerrar la ventana cambiarla de tamaño y pasar a otra ventana

CAPÍTULO 4. EL EXPLORADOR DE WINDOWS XP

Presentaciones. Con el estudio de esta Unidad pretendemos alcanzar los siguientes objetivos:

Microsoft Access proporciona dos métodos para crear una Base de datos.

1. La nueva interfaz del programa

SHARP TWAIN AR/DM. Guía del usuario

PUESTA EN MARCHA PROGRAMA GESTION DE OPTICAS. Junio

Servicio de Notificaciones Electrónicas y Dirección Electrónica Habilitada

Resumen de fotos editadas por alumnos/as del 3º ciclo de Educación Primaria. / 12

Manual del visor GeoEuskadi 2013 MANUAL DEL VISOR GEOEUSKADI

CONVERSOR LIBROS DE REGISTRO (IVA IGIC) Agencia Tributaria DEPARTAMENTO DE INFORMÁTICA TRIBUTARIA

Manual de Usuario del

Traslado de Copias y Presentación de Escritos. Manual de Usuario V.3.1

Plantilla de texto plano

Si es la primera vez que trabajas con Power Point, lo que debes hacer es localizar el botón de inicio. después haz doble clic sobre el icono

Tutorial de Introducción a la Informática Tema 0 Windows. Windows. 1. Objetivos

La pestaña Inicio contiene las operaciones más comunes sobre copiar, cortar y pegar, además de las operaciones de Fuente, Párrafo, Estilo y Edición.

Manual de Gunaguaro Instalación y Uso

Módulo 1 Sistema Windows. Explorador de Windows

ESCUELA SUPERIOR DE INFORMATICA Prácticas de Estadística UNA SESIÓN EN SPSS

MICROSOFT FRONTPAGE Contenido

Person IP CRM Manual MOBILE

REGISTRAR LOS SITIOS WEB MÁS INTERESANTES

ORGANIZAR LA INFORMACIÓN: EL EXPLORADOR DE WINDOWS

INDICE. 1. Introducción El panel Entities view El panel grafico Barra de botones Botones de Behavior...

LX8_022 Requisitos técnicos de. instalación para el usuario

Apéndice 5 Manual de usuario de ColeXión. ColeXión 1.0. Manual de usuario

El Power Point es un programa que permite hacer presentaciones y es usado ampliamente en los ámbitos de negocios y educacionales.

10. El entorno de publicación web (Publiweb)

GENERACIÓN DE TRANSFERENCIAS

Manual hosting acens

WINDOWS. Iniciando Windows. El mouse

Tutorial de FrontPage

Introducción a Protégé

ACCESO AL SERVIDOR EXCHANGE MEDIANTE OWA

Manual de configuración de Adobe Reader para la validación de la firma de un documento.

Para ingresar a la aplicación Microsoft Word 97, los pasos que se deben seguir pueden ser los siguientes:

NORMA 34.14(SEPA) 05/11/2013

ELABORACIÓN DE TABLEROS DINÁMICOS DE COMUNICACIÓN CON EL PROGRAMA EDITOR TICO

Oasis es una fábrica para el bien común de los datos mediante la utilización de aplicaciones propuestas.

WINDOWS MOVIE MAKER. Área de Colecciones. Utilice le área de colecciones para organizar el contenido del audio, video imágenes que graba o importa.

STRATO LivePages Inicio rápido

Sistema de Gestión Portuaria Sistema de Gestión Portuaria Uso General del Sistema

Manual de usuario servidor de archivos para El Colegio de la Frontera Sur

Manual de Usuario Mail Hosting UNE

Guía rápida de CX-Programmer

PANEL DE CONTROL (Zona de Administración) MANUAL DE USO Por conexanet. Revisión 1.1 Fecha

1. CARACTERÍSTICAS DEL VÍDEO DIGITAL

Ayuda básica relativa al interfaz web

EUSKADI PRECIOS NDICE. 1 Definiciones: Base de Precios, Estructura, Precios paramétricos, Precios descompuestos, ámbitos

MANUAL DE AYUDA MÓDULOS 2011 MACOS

MANUAL DE LA APLICACIÓN DE ENVÍO DE SMS

2_trabajar con calc I

Apuntes de ACCESS. Apuntes de Access. Campos de Búsqueda:

Ejercicio 1 Monitorización de aplicaciones con el Administrador de tareas

Tutorial de carga de fotos en

Creando una webquests

MANUAL WINDOWS MOVIE MAKER. Concurso de Gipuzkoa

GUÍA BÁSICA USUARIO MOODLE 2.6

INSTALACIÓN DE LOS MÓDULOS DEL ERP AbanQ

MANUAL DE USUARIO PANEL DE CONTROL Sistema para Administración del Portal Web.

Fundamentos CAPÍTULO 1. Contenido

A continuación se describen cuáles son los elementos principales de las tablas, cómo crear una y cómo modificarla.

Oficina Online. Manual del administrador

CRM para ipad Manual para Usuario

Autor: Microsoft Licencia: Cita Fuente: Ayuda de Windows

Trabajar con diapositivas

Electrónica: Configuración en Mozilla Firefox

Teclados Virtuales. Marzo 2012.

Operación Microsoft Access 97

Creación y administración de grupos de dominio

Para crear una lista como la anterior, primero escribe la información, y después selecciona el texto y aplícale el formato de viñetas.

Como podemos observar, la pantalla esta dividida en dos partes bien diferenciada:

Manual de Instrucciones 12.0

Preparación de sesiones de aula: las Presentaciones PDI

1. Configuración del entorno de usuario

APUNTES DE WINDOWS. Windows y sus Elementos INSTITUTO DE CAPACITACIÓN PROFESIONAL. Elementos de Windows

MANUAL DEL USUARIO: EDITOR E-COMMERCE

Cómo configurar Microsoft Outlook

3_formato I. NOTA: al pegar unas celdas sobre otras no vacías, se borrará el contenido de estas últimas.

Así de fácil. Cortar, descargar y convertir vídeos o sonidos. Controles avanzados del reproductor multimedia VLC

MANUAL DE USUARIO ANTIVIRUS BANDA ANCHA

Servicio Webmail. La fibra no tiene competencia

FOROS. Manual de Usuario

Copyright Arsys Internet S.L. Guía de Ecommerce Inicio rápido

Picasa es una herramienta ofrecida gratuitamente por Google. Su función es organizar, arreglar, ajustar y aplicar efectos a sus imágenes digitales.

Transcripción:

Tecnologías para la Creación y Gestión Automatizada de Contenidos Audiovisuales Inteligentes Manual de utilización del Graphic para secuencias de vídeo i3media No. Identificación: C Nivel de Confidencialidad: confidencial, restringido a Consorcio i3media y CDTI Título del documento: Manual de utilización del Graphic para secuencias de vídeo Autor: Neus Camps i Khristina López Versión 1 Sumario: El presente documento presenta el manual necesario para comprender y utilizar todas las funcionalidades de la herramienta de segmentació semi-automática y anotación de objetos en una secuencia de vídeo desarrollada por el GPI de la UPC. Palabras clave:

Tabla de contenidos 1 INTRODUCCIÓN...3 2 INSTALACIÓN Y EJECUCIÓN DE GAT...6 2.1 HERRAMIENTAS DE PROCESADO DE LA IMAGEN Y VÍDEO...6 2.2 INSTALACIÓN DE JAVA...6 2.3 EJECUCIÓN DE GAT CON ANT...6 3 INTERFAZ DE USUARIO...8 3.1 BARRA DE MENÚS...8 3.1.1 Menú Archivo...8 3.1.2 Menú Ayuda...9 3.2 PANEL DE NAVEGACIÓN SEMÁNTICA...11 3.2.1 Árbol semántico...11 3.2.2 Campo de autocompletación de palabras...11 3.3 PERSPECTIVA ANOTADOR DE SECUENCIAS DE VÍDEO...12 3.3.1 Barra de herramientas principal...12 3.3.2 Panel de secuencia de imágenes...13 3.3.3 Panel de seleccion del objecto a seguir...14 3.3.4 Panel de segmentación interactiva...15 3.4 PERSPECTIVA EXPLORADOR DE INSTANCIAS...17 4 ANOTACIÓN...18 4.1 GENERACIÓN DE ONTOLOGÍAS MPEG-7/XML...18 4.1.1 Árbol de edición...19 4.1.2 Barra de herramientas...19 4.2 CICLO DE ANOTACIÓN...20 4.2.1 Técnicas de segmantació interactiva...23 4.2.1.1 Navegación por el BPT...23 4.2.1.2 Navegación avanzada por el BPT...25 4.3 VISUALIZACIÓN DE INSTANCIAS...26 4.4 ESCRITURA DE ANOTACIONES A DISCO...26

1 Introducción Este documento presenta el manual de usuario necesario para comprender y utilizar todas las funcionalidades de la herramienta de anotación manual (GAT, Graphic Annotation Tool) extendida a vídeo y desarrollada por el GPI de la UPC. La herramienta proporciona una interfaz gráfica que permite la segmentación semi-automática y la posterior anotación de objetos en movimiento de una secuencia de fotogramas consecutivos extraídos previamente de un vídeo. Figura 1: GAT extendido a video La aplicación necesita la secuencia de imágenes en cualquier formato estándar (JPG, PNG...) como datos de entrada. La anotación se realiza a partir de una lista pre-definida de palabras clave (ontología de clases semánticas). Las clases semánticas se asocian a los objetos en movimiento. Cada clase semántica se caracteriza por una etiqueta de texto y un identificador numérico. La versión actual permite la lectura de ontologías en formato MPEG-7/XML o OWL (Ontology Web Language). La interfaz también incluye un editor de ontologías en formato MPEG-7/XML. Para un determinado objeto que aparezca en la secuencia de imágenes, la anotación consiste en la creación de una instancia de clase semántica a escala video. Por ejemplo, si la ontología contiene la clase semántica camiseta y en las imágenes aparecen dos camisetas que son de interés, dichas camisetas se representarán como VideoInstance1 y VideoInstance2. Si un mismo objeto aparece en varias escenas, no se crea una instancia para cada escena donde aparezca. Una instancia a nivel de vídeo siempre hace referencia a un mismo objeto en movimiento dentro de un vídeo y representa un conjunto de fotogramas agrupados en escenas que pueden o no contener el objeto. Así, se distingue entre escenas positivas y escenas negativas. Las escenas positivas son un conjunto de fotogramas que contienen el objeto semántico, mientras que las negativas son un conjunto de fotogramas que no contienen el objeto. Al dividir la secuencia en escenas positivas y negativas distinguimos claramente cuantas veces aparece el objeto en dicha secuencia. Para cada fotograma de la secuencia se crea también una instancia de la misma clase semántica, pero a escala imagen. Para los fotogramas que contiene el objeto y que por lo tanto pertenecen a una escena positiva, se crean instancias positivas, mientras que para los que no

contienen el objeto se crean instancias negativas. La siguiente figura muestra un ejemplo para entender el concepto: Figura 2: Ejemplo de anotación En el ejemplo la secuencia tiene 5 imágenes. Se ha anotado dos veces el mismo concepto, obteniendo las instancias VideoInstance6 y VideoInstance12. Esto significa que en la secuencia aparecen dos camisetas distintas. La primera camiseta aparece en la primera y la última imagen, dividiendo la secuencia en tres escenas. VideoInstance6 esta representada por 5 instancias a nivel de imagen: Instance1 positiva; Instance2, Instance3 e Instance4 negativas; Instance3 positiva. La segunda camiseta aparece en las tres primeras imágenes, dividiendo la secuencia en dos escenas. VideoInstance12 esta representada por 5 instancias a nivel de imagen: Instance7, Instance8 e Instance9 positivas; Instance10 e Instance11 negativas. El archivo de salida de GAT corresponde a una sesión de anotación y también se expresa en formato MPEG-7/XML. Para cada imagen de la secuencia que contiene el objeto, se especifican los siguientes datos requeridos por la empresa contratante: Ruta de la imagen binaria que representa la máscara del objeto (objeto de color blanco). Ruta de la imagen binaria que representa el contorno del objeto (contorno de color blanco). Rectángulo que contiene el objeto. En concreto (coordenadas del vértice superior izquierdo y el vértice inferior derecho del rectángulo). Desde la interfaz gráfica, también es posible guardar la imagen binaria que representa la máscara del objeto. El GAT es una aplicación implementada en Java y su ejecución solo está condicionada a la instalación de Java en el sistema operativo, que podrá ser MacOSX, Microsoft Windows o GNU/Linux. En la presente entrega el paquete de distribución está preparado para ejecutar GAT sobre la plataforma Windows, tanto en versiones de 32 como 64 bits. Internamente GAT utiliza dos herramientas de procesado de imagen y video también desarrolladas por el GPI. Los vídeos que aparecen en este documento son propiedad de TVC, Televisió de Catalunya, SA, contienen copyright y han sido proporcionados por TVC con finalidad exclusiva de investigación para el Proyecto i3media.

2 Instalación y ejecución de GAT El paquete de distribución de Gat extendido a secuencias de vídeo consiste en el siguiente directorio: Gat +--- COPYRIHT, LICENSE, README //Información básica +--- build.xml //Archivo de compilación Ant +--- docs //Manual de usuario +--- lib //Librarias externas (ficheros *jar) +--- bin // Classes compiladas de Java (ficheros *class) +--- tools // Herramientas de procesado de imagen y video (ficheros *exe para //Windows). +--- install // Programa para instalar las librerías necesarias para ejecutar los // ficheros *exe. 2.1 Herramientas de procesado de la imagen y vídeo Los algoritmos de procesado de la imagen y vídeo se encuentran en el directorio /Gat/tools. bpt_creation.exe es la herramienta que realiza la segmentación de imágenes en regiones, así como su representación mediante un árbol jerárquico de particiones. fgseg_movcam_scgmm.exe es la herramienta que realiza la segmentación del objeto en el resto de imágenes de la secuencia. La plataforma Windows requiere de la instalación de la librería ImageMagick para ejecutar dichas herramientas. Para su instalación, vaya al directorio /Gat/install/, ejecute el fichero ImageMagick-Installer.exe y siga las instrucciones de instalación. La librería ImageMagick se instalará en su equipo. 2.2 Instalación de Java 2.3 Ejecución de GAT con ANT Al entregarse el código fuente compilado de GAT, el programa puede ejecutarse con la herramienta Apache ANT. Se trata de una herramienta usada en programación para la realización de tareas mecánicas y repetitivas, normalmente durante la fase de compilación y construcción. Es similar a Make pero desarrollado en lenguaje Java y requiere la plataforma Java. Apache ANT tiene la ventaja de no depender del sistema operativo, siendo idónea como solución multi-plataforma. Además es una herramienta muy usada en la industria. Para ejecutar GAT con Apache ANT primero debe descargarse e instalar la última versión del binario disponible en http://ant.apache.org.

Una vez haya confirmado la correcta instalación de Apache ANT, ejecute el programa con la siguiente orden: ant Gat Véase el punto 3.1 para saber como indicar en GAT la ruta de las herramientas de procesado de la imagen y video.

3 Interfaz de usuario Las Figura 4 y Figura 5 muestran dos capturas de pantalla diferentes de la interfaz de usuario de GAT para su extensión a video, formada por una barra de menús en el margen superior de la ventana, una barra de herramientas principal debajo, y un panel central. El panel central puede contener la perspectiva Anotador de secuencias de vídeo o la perspectiva Explorador de Instancias. Figura 3: Ventana principal del interfaz de usuario 3.1 Barra de menús La barra de menú contiene 3 menús, Archivo, Demos y Ayuda, cada uno con varias opciones. Las opciones inactivas aparecen en gris. 3.1.1 Menú Archivo El menú Archivo contiene las opciones para la lectura y escritura de ontologías, además de la configuración de las preferencias de la aplicación. Nuevo Opción para empezar una nueva sesión de anotación. Muestra una ventana para crear o importar una ontología desde un fichero local o una dirección Web (URL). La opción para crear una nueva ontología abre el editor de ontologías. Nuevo Abrir Opción que permite seleccionar una un fichero de anotación en el sistema local.

Abrir Guardar Permite guardar la anotación que se está realizando. Guardar Preferencias Esta opción abre una ventana de configuración. Está compuesta por dos pestañas. La primera pestanya, General, permite cambiar el idioma de la aplicación e indicar el directorio por defecto de las ventanas Abrir y Guardar fichero. También permite cambiar indicar el modo de trabajo: local o remoto. En la presenta entrega, solo es posible trabajar en modo local. La segunda pestaña, Herramientas Externas, permite indicar las rutas a la herramienta de procesado de imagen (Path to Partiton Tree Builder) y la herramienta de procesado de video (Path to Object Tracker). Preferencias Figura 4: Ventana de preferencias 3.1.2 Menú Ayuda El contenido del menú Ayuda es Acerca de GAT y Manual del GAT Online. Acerca de GAT

Muestra un diálogo que contiene información relacionada con el desarrollo de GAT. Acerca de GAT Enlace al Manual de Usuario en el sitio web de GAT

3.2 Panel de navegación semántica El Panel de navegación semántica permite la exploración de instancias de clase semántica. Dicho panel se encuentra en la parte derecha de las perspectivas Anotador de secuencias de vídeo y Explorador de Instancias. Contiene una barra de herramientas y un campo de autocompletación de palabras en la parte superior y un panel debajo que contiene el árbol semántico. Con un clic con el botón derecho sobre el panel aparece un menú desplegable. La Figura 10 muestra una captura del panel. Figura 5: Panel de navegación semántica 3.2.1 Árbol semántico El árbol semántico muestra los resultados de la sesión de anotación actual. Contiene La raíz del árbol representa todas las clases contenidas en una ontología y su etiqueta de texto es el nombre de la ontología (nombre del fichero). Los nodos de segundo nivel representan las clases semánticas y su etiqueta es el nombre de la clase. Los nodos de tercer nivel representan instancias. 3.2.2 Campo de autocompletación de palabras Para una mayor comodidad del usuario, se ha incluido un campo de autocompletación de palabras que permite hacer búsquedas sobre las clases del árbol. Cada vez que se escribe una letra se completa automáticamente una palabra de las disponibles que coincida con las letras escritas. Si existe más de una palabra que se ajusta a las letras escritas, las palabras disponibles se muestran por ordena alfabético en una lista desplegable. Si no existe ninguna palabra, se emite un pitido.

Figura 6: Autocompletación de palabras Para aceptar una sugerencia apriete el botón Intro en el momento que aparece la sugerencia o bien selecciónela de la lista. La correspondiente ontología o clase quedará seleccionada en el árbol. Si no acepta ninguna sugerencia puede continuar con la escritura sin problemas. Las sugerencias son presentadas en forma de texto sombreado. La Figura 6 muestra un ejemplo de autocompletación. 3.3 Perspectiva Anotador de secuencias de vídeo La perspectiva Anotador de secuencias de vídeo permite realizar la segmentación semiautomática y la posterior anotación de un objeto en secuencias imágenes. Está compuesto por una barra de herramientas en la parte superior y el Panel de navegación semántico en la parte derecha. La zona central la pueden ocupar tres paneles distintos: Panel de secuencia de imágenes, Panel de selección del objeto a seguir, Panel de segmentación interactiva. 3.3.1 Barra de herramientas principal La barra de herramientas contiene los componentes que permiten la selección del área de soporte. Los botones inactivos aparecen en gris. Nuevo Opción para empezar una nueva sesión de anotación. Muestra una ventana para crear o importar una ontología desde un fichero local o una dirección Web (URL). La opción para crear una nueva ontología abre el editor de ontologías. Nuevo Abrir

Opción que permite seleccionar una un fichero de anotación en el sistema local. Abrir Guardar Permite guardar la anotación que se está realizando. Guardar Editor de Ontologías Permite abrir el panel de creación de ontologías MPEG-7/XML y modificarlas. Editor de Ontologías Añadir Imagen Permite añadir una o varias imágenes que forman parte de una secuencia de vídeo para ser anotadas Añadir imagen 3.3.2 Panel de secuencia de imágenes Este panel visualiza la secuencia de imágenes a anotar y sus instancias. Es el panel que aparece por defecto en la zona central. Figura 7: Perspectiva Vídeo con el panel Secuencia por defecto

3.3.3 Panel de seleccion del objecto a seguir Este panel muestra launa imagen previamente seleccionada por el usuario durante el ciclo de anotación y llamada imagen de partida. En dicho panel el usuario debe marcar el contorno del objeto deseado dibujando un rectángulo. Contiene una barra de herramientas en la parte superior y abajo siempre se muestra la imagen de partida. Figura 8: Perspectiva Vídeo con el panel Bounding Box 3.3.4 Panel de segmentación interactiva Este panel permite segmentar el objeto a seguir en la imagen de partida. El objetivo es la creación de una máscara binaria del objeto a seguir. Para la extracción del objeto se utilizan técnicas que permiten seleccionar regiones conexas hasta obtener la instancia que mejor se adapta al objeto deseado. Contiene una barra de herramientas en la parte superior y abajo siempre se muestra la imagen de partida.

Figura 9: Panel Selección Objeto Botones Aumentar, Disminuir y Tamaño Original Aumenta, disminuye y devuelve al valor original el tamaño de visualización de la imagen, respectivamente. Aumentar Disminuir Tamaño original Barra deslizante Transparencia de la máscara Cambia la transparencia de la máscara de revestimiento entre el 20% y el 80%. Transparencia de la máscara Lista desplegable Color de la máscara Lista desplegable para seleccionar un color para la máscara de revestimiento. Hay 9 colores disponibles. Color de la máscara Botón Borrar

Borra el área de soporte seleccionada. Borrar Botón Navegación por el BPT Activa la técnica que permite seleccionar regiones como área de soporte de la instancia. Navegación por el BPT Botó Navegación avanzada por el BPT Activa la técnica mejorada que permite seleccionar regiones como área de soporte de la instancia. Navegación avanzada por el BPT 3.4 Perspectiva Explorador de instancias La perspectiva Explorador de instancias permite revisar todas las instancias de la sesión de anotación actual. Contiene el Panel de navegación semántica a la derecha, un Panel de exploración de instancias a escala imagen en la parte central y un Panel de explorador de instancia a escala vídeo debajo. Seleccionando una clase en el árbol semántico, se muestran todas sus instancias en el Panel de exploración de instancias a escala vídeo. Se muestra solo la primera instancia a escala imagen. Al seleccionar una de las instancias, todas las instancias a escala imagen que la componen se muestran en el Panel exploración de instancias a escala imagen. Es posible eliminar una instancia a escala vídeo seleccionando la opción Eliminar en la barra de herramientas.

4 Anotación EL primer paso para empezar a hacer anotaciones es crear un nuevo fichero de anotación seleccionando el icono Nuevo en la barra de herramientas principal o en el menú Archivo. Como se ha explicado en la introducción, será necesaria una ontología que describa los conceptos semánticos que se quieran anotar en las secuencias de vídeo. GAT permite importar un fichero de ontología del disco local o a partir de una URL, o bien generar una de nueva. Figura 10: Ventana Nueva Anotación Las ontologías importadas pueden tener formato MPEG-7/XML o OWL. Las generadas con GAT tendrán formato MPEG-7/XML. 4.1 Generación de Ontologías MPEG-7/XML Escogiendo la opción Generar Nueva Ontología nos aparecerá el panel de la siguiente figura:

Figura 11: Generación de una nueva ontología Contiene una barra de herramientas y un árbol de edición. 4.1.1 Árbol de edición El árbol de edición muestra verticalmente la ontología que se está editando. La raíz del árbol representa toda la ontología. Los nodos descendientes representan las clases y a su etiqueta de texto es el nombre de la clase. Solo se permite la selección de un nodo a la vez. Para seleccionar un nodo haga clic encima con el botón izquierdo del ratón. 4.1.2 Barra de herramientas La barra de herramientas contiene los botones para la creación de ontologías en formato MPEG-7/XML.

Nueva Clase Opción activa solo cuando el nodo seleccionada en el árbol es la raíz asociada a la ontología. Permite añadir una clase a la ontología. Aparece una ventana para introducir su etiqueta de texto. Añade la clase como un nuevo nodo descendiente de la raíz. Renombrar Clase Opción activa solo cuando el nodo seleccionado en el árbol está asociado a una clase semántica. Permite dar un nombre nuevo a la clase. Aparece una ventana para introducir el nuevo nombre. Eliminar clase Opción activa solo cuando el nodo seleccionada en el árbol representa una clase semántica. Permite eliminar la clase, eliminado el nodo. Por último, el panel permite seleccionar un directorio para almacenar el fichero MPEG-7/XML con la ontología creada. 4.2 Ciclo de anotación Una vez creada o importada la ontología que define los conceptos semánticos que se asociaran a los objetos, dichos conceptos se visualizarán en forma de árbol en el panel derecho de la pantalla. Seleccione la opción Añadir Imagen de la barra de herramientas principal para seleccionar los archivos de tipo imagen que formaran parte de la secuencia de vídeo que desea anotar. La imágenes de visualizarán en miniatura en el panel central (Panel de secuencia de imágenes):

Figura 12: Panel de secuencia de imágenes y árbol con los conceptos semánticos El ciclo de anotación es el siguiente: 1)Seleccione en el árbol la clase semántica que desa instanciar. 2)Seleccione la primera y la última de las miniaturas que componen una escena con el objeto a seguir. Se dibujará un borde del color azul en las miniaturas deseadas. Figura 13: Selección de una escena que contiene el objeto a seguir

3)En este punto, debe escoger cual es la mejor imagen de las seleccionadas para extraer el objeto deseado e inicializar el algoritmo de seguimiento que detectará el objeto en las imágenes restantes de la escena seleccionada. Haga clic con el botón derecho sobre la imagen de partida escogida. Se abrirá el Panel de selección del objeto a seguir. Utilice los botones Amplia y Reduce para ampliar o reducir la imagen respectivamente. Si desea cambiar la imagen de partida, puede volver al panel anterior con el botón Atrás. 4)Arrastrando el cursor, dibuje el rectángulo que mejor defina el contorno del objeto a seguir. Haga clic con el botón derecho sobre la imagen para validar dicho rectángulo y abrir el Panel de segmentación interactiva. Figura 14: Selección del rectángulo que mejor definie el contorno del objeto deseado 5)Vaya a la barra de herramientas y escoja una técnica de segmentación interactiva. Sitúe el cursor sobre la imagen y comience la selección del área de soporte siguiendo los mecanismos de la técnica escogida. Las técnicas de segmentación interactiva se describen con detalle en el apartado 5.4.2. Cuando inicie la selección, la imagen se revestirá con una máscara de color y transparencia seleccionables des de la barra de herramientas. Seleccione el color y la transparencia más adecuada según la imagen. Continúe con la selección del área de soporte hasta que se ajusta a la instancia deseada. La barra de herramientas incluye el botón Borrar que permite borrar la selección actual y empezar de nuevo. Si cambia de técnica una vez iniciada la selección, el efecto es el mismo. La máscara desaparece cuando se empieza de nuevo. 6)Valide la selección con un clic con el botón derecho sobre la imagen. Se volverá al panel Secuencia, donde ahora se visualizaran también los resultados del algoritmo de seguimiento y detección de objetos. Para cada fotograma de la escena seleccionada, el objeto detectado quedará recubierto por una máscara transparente de color blanco.

Figura 15: Resultados algoritmo de seguimiento y detección 7)Si la secuencia contiene más escenas con el mismo objeto semántico, vuelva al punto 2. También vuelva la punto 2 si los resultados no son buenos o cree que pueden mejorar. Hay dos formas de mejorar el resultado obtenido. La primera, dividir la escena en subescenas. La segunda, anotar el objeto fotograma por fotograma. Cuando haya terminado con todas las escenas que contienen el objeto, seleccione el botón Validar en la barra de herramientas de la parte superior par validar la anotación. Figura 16: Nueva instancia a escala vídeo 4.2.1 Técnicas de segmantació interactiva 4.2.1.1 Navegación por el BPT Para activar esta técnica haga clic sobre el botón Navegación por el BPT de la barra de herramientas. La selección empieza con un clic con el botón izquierdo del ratón sobre un píxels de la imagen. Después del clic, la región alrededor del pixel se seleccionará poniendo sus píxels transparentes en la máscara de revestimiento y mostrando así los píxels de la imagen original. Si la región seleccionada no se ajusta a la instancia deseada, puede seleccionar las regiones conexas moviendo la rueda del ratón hacia abajo. Con cada movimiento seleccionará una región conexa. Las Figuras 9 y 21 muestran el mismo ejemplo con una región inicial seleccionada que después se expande con el movimiento hacia abajo de la rueda del ratón hasta tener un conjunto específico de regiones seleccionadas. La expansión de regiones puede crecer hasta ocupar la imagen completa.

Figura 17: Región inicial seleccionada Figura 18: Selección que se ajusta a la instancia deseada Si las regiones seleccionadas sobrepasan la instancia prevista, el movimiento hacia arriba de la rueda del ratón permite la deselección de regiones, los píxels de la cuales se revisten con la máscara. La deselección puede llegar hasta el punto de anclaje seleccionado inicialmente, mostrando de nuevo toda la imagen revestida con la máscara, sin ninguna región seleccionada. Es posible la conmutación de región seleccionada a no seleccionada haciendo clic con el botón izquierdo del ratón sobre uno de sus píxels transparentes. Después del clic los píxels de la región se revestirán con la máscara.

4.2.1.2 Navegación avanzada por el BPT Para activar esta técnica de selección haga clic sobre el el botón Navegación avanzada por el BPT de la barra de herramientas. Este método es una versión mejorada de la navegación por el BPT visto en el apartado 5.1.1. Facilita la selección de conjuntos de regiones conexas que tengan un área en número de píxels muy parecido. Al mover el cursor por encima de la imagen, la región alrededor de la posición donde se encuentra el cursor pondrá sus píxels transparentes en la máscara de revestimiento, mostrando los píxels de la imagen original. Con el movimiento hacia arriba y hacia abajo de la rueda del ratón podrá mostrar y esconder las regiones conexas respectivamente, con la diferencia que en este caso las regiones todavía no se tomarán como seleccionadas. Expanda las regiones hasta tener el área deseada (Figura 19). Una vez definida el área de búsqueda, mueva el cursor fuera de la región inicial. Las regiones anteriores se esconderán y se mostrara un conjunto nuevo de regiones alrededor de la nueva posición. Este conjunto tendrá un área parecida a la de búsqueda. De esta forma. moviendo el cursor por encima de la imagen, se irán mostrando conjuntos de regiones conexas con un área parecida (Figura 20). Figura 19: Conjunto de regiones conexes que definen el área de búsqueda Figura 20: Conjunto de regiones connexes con una àrea similar a la de búsqueda Cuando las regiones conexas se ajusten a la instancia o a una parte de la instancia deseada, haga clic sobre la imagen con el botón izquierdo del ratón para seleccionarlas. Una vez hecha la selección, el área de búsqueda se mantendrá, de manera que podrá continuar con el proceso para encontrar más conjuntos de regiones conexas que tengan un tamaño parecido. En el caso de querer definir una nueva área de búsqueda, con el movimiento hacia arriba y hacia abajo de la rueda del ratón irá escondiendo regiones hasta tener una sola región, la

asociada a la posición donde se encuentra el ratón. En este punto, puede volver a empezar con la expansión de regiones o bien moverse hacia otro punto desde donde empezar la selección. 4.3 Visualización de instancias El árbol semántico muestra las instancias a nivel de vídeo asociadas a la secuencia. En la siguiente figura la clase semántica semarreta rosa contiene una instancia llamada VideoInstance12. Para visualizar las instancias a nivel de imagen de VideoInstance12, seleccione el nodo correspondiente en el árbol. Para cada imagen de la secuencia que contiene el objeto, se ha creado una instancia a nivel de imagen y positiva donde el objeto es recubierto por una máscara transparente de color verde. Para las imágenes que no contienen el objeto se han creado instancias a nivel de imagen y negativas, donde la imagen queda revestida totalmente por una máscara transparente de color rojo. Las instancias positivas y negativas permiten distinguir claramente las escenas en que aparece y no aparece el objeto y saber cuantas veces aparece el objeto en la secuencia. Figura 21: Visualización de instancias 4.4 Escritura de anotaciones a disco Haga clic sobre el botón Guardar de la barra de herramientas para guardar los resultados de la sesión de anotación. Si es la primera vez, le aparecerá el diálogo Guardar, permitiéndole escribir un nombre para el archivo y seleccionar su ubicación en el disco. Haga clic sobre el botón Guardar como para cambiar el nombre del archivo y su ubicación.