11 kn. de publicación: ES kint. Cl. 6 : H04N 7/32. k 72 Inventor/es: Stiller, Christoph. k 74 Agente: Roeb Ungeheuer, Carlos

Transcripción

1 k 19 OFICINA ESPAÑOLA DE PATENTES Y MARCAS ESPAÑA 11 kn. de publicación: ES kint. Cl. 6 : H04N 7/32 k 12 TRADUCCION DE PATENTE EUROPEA T3 k k k k 86 Número de solicitud europea: Fecha de presentación : Número de publicación de la solicitud: Fecha de publicación de la solicitud: k 4 Título: Procedimiento para la formación de una imagen de predicción. k 30 Prioridad: DE k 73 Titular/es: ANT Nachrichtentechnik GmbH Gerberstrasse 33 D-7122 Backnang, DE k 4 Fecha de la publicación de la mención BOPI: k 72 Inventor/es: Stiller, Christoph k 4 Fecha de la publicación del folleto de patente: k 74 Agente: Roeb Ungeheuer, Carlos Aviso: En el plazo de nueve meses a contar desde la fecha de publicación en el Boletín europeo de patentes, de la mención de concesión de la patente europea, cualquier persona podrá oponerse ante la Oficina Europea de Patentes a la patente concedida. La oposición deberá formularse por escrito y estar motivada; sólo se considerará como formulada una vez que se haya realizado el pago de la tasa de oposición (art 99.1 del Convenio sobre concesión de Patentes Europeas). Venta de fascículos: Oficina Española de Patentes y Marcas. C/Panamá, Madrid

2 1 ES T3 2 DESCRIPCION La invenciónpartedeunprocedimientopara la formación de una imagen de predicción, teniendo en cuenta un movimiento de imagen entre una imagen actual y una imagen temporalmente anterior. En codificadores de imágenes en movimiento usuales, la imagen se divide en zonas parciales de la imagen (bloques), p.ej. del tamaño de 16 x 16 puntos de imagen, y se determina el movimiento hacia la siguiente imagen para cada uno de estos bloques. De allí resulta un campo de vectores de movimiento que se codifica. El emisor y el receptor generan una imagen de predicción, en la que se desplaza cada bloque de la imagen anterior de acuerdo con el vector de movimiento correspondiente (DE C1). Si un bloque contiene tanto una parte de imagen en movimiento (objeto) como también una parte de imagen fija (fondo), el vector de movimiento sólo puede describir el movimiento de una de las dos partes. La otra parte se desplaza, a pesar de ello, con este vector de movimiento, con lo cual se genera en esta zona una imagen de predicción errónea. Generalmente, el fondo se mueve de esta forma cerca del objeto, tal y como se representa en las figuras 1 y 2. Las figuras 1 y 2 muestran dos imágenes consecutivas, representando la figura 2 la imagen actual k y la figura 1 una imagen k-1 temporalmente anterior. Para un bloque que contiene tanto objeto como también fondo, en la figura 2 se representa a título de ejemplo el desplazamiento erróneo del fondo en el entorno de un objeto. De Frequenz: Revista para telecomunicaciones, tomo 43, N, mayo 1989, Berlín, páginas ; Gilge et al Codificación de escenas de imágenes en movimiento con 64 kbit s se presentan procedimientos con una formación creciente de la imagen. En un procedimiento adaptivo por movimiento, descrito en el cap. 6.2, las imágenes saltadas se reconstruyen en el receptor mediante interpolación adaptiva por movimiento. Para ello se establecen imágenes estimativas sobre la base de campos de vectores de movimiento. En la interpolación se distingue entre el objeto movido, el fondo fijo, el fondo que se libera y que se cubre y se generan para todos estos casos diferentes máscaras binarias. En estas máscaras se introducen o resultados de interpolación o informaciones de imágenes transmitidos de hecho. Los resultados de movimientos pequeños son suprimidos. En el cap. 7 se explica que este procedimiento puede ser mejorado, aprovechando la correlación entre la información sobre el movimiento y la codificación de los errores residuales. Como alternativa para el tratamiento de bloques de imágenes se recomienda el uso de segmentos adaptados al contenido de la imagen. El objetivo de la presenta invención es indicar un procedimiento para la formación de una imagen de predicción perfeccionada. Este objetivo se resuelve mediante las características de la reivindicación 1. Las otras reivindicaciones indican otras configuraciones del procedimiento o la aplicación del procedimiento. La imagen de predicción que se genera según el procedimiento de la invención, está mejorada en particular en las zonas de tránsito entre la parte de la imagen en movimiento (objeto) y el fondo estático, ya que sólo se desplazan aquellas partes de un bloque mediante un vector de movimiento correspondiente, que contienen la parte de la imagen en movimiento. Mediante el tratamiento de una máscara de objeto se consigue, aparte de la mejoría de la imagen de predicción, también las siguientes mejorías en la codificación de la imagen: Frecuentemente los codificadores de imágenes en movimiento realizan un muestreo insuficiente de la secuencia de la imagen. Las imágenes intermedias saltadas se interpolan después en el receptor en función del movimiento. Con la máscara de objeto, el contenido de la imagen en movimiento se puede desplazar independientemente del fondo. Además, con ayuda de la máscara de objeto, el campo de vectores de movimiento se puede codificar de forma predictiva y con ello de forma más eficiente, poniendo a cero todos los vectores que se encuentran en el fondo y prediciendo los vectores que se encuentran en el objeto igual que un vector de objeto adyacente. Esto conlleva una longitud de código más corta en la codificación de la imagen. Con ayuda de los otros dibujos, la invención se explica más detalladamente. Muestran la figura 3 la máscara de objeto para dos imágenes temporalmente consecutivas, la figura 4 bloques con los vectores de movimientopertinentesenlazonadelamáscara del objeto, la figura un diagrama de operaciones para la determinación de la máscara del objeto, la figura 6 un esquema de bloques para el tratamiento de la imagen de predicción por parte del emisor y por parte del receptor. La figura 3 muestra una máscara de objeto, es decir una zona que describe para cada imagen la situación y el lugar de la parte de la imagen en movimiento para una imagen k actual (con rayado vertical) y una máscara de objeto para una imagen temporalmente anterior k-1 (con rayado horizontal). En el caso más simple, una máscara de objeto de este tipo puede ser representada por una imagen binaria que tiene el valor 1 justamente allí donde se encuentra la parte de la imagen en movimiento y el valor 0 donde hay fondo estático. La forma de determinar una máscara de objeto de este tipo se explicará más adelante. La imagen se divide primero en bloques. Una división en bloques de esta forma se conoce de numerosas publicaciones, por ejemplo del documento DE C1 o de Esprit 86, The Commission of the European Communities, Directorate General XII, Telecommunications, Information, Industry & Innovation, Elsevier Science Publishers B.V., Amsterdam, NL, 1987, página 416, de modo que aquí nohayque exponer todos los detalles. A continuación se determinan bloque por bloque los vectores de movimiento para los bloques que se corresponden de una imagen anterior y de una imagen actual. Esta determinación de los vectores de movimiento se conoce también del documento DE C1. En primer lugar se explica como se genera la imagen de predicción disponiendo de una máscara de objeto: La imagen se distingue con ayuda de la

3 3 ES T3 4 máscara de objeto según las siguientes tres zonas parciales y para cada una de estas zonas parciales se realiza una predicción diferente (figura 6). a) Objeto k (máscara de objeto k) En el caso más simple, en esta zona se desplaza cada bloque según el vector de movimiento correspondiente (la figura 4 muestra bloques cuadrados como bloques con sus vectores de movimiento representados mediante flechas). De cada bloque se predicedeestaformasolamentelapartequeestá dentro de la máscara de objeto, es decir la parte para el que la máscara de objeto contiene el valor 1. Si solamente una pequeña parte de un bloque se encuentra dentro de la máscara de objeto (p.ej. menos del 0 por ciento), en la mayoría de los procedimientos de estimación de movimiento es probable, que el vector de movimiento no describe el movimiento del fondo. El vector de movimiento pertinente sería aquí, por consiguiente, el vector cero. Por ello se comprueba para un bloque de este tipo si uno de los cuatro bloques adyacentes presenta una mayor parte del objeto. En este caso se elige el vector de aquel bloque adyacente que tiene la mayor parte en el objeto, para el bloque considerado. Este bloque es el que con más probabilidad tiene un vector de movimiento que describe el movimiento del objeto. También aquí se predice de esta forma solamente la parte que se encuentra dentro de la máscara de objeto k de cada bloque. Los vectores de movimiento relevantes para la máscara de objeto (figura 6 - vectores de objeto) están representados en la figura 4 con una línea discontinua y los vectores de movimiento estimados para la retícula del bloque con una línea continua. b) Fondo que se libera (máscara de objeto k-1, pero no máscara de objeto k) Para el fondo se utiliza una memoria de imágenes (figura 6) en el que se inscribe el fondo conocido. Si se conoce en esta memoria de fondos el fondo que se libera, se copia de esta memoria. La parte restante del fondo que se libera, que no se conoce en la memoria de fondos, se predice, desplazando cada bloque según el vector correspondiente de la imagen anterior. c) Fondo restante (ni en máscara de objeto k-1 ni en máscara de objeto k) El fondo restante se adopta sin modificaciones de la imagen k-1 para la imagen de predicción o se copia de la memoria de fondos. Las diferentes zonas de imágenes a), b) y c) se componen a continuación para formar una imagen de predicción (figura 6). El procedimiento según la invención se puede utilizar con ventaja para la interpolación de imágenes intermedias saltadas. Para ello se escalan todos los vectores de movimiento para la información de fondo fijo a cero y todos los vectores de movimiento que se encuentran dentro de la máscara de objeto según la distancia temporal entre las imágenes transmitidas e interpoladas. Las imágenes intermedias interpoladas se generan como las imágenes de predicción. Los pasos para la determinación de una máscara de objeto actual en el lado del receptor están representados en la figura en un diagrama de operaciones. Partiendo de una máscara inicial a elección, (p.ej. una máscara que tiene en todos los puntos el valor 0 ), se determina (predice) la máscara de objeto k actual en el caso más simple desplazando la máscara de objeto k-1 temporalmente anterior por bloques según los vectores de movimiento. De esta forma se obtiene una predicción para la máscara de objeto actual. A continuación se construye la imagen de predicción k como se ha descrito anteriormente (figura 4). El emisor determina la imagen de errores residuales (diferencia entre la imagen original y la imagen de predicción) y lo codifica. Con esta información adicional de la imagen de errores residuales se trata la máscara de objeto como sigue en dos pasos; es decir partiendo de la máscara de objeto actual para la que se ha realizado la predicción, se mejora la máscara de objeto actual como se describe a continuación, pudiéndose eliminar para ahorrar potencia del ordenador también uno de los pasos. 1 er paso: El fondo estático conocido en la memoria de fondos se desplaza con el mismo campo de vectores de movimiento con el que también se ha generado la imagen de predicción. Este fondo desplazado se compara con la imagen de predicción. Para los segmentos en los que sólo existe una pequeña diferencia y que están dentro de la máscara de objeto actual, se comprueba a continuación, si se deberían sacar de la máscara de objeto actual. Para ello se compara la potencia de diferencia entrelaimagendepredicción y la imagen codificada (imagen de predicción más imagen de errores residuales) por sectores con la potencia de diferencia entre el fondo contenido en la memoria de fondos y la imagen codificada. Los segmentos para los que la última potencia de diferencia es menor, se quitan de la máscara de objeto actual, es decir se ponen a 0, los otros segmentos quedan en la máscara de objeto actual. 2 paso: El receptor reúne las zonas de la imagen en las que había que codificar un error especialmente grande en la imagen de los errores residuales en segmentos de errores. Para cada uno de estos segmentos de errores se comprueba si la potencia de la imagen del errores residuales se reduce si la máscara de objeto actual se modifica en este segmento. Para ello se construye la imagen de prediccion que resulta poniendo 1 el valor de la máscara de objeto actual para los segmentos de errores. Para las dos imágenes de predicción se calcula la diferencia con respecto a la imagen codificada (imagen de predicción más imagen de errores residuales). La potencia de estas dos imágenes de diferencia, es decir la potencia de la imagen de errores residuales, se compara para cada segmento de errores. Si la mejoría (minimización) de la potencia de la imagen de errores residuales es mayor que la potencia de ruidos, se realizaelcambioenlamáscara de objetos, es decir el segmento se introduce de nuevo en la máscara de objetos o se elimina de ella. Finalmente se quitan los objetos que sólo se componen de pocos puntos de imagen de la máscara de objeto. La codificación para la transmisión de la imagen se puede realizar de forma usual, p.ej. mediante DCT (discrete cosine transform) y tratamiento posterior, como se describe por ejemplo en el documento C1. 3

4 ES T3 6 REIVINDICACIONES 1. Procedimientoparalaformación de una imagen de predicción teniendo en cuenta un movimiento de imagen entre una imagen actual y una imagen temporalmente anterior con los siguientes pasos del procedimiento: a) poner a disposición cualquier máscara de objeto inicial como máscara de objeto, p.ej. una imagen binaria, que tiene en todos los puntos el valor cero, b) dividir las imágenes en bloques, c) determinar por bloques los vectores de movimiento para los bloques que se corresponden los unos a los otros de una imagen anterior y de una imagen actual, d) predicción de una máscara de objeto (k) actual, que describe para cada imagen la situación y el lugar de la parte de la imagen en movimiento, desplazando la máscara de objeto (k-1) determinada anteriormente -en el caso de la primera determinación la máscara inicial- con ayuda de los vectores de movimiento determinados, e) generación de una imagen de predicción separada por objeto, fondo que se libera y fondo restante, f) para bloques que tienen una parte del objeto: comprobar si un bloque está con menos del 0% en la máscara de objeto y comprobar para estos bloques si uno de los bloques adyacentes a este bloque se encuentra con el 0% o con más del 0% en la máscara de objeto, si uno de los bloques adyacentes se encuentra con el 0% o con más del 0% en la máscara de objeto (k), elegir el vector de movimiento del bloque adyacente que tiene el 0% o más del 0% en común con la máscara de objeto (k), en vez del bloque que se encuentra con menos del 0% en la máscara de objeto (k), desplazar el objeto de la imagen anterior codificada con los vectores de movimiento determinados de esta manera para formar una imagen de predicción, g) desplazar el fondo que se libera con los vectores de movimiento no modificados utilizando la imagen anterior y la información adicional contenida en la imagen de los errores residuales, obteniéndose la imagen de errores residuales de la diferencia entre la imagen original y una imagen de predicción, h) adopción del fondo restante de la imagen anterior sin modificaciones, i) mejorar la máscara de objeto actual resultante de la predicción en el sentido de una minimización de la potencia de una imagen de errores residuales, sobre la base de la información adicional contenida en la imagen de errores residuales. 2. Procedimiento según la reivindicación 1, caracterizado por la predicción de la información sobre el fondo, es decir partes de la imagen fueradelamáscara de objeto, según los siguientes pasos: -lainformación sobre el fondo, que no está cubierto ni en la imagen anterior ni en la imagen actual por la máscara de objeto (k) se adopta sin modificaciones en la imagen de predicción, -lainformación sobre el fondo que está cubierto en la imagen temporalmente anterior, pero no en la imagen actual, por la máscara de objeto (k) se copia -en caso de que, anteriormente, alguna vez ha sido visible y se ha almacenado en una memoria- de esta memoria, si esto no es el caso se predice, desplazando cada bloque según el vector de movimiento correspondiente de la imagen temporalmente anterior. 3. Procedimiento según una de las reivindicaciones 1 a 2, caracterizado por la siguiente creación de la máscara de objeto por parte del receptor: - poner a disposición una máscara de objeto inicial, p.ej. una máscara de objeto en forma de una imagen binaria, que tiene en todos los puntos el valor cero, - determinar la imagen de errores residuales mediante la formación de la diferencia entre la imagen original y la imagen de predicción, - codificar y transmitir la imagen de predicción en forma de vectores de movimiento así como la imagen de errores residuales. - unir aquellas zonas de la imagen después de la transmisión, en las que se reduce la potencia de la imagen de errores residuales, si la máscara de objeto actual se modifica allí, en segmentos de errores, - generar una primera imagen de predicción que resultasielvalordelamáscara de objeto (k) para los segmentos de los errores se elige de tal forma, p.ej. 1 que se supone una parte de imagen en movimiento, - generar una segunda imagen de predicción que resultasielvalordelamáscara de objeto (k) para los segmentos de los errores se elige de tal forma, p.ej. 0 que se supone una parte de imagen fija, - formar la diferencia entre la imagen de predicción codificada y transmitida y entre la imagen de errores residuales y la primera y la segunda imagen de predicción, - comparar estas imágenes de diferencia por segmento de errores con respecto a la potencia de la imagen de errores residuales, - modificar por segmento de error la máscara de objeto (k), es decir añadir un segmento de errores correspondiente a la máscara de objeto (k) o eliminar el segmento de errores correspondiente de la máscara de objeto (k), si en este caso la potencia de la imagen de errores residuales se reduce. 4. Procedimiento según la reivindicación 3, caracterizado porque sólo se realiza una modificación de la máscara de objeto (k), si la reducción de la potencia de la imagen de errores residuales está aún por encima de la potencia de ruidos.. Procedimiento según la reivindicación 3 ó 4, caracterizado porque los objetos que sólo se componen de pocos puntos de imagen se eliminan de la máscara de objeto (k). 6. Procedimiento según una de las reivindicaciones 1 a, caracterizado porque la máscara de objeto (k) se trata de forma adicional con ayuda de la información contenida en una memoria de fondos como sigue: - generar una imagen, desplazando el contenido de la memoria de fondos en cada punto de imagen con el mismo vector de movimiento con el que se ha creado la imagen de predicción, - comparar esta imagen con la imagen de predicción y unir las zonas de imagen similares en segmentos,

5 7 ES T3 8 - eliminar los segmentos que sólo se componen de pocos puntos de imagen, - eliminar los puntos de imagen de los segmentos en los que la máscara de objeto (k) presenta el valor cero, - comparar por segmentos la imagen codificada transmitida con la información de la memoria de fondos y eliminar todos los segmentos similares de la máscara de objetos (k). 7. Aplicación del procedimiento según una de lasreivindicaciones1aparalainterpolación 10 de las imágenes intermedias saltadas, escalando para la información del fondo que no se ha movido todos los vectores de movimiento a cero y escalando los vectores de movimiento que se encuentran dentro de la máscara de objeto (k) según la distancia temporal entre las imágenes transmitidas e interpoladas y generando imágenes intermedias interpoladas como imágenes de predicción según las características e) a h) de la reivindicación NOTA INFORMATIVA: Conforme a la reserva del art del Convenio de Patentes Europeas (CPE) y a la Disposición Transitoria del RD 2424/1986, de 10 de octubre, relativo a la aplicación del Convenio de Patente Europea, las patentes europeas que designen a España y solicitadas antes del , no producirán ningún efecto en España en la medida en que confieran protección a productos químicos y farmacéuticos como tales. Esta información no prejuzga que la patente esté o no incluída en la mencionada reserva.

6 6 ES T3

7 ES T3 7

8 8 ES T3

9 ES T3 9