COMPARACIÓN DE TÉCNICAS DE DETECCIÓN DE CAMBIOS DE PLANO SOBRE VÍDEO COMPRIMIDO CAPÍTULO 3: TÉCNICAS DE DETECCIÓN DE CAMBIOS DE PLANO

Transcripción

1 CAPÍTULO 3: TÉCNICAS DE DETECCIÓN DE CAMBIOS DE PLANO

2

3 3. TÉCNICAS DE DETECCIÓN DE CAMBIOS DE PLANO 3.. Antecedentes La tecnología para la organzacón y la búsqueda de mágenes y vídeo basada en el contendo está en pleno desarrollo. Esto se cumple de forma especal en aplcacones multmeda donde la dfcultad de la búsqueda y la edcón de los datos es frecuentemente el factor más costoso. El prmer paso para la extraccón de nformacón, basada en el contendo, de una secuenca de vídeo, es detectar los cambos de plano. Un plano se defne como una coleccón de cuadros que descrben una sola escena u operacón de cámara. Una vez que se dentfcan los planos, los cuadros clave más representatvos se extraen y se organzan para obtener una vsón jerárquca del vídeo. Los algortmos de deteccón de cambos de plano se pueden clasfcar en dos grupos: los que operan sobre la nformacón de vídeo ya descomprmda y los que operan drectamente sobre la nformacón comprmda, usando datos parcalmente decodfcados como los tpos de macrobloques, los vectores de movmento y las mágenes DC. Los algortmos que operan sobre datos descomprmdos pueden dvdrse a su vez en los basados en dferencas a nvel de píxel, los basados en hstogramas y los basados en dferencas a nvel de cuadro. Por ejemplo, en [7] se utlza un método basado en dferencas a nvel de píxel, [5] y [] descrben algortmos que usan los hstogramas de lumnanca y en [6] se propone el cálculo de las dferencas de bordes entre cuadros. La deteccón de cambos de plano sobre vídeo comprmdo ha atraído más la atencón en los últmos años. Trabajar drectamente sobre la nformacón comprmda proporcona una sere de ventajas. En prmer lugar, se elmna el proceso de decodfcacón y, tratando así un volumen de datos consderablemente menor, se logra reducr de forma sgnfcatva el coste computaconal. Además, una gran cantdad de nformacón, como vectores de movmento y valores medos de los bloques, que puede usarse en la deteccón de cambos de plano, está dsponble en la secuenca de datos. Los algortmos que operan sobre vídeo comprmdo pueden clasfcarse en: (a) basados en las mágenes DC, (b) basados en los vectores de movmento y (c) basados en los coefcentes DCT. Por ejemplo, se han descrto varos métodos que utlzan los hstogramas de lumnanca o de color de las mágenes DC [4, 5], otros métodos que se basan en los tpos de macrobloques que contene cada cuadro [3] y, por últmo, los que calculan la correlacón entre los coefcentes. Varos de estos métodos se descrbrán en detalle en los sguentes apartados [3]. Págna 39

4 3.. Pasos prevos a la deteccón de cambos de plano 3... Reconstruccón de los vectores de movmento. La secuenca de bts, obtenda al codfcar el vídeo, contene para cada plano una sere de vectores dferencales que defnen el movmento de los bloques de la magen. Antes de usar los algortmos que detectan los cambos de plano, hay que consegur, a partr de los vectores dferencales, el mapa de los vectores de movmento de la magen. El vector de movmento del macrobloque se obtene añadendo al vector de movmento dferencal la predccón que se forma de gual manera en el codfcador y decodfcador. El proceso del cálculo de la predccón se descrbe a contnuacón. Un macrobloque codfcado en modo nter puede tener un vector de movmento, para todo el macrobloque, o cuatro, uno por bloque. La decodfcacón del vector de movmento se hace de forma ndependente para las componentes horzontal y vertcal. Se forma la predccón a partr de la medana de tres vectores de movmento canddatos (MV, MV, MV 3 ), correspondentes a macrobloques o bloques vecnos. La poscón de estos canddatos se descrbe en lustracón 5. En el caso en que sólo se utlza un vector por macrobloque se utlza la prmera de las confguracones de la fgura: MV MV3 MV MV3 MV MV MV MV MV MV3 MV MV3 MV MV MV MV Ilustracón 5: Predccón para el vector de movmento Las sguentes reglas se aplcan para obtener el valor de los vectores canddatos: S el macrobloque correspondente se codfcó en modo ntra, o era no codfcado, la predccón se pone a cero. MV se pone a cero s el macrobloque correspondente se encuentra fuera de las fronteras del cuadro (a la zquerda). Págna 40

5 MV y MV3 toman el valor de MV s los macrobloques correspondentes están fuera del cuadro, por arrba. MV3 se pone a cero s el macrobloque correspondente está fuera del cuadro, por la derecha. Para cada componente, la predccón es la medana de las tres predccones: P X Medan( MV x, MVx, MV3 x P Y Medan( MV y, MV y, MV3 y ) ) Para los macrobloques que usan cuatro vectores de movmento, se utlza uno para cada bloque, sguendo el msmo orden de numeracón que el descrto en la lustracón 8. El vector de movmento para las componentes de croma se calcula sumando los vectores de lumnanca correspondentes a cada bloque y dvdéndolos por el doble del número de bloques: 8 (por tener la mtad de resolucón que la lumnanca). Después se redondea este número al entero más próxmo y el vector obtendo se utlza para formar la predccón para la croma de gual manera que s hubera un sólo vector por macrobloque [6] Reconstruccón de los coefcentes 3... Predccón para los coefcentes DC y AC El prmer paso de la reconstruccón de los coefcentes es la formacón de la predccón. El coefcente DC de cada bloque se predce a partr del bloque superor o zquerdo, según la dreccón de menor gradente, calculada a partr de los coefcentes descuantzados, A, B y C. La lustracón 6 recuerda la forma de predccón para los coefcentes: B C D A X Y Macrobloque Ilustracón 6: Predccón para los coefcentes DC Págna 4

6 S alguno de los bloques (A, B o C) están fuera de las fronteras del VOP, o no pertenecen a un macrobloque codfcado en modo ntra, los coefcentes utlzados para calcular la predccón toman el valor (bts por píxel+), 04 en este caso, que corresponde al nvel de grs medo. El coefcente reconstrudo se obtene así: DC Tcoef + P(DC), sendo Tcoef el coefcente obtendo de la secuenca de bts tras la cuantzacón nversa y P la predccón elegda. Predccón adaptatva de los coefcentes AC: este proceso se utlza cuando está actva la bandera ac_pred_flag, que ndca que se realza la predccón AC en la decodfcacón de los coefcentes. La dreccón de predccón para el coefcente DC se utlza tambén para selecconar la dreccón de predccón de los coefcentes AC y, por tanto, es posble predecr la dreccón para cada bloque del macrobloque. La dreccón de predccón de los coefcentes AC la muestra la lustracón 7: Ilustracón 7: Predccón para los coefcentes AC Para compensar las dferencas en la cuantzacón usada en los bloques adyacentes, es necesaro reescalar los coefcentes de la predccón Construccón de la magen DC Muchos de los métodos utlzados en la deteccón de cambos de plano en mágenes comprmdas utlzan la secuenca de mágenes DC del vídeo. La magen DC de un cuadro I se obtene drectamente de la secuenca de vídeo comprmdo, ordenando los datos de ésta. Sn embargo, en los cuadros P, codfcados de forma predctva, no están dsponbles estos coefcentes, ya que en ellos se utlza la compensacón de movmento. En los cuadros P, se envían los vectores de movmento y los coefcentes DCT de la magen dferenca. En [4] se Págna 4

7 propone un algortmo para la construccón de la magen DC. En ese algortmo, utlzado en el presente proyecto, se aproxma el coefcente DC con la meda ponderada de los coefcentes DC de los bloques que apunta el vector de movmento, en el cuadro anteror. Esto se puede ver en la lustracón 8: Ilustracón 8: Obtencón de los coefcentes en cuadros P Así, el coefcente reconstrudo se obtendrá de la sguente manera: DC 64 E A DC donde A es el número de píxeles en el bloque que cubre el bloque de referenca y E es el conjunto de cuadros que nvade el vector de movmento. La lustracón 9 compara la magen orgnal y la magen DC utlzada para la deteccón de cambos de plano: Ilustracón 9: Imagen orgnal y su magen DC de lumnanca Págna 43

8 3.3. Técncas de deteccón Deteccón medante dferencas de hstogramas de color En general hay dos tpos de transcones entre planos: abruptas y graduales. Las transcones abruptas corresponden a un cambo que se produce entre dos cuadros, mentras que las graduales se dan a lo largo de varos cuadros. Según [4], las dferencas entre los hstogramas de color en una secuenca de mágenes DC pueden utlzarse para detectar los cambos de plano. Los hstogramas se construyen contando el número de veces que aparece un nvel de energía en el cuadro. Se puede calcular la dstanca entre hstogramas de dos mágenes y utlzar un umbral a partr del cual se declaran los cambos de plano. Se genera así un dagrama de dferencas de hstogramas de toda la secuenca para ver en qué cuadros se producen cambos. En esta dferenca un cambo de plano corresponde normalmente a un pulso de gran ampltud y una transcón gradual corresponde normalmente a una sere de pulsos de ampltud meda. En este algortmo se calcula así la dferenca entre planos: N d hst ( n, n + ) h n [ ] h n + [ ] donde N es el número total de bns o frecuencas bnaras del hstograma. Para hstogramas normalzados, el valor absoluto de la dstanca toma valores entre 0 y. En la lustracón 30 se representa la funcón dferenca de hstogramas de una secuenca de vídeo frente al número de cuadro: Dstanca hstogramas de color Número de cuadro Ilustracón 30: Dstanca entre hstogramas de color Págna 44

9 En la mayoría de los casos, las transcones bruscas se detectan usando un umbral para esta medda. La deteccón de cambos graduales es, sn embargo, más compleja. En este msmo artículo se propone un método para detectarlas. El método funcona de la sguente manera: la dferenca de hstogramas del cuadro actual se compara con la meda de las dferencas prevas al cuadro en una ventana de un número de cuadros. S la dferenca supera en ó 3 veces la meda, entonces se marca como posble transcón gradual. Después, para los cuadros sucesvos se utlzará este umbral para dentfcar la transcón hasta que las dferencas no superen este umbral. Durante el período de la transcón puede ser que haya dferencas que no superen este umbral pero, mentras la gran mayoría sí lo haga se asumrá que el rango pertenece a la transcón Deteccón con mágenes DC En [5] se propone un algortmo de ventana deslzante. Muchos de los algortmos para la deteccón de cambos de plano, como el anteror, usan umbrales globales para evaluar dferentes métrcas. Sn embargo, ya que los cambos de plano son actvdades locales en el domno temporal, puede resultar más efcente fjar el umbral de acuerdo con las característcas locales. Esto reducría las deteccones falsas en casos de movmentos de cámara u objetos. Este algortmo utlza una ventana deslzante de tamaño m dferencas entre cuadros. Con la secuenca de mágenes DC de lumnanca: X, con,,..., N, se forman las secuenca de dferencas D, con,,..., N-, de la sguente manera: D d ( ) + X X X X, + m, n m, n m, n Se declara un cambo de plano de Xl a Xl+ s: La dferenca es la máxma dentro de una ventana smétrca de tamaño m-: D l Dl + j l m+,..., l, l +, l + m D l es tambén n veces el segundo valor más alto de la ventana. El parámetro m se fja a un valor menor que la dstanca temporal mínma entre dos cambos de plano. El segundo crtero se fja para evtar falsas deteccones en secuencas con zoom o cambos de luz. Utlzando tambén las funcones dferenca de las dos componentes de color y declarando un cambo de plano s las condcones se cumplen en alguna de las tres funcones, los resultados mejoran sn aumentar las falsas deteccones, según el artículo. Págna 45

10 Este método no detecta cambos graduales de escena o cambos bruscos de luz, ya que estos cambos tenen lugar en una sere de cuadros. Por este motvo se añade a este método un algortmo para detectar cambos graduales: se toma la dferenca de dos cuadros separados en k undades: k D d ( X, X + k ) Se declara un cambo de plano gradual s: k k o D D j j s, s +,..., + s, + s o k k k k D l D / + k o D l D + k / La prmera condcón asegura que hay muy poca varacón entre las dferencas en los cuadros alrededor de. Para asegurar que hay un cambo se necesta la segunda condcón, las dferencas deben ser mayores que varos cuadros antes y después de Deteccón con el método de amplfcacón de ventana doble En [] se calculan las dferencas de hstogramas para la lumnanca y las dos componentes de croma: D ( n) T M t h n ( t) hn ( t) donde hn-(t) y hn(t) son los hstogramas de energía de los cuadros n- y n, respectvamente. T es el número total de coefcentes DC de la componente del cuadro y se usa para normalzar la funcón dferenca. Las tres componentes se combnan para formar una sola funcón de dstanca: D( n) 3 Y, Cb, Cr D ( n) La presenca de un cambo de plano brusco se dentfcará como un mpulso en esta funcón y se detectará fáclmente con un umbral adecuado. En el caso de un cambo gradual la presenca se verá como un pco de pequeña ampltud y de una duracón mayor que uno y es más dfícl que se detecte. En prncpo se dseño el método de amplfcacón de ventana doble (Twn Wndow Amplfcaton Method) para hacer destacar los cambos graduales, pero funconó tambén en Págna 46

11 la deteccón de cambos abruptos. Antes de aplcar esta técnca, se ntenta reducr los errores de cuantzacón y truncamento ntroducdos durante la compresón del vídeo. Para esto se aplca un fltro paso de baja FIR a la funcón dstanca de cuadros. Esto se hace usando una ventana de longtud L y la meda de los valores de la funcón dstanca en la ventana se usa para reemplazar la dstanca de cuadro actual. La expresón de este proceso es la que sgue: F ( D( n), L) L L j 0 D ( n j) La codfcacón aprovecha la smltud entre cuadros adyacentes, ya que la correlacón entre éstos es muy alta. Por este motvo parece lógco pensar que el cocente entre dos dstancas medas de dos grupos de cuadros tendrá un valor muy próxmo a la undad. S hay un cambo de plano en alguno de los dos grupos el cocente se alejará de la undad. El uso del cocente de las dstancas medas en dos ventanas es en lo que se basa el método de amplfcacón de ventana doble, que usa esta funcón para detectar los cambos de plano: D TWAM L ( n) D( n A( D( n), L j) L j L ) F ( D( n), L j) L j 0 D( n D( n L ) j 0 j) Para la deteccón de los cambos de plano se aplca un umbral a esta funcón. Las lustracones 30 y 3 muestran las mejoras que ntroduce para la deteccón el uso de esta funcón: Págna 47

12 Ilustracón 3: Dstanca meda de las tres componentes Ilustracón 3: Dstanca con el método TWAM Deteccón por tpos de VOP En [3] se propone un algortmo basado en característcas estadístcas de los coefcentes DC y los vectores de movmento de la secuenca de vídeo. El algortmo señala posbles cambos de plano en cuadros de dferente tpo prmero, I o P, para tomar la decsón fnal después. Deteccón en cuadros tpo I: s un cambo de plano se produce en un cuadro tpo I, habrá muy poca nformacón codfcada, ya que no se envían vectores de movmento n Págna 48

13 resduales. Por esta razón para detectar s un cambo de plano se ha producdo en un cuadro I, se compara éste con el cuadro I anteror. Esto se hace en el domno frecuencal, comparándose los tres hstogramas dsponbles de cada cuadro. Las funcones dferenca de hstogramas se suman y se normalzan por el número de frecuencas bnaras del hstograma. La suma normalzada se eleva al cuadrado y se suma con las otras componentes: Sum Y Hst Hst 0 H Y ( f, ) H Y ( f, ) f ( SumY + SumCb SumCr ) Sum + La lustracón 33 muestra un ejemplo de la funcón que se utlza para detectar los cambos en cuadros I: Dstanca cuadros I Cuadro Ilustracón 33: Dferencas entre cuadros tpo I Deteccón en cuadros tpo P: s un cambo de plano se produce en un cuadro de tpo P, no se podrán usar muchos macrobloques del cuadro anteror para realzar la compensacón de movmento: por tanto habrá mayoría de macrobloques codfcados en modo ntra, sn compensacón de movmento. Por esta razón para detectar un cambo de plano en un cuadro P se utlza R p, el cocente entre el número de macrobloques ntra y el número de macrobloques nter. S hay un pco, se declara un cambo de plano: R p MB MB Intra Inter La lustracón 34 muestra la varacón de este parámetro: Págna 49

14 RP Cuadro Ilustracón 34: Parámetro R p por cuadro Deteccón con la característca generalzada de la secuenca Según [3] se pueden detectar los cambos de plano de una secuenca de vídeo a partr de unas característcas obtendas de ésta. Dada una secuenca de vídeo V, compuesta por N cuadros {f}, se defne la característca generalzada de la sguente manera: r x ] [ x, x T es el vector característco del par de cuadros {f, f + }. La característca generalzada, d, para la secuenca V se defne así: d r r x x+ La prmera característca corresponde a la medda de la dsmltud basada en la nterseccón de hstogramas de lumnanca de las mágenes DC de los cuadros (tenendo éstos el msmo número de píxeles, T): x K h ( j) h+ ( j) T j donde h y h + son los hstogramas de lumnanca de los cuadros f y f +, respectvamente y K es el número de bns o frecuencas bnaras utlzados. La segunda característca usada para la deteccón es el valor absoluto de la dferenca de desvacones típcas para la componente de lumnanca de las mágenes DC, es decr: Págna 50

15 x σ σ + con: σ T j ( Y (, j) µ ) y donde µ es el valor medo de la lumnanca de la magen DC. En [3] se elgeron estas dos característcas por varas razones: en prmer lugar, son fácles de extraer de la secuenca de vídeo y, además, el usar dos técncas dstntas, una basada en píxeles y otra en hstogramas, hace que se compensen las defcencas de las técncas por separado Deteccón LBDF En [9] se usa una funcón dferenca basada en los hstogramas de lumnanca (Lumnance Based Dstance Functon). Este algortmo mde el parecdo usando una correlacón normalzada de los hstogramas. La funcón utlzada es la sguente: LBDF ( H, H ) b H ( b) W ( H NT NT ( b)) donde NT x H x ( b ) W ( H x ( b )) y W ( H ( )) H ( + w) b w H y H son los hstogramas de lumnanca, b es una frecuenca bnara del hstograma y w es la anchura de una ventana centrada en. Para la deteccón se resta la funcón de correlacón de planos y la undad, y posterormente se normalza, para una mejor aprecacón de las dferencas. Para el umbral se utlza una ventana deslzante, se compara la dferenca con el resto de los valores dentro de la ventana y s supera los umbrales se detecta un cambo de plano Deteccón medante análss χ de los hstogramas de color En [4] se propone un método para la deteccón de cambos de plano basado en la dferenca de una combnacón de los hstogramas de color. Tomando la medda χ para una Págna 5

16 dstrbucón estadístca en forma de hstograma, se defne la dferenca global entre dos cuadros f a y f b, dados sus hstogramas de N bns, como: χ N 0 ( H ( H Cb Cb ( f ( f a a ) ) + H H Cb Cb ( f ( f b b )) )) + ( H ( H Cr Cr ( f ( f a a ) H ) + H Cr Cr ( f ( f b b )) )) Para detectar dónde se ha producdo un cambo de plano se compara el resultado con un umbral que se adapte a la secuenca a analzar. En este algortmo se usa una ventana deslzante, centrada en el cuadro que se esté analzando, a la que se aplca un fltro temporal dferencal. Cuando el cocente entre la dferenca entre el cuadro actual y los pasados es mucho mayor que las dferencas entre el resto de cuadros vecnos dentro de la ventana, se defne entonces el cuadro actual se como nuevo cuadro. Págna 5