TEXTURAS DE MOVIMIENTO: CAMPOS MARKOVIANOS MIXTOS Y SEGMENTACION

Transcripción

1 ISSN: Vol. 4, Núm. 4, Otubre 2007, pp TEXTURAS DE MOVIMIENTO: CAMPOS MARKOVIANOS MIXTOS Y SEGMENTACION Tomás Crivelli, Bruno Cernushi Frías y Patrik Bouthemy Laboratorio de Investigaión en Proesamiento de Señales e Imágenes y Redes Neuronales (LIPSIRN), Faultad de Ingeniería, Universidad de Buenos Aires, Paseo Colón 850, Buenos Aires, Argentina. CONICET, Argentina y IRISA/INRIA Campus de Beaulieu, Rennes Cedex, Frania tomas.rivelli@irisa.fr Resumen: El objeto de este trabajo es la modelizaión de movimiento en seuenias de imágenes que presentan ierta dinámia estaionaria y homogénea. En este aso se adopta un modelo de Campos Aleatorios Markovianos on estados mixtos, omo representaión de las llamadas texturas de movimiento. El enfoque onsiste en desribir la distribuión espaial de algún tipo de medida de movimiento, la ual onsiste de dos tipos de valores: una omponente disreta relativa a la ausenia de movimiento y una parte ontinua para mediiones diferentes de ero. Se proponen varias extensiones importantes y se aplia el modelo al problema de segmentaión de texturas, tanto en seuenias sintétias omo reales. Copyright 2007 CEA-IFAC Palabras lave: Campos Aleatorios Markovianos, segmentaión, texturas de movimiento. 1. INTRODUCCION El objeto de este trabajo es la modelizaión de movimiento en seuenias de imágenes, donde ierta dinámia estaionaria y homogénea está presente. En partiular, esenas relaionadas a fenómenos naturales umplen on esta araterístia (fuego, olas de mar, ríos, humo et). El problema ha sido reientemente analizado en el ontexto de las llamadas texturas dinámias (Doretto et al., 2003 ; Chan y Vasonelos, 2005). En términos generales, los mayores esfuerzos se han dediado a desribir la evoluión de la intensidad de brillo en el tiempo, utilizando modelos lineales. En este aso se adopta un modelo de Campo Aleatorio Markoviano (Markov Random Field, MRF) on estados mixtos, reientemente introduido en (Bouthemy et al., 2005) omo representaión de las llamadas texturas de movimiento. El enfoque onsiste en desribir la distribuión espaial de algún tipo de medida de movimiento, la ual onsiste de dos tipos de valores: una omponente disreta relativa a la ausenia de movimiento y una parte ontinua para mediiones diferentes de ero. Se proponen varias extensiones importantes al primer modelo introduido en (Bouthemy et al., 2005) permitiendo apturar más propiedades de las texturas en uestión. En primer lugar se onsidera un sistema de 8 veinos más eranos, lo ual resulta en un modelo mixto desrito por 11 parámetros. En segundo lugar, se asume una distribuión Gaussiana on media variable para la parte ontinua, lo ual permite expresar una mayor orrelaión espaial. Luego, se propone un método de segmentaión de texturas basado en el modelo desarrollado. Un aspeto original del mismo es que no se supone independenia ondiional para las observaiones de movimiento en ada textura (Cross y Jain, 1983). Además, y en onseuenia, no se despreian los términos de

2 T. Crivelli, B. Cernushi-Frias, P. Bouthemy 81 normalizaión (funiones de partiión), a diferenia de la mayoría de los métodos utilizados atualmente. Resultados sobre ejemplos reales y sintétios demuestran la efiienia y preisión del enfoque. 2. MODELO MRF MIXTO Para definir un Campo Aleatorio Markoviano neesitamos espeifiar dos osas: la primera es la estrutura de veinos del modelo, lo que es equivalente en una dimensión a espeifiar el orden de un proeso de Markov ; y en segundo lugar se requiere definir la forma de las distribuiones ondiionales. En onseuenia definimos la veindad N i de un punto i S = {1,2,3...n} de la imagen, omo el onjunto de 8 veinos mas eranos. Experimentos en simulaión de ampos markovianos, han demostrado que esta es una onfiguraión adeuada para apturar las propiedades prinipales y orientaión del ampo, pero manteniendo un número de parámetros pequeño. Asimismo, el modelo ondiional adoptado es el siguiente: p(x i N i ) = P i δ 0 (x i )+(1 P i ) f(x i N i )w 0(x i ) (1) on w 0 (x) la funión indiadora de valores no nulos y donde x i es la medida de movimiento en el punto i de la imagen, P i = P(x i = 0 N i ), δ 0 (x) es la funión Delta de Dira y f es una densidad de probabilidad ontinua. En onseuenia, se tiene una distribuión onsitente de dos partes: un omponente disreto para x i = 0 y uno ontinuo para x i 0. Este modelo otorga una espeial atenión al valor nulo de la variable aleatoria x i, el ual, en este aso, orresponde a la propiedad de no movimento para un punto. Esto es ruial en la formulaión presentada, en tanto que permite desribir texturas mas reales. Para la parte ontinua, f, se asume una densidad Gaussiana on varianza σ 2 y media m i, dependiente de N i. Luego se puede resribir (1) según: p(x i N i ) = exp Θ i T (N i ) S(x i )+ + log(g ν (x i ))w 0 (x i )+log(p i ) (2) donde w 0 (x)=1 w 0 (x) es el indiador del valor nulo. Para evitar inonsistenias, en lugar de δ 0 (x) se introdue g ν (x), donde δ 0 (x) debe interpretarse omo el límite en distribuión de la seuenia de funiones Gaussianas de media nula, g ν (x), on variana ν aproximándose a ero. S(x i ) R d es una estadístia sufiiente y en este aso: Θ i (N i ) = S(x i ) ) log( 1 Pi σ m2 i 2πP i = w 0 (x i), x 2 i, x i 1,, 2σ 2 2σ 2 m i σ 2 T(3) (4) El teorema de Hammersley-Clifford (Besag, 1974) garantiza que el modelo ondiional da lugar, y es oherente, on una distribuión onjunta de probabilidad. La forma general de la misma es una distribuión de Gibbs: p(x)=p(x 1,x 2,...x n )= eq(x) Z (5) donde Z es la llamada funión de partiión que normaliza la densidad de probabilidad, y Q(x) es una funión de energía. Definimos lique C S omo todo subonjunto de puntos tal que sus elementos son todos veinos dos a dos. El orden de un lique se define omo la antidad de elementos que lo omponen. Se puede demostrar, entones, que Q(x) puede expresarse en forma únia omo una suma de poteniales V C donde C S son liques, i.e. Q(x)= C S V C (x).sia S no es lique, entones V A = 0. Para un modelo ondiional de un parámetro que satisfae la suposiión de que pertenee a la familia exponenial de distribuiones y que depende úniamente de los liques que ontienen no más de dos puntos, i.e. auto-modelos, la expresión para el parámetro es onoida on respeto a las estadístias sufiientes de los veinos (Besag, 1974). En el aso de un auto-modelo multiparamétrio, el resultado de (Besag, 1974) fue extendido en (Bouthemy et al., 2005) mostrando que: Θ i (N i )=α i + β ij S(x j ) (6) on β ij R d d y α i R d. De la definiión de automodelo, los poteniales asoiados son no nulos solo para liques de primer o segundo orden. Luego se puede esribir para la distribuión de Gibbs: Q(x)=V i (x i )+ i S <i, j> S V ij (x i,x j ) (7) V i (x i )=α T i S(x i )+log(g ν (x i ))w 0 (x i ) (8) V ij (x i,x j )=S T (x i )β ij S(x j ) (9) De esta forma queda definida la funión de probabilidad onjunta a partir del modelo ondiional. 3. PARAMETROS DEL MODELO De la euaión (3) se pueden relaionar los párametros P i,σ,m i on los omponentes de Θ i = θ 1,i,θ 2,i,θ 3,i T obteniendo: P i = (σ 2π) 1 (σ 2π) 1 + e θ 1,i+ m2 i 2σ 2 (10) σ 2 = (2θ 2,i ) 1 (11) m i = θ 3,i 2θ 2,i (12)

3 82 Texturas de Movimiento: Campos Markovianos Mixtos y Segmentaión Asumiendo un modelo homogéneo, de las euaiones (7), (8) y (9) se requiere que α i = α y β ij = β T ji = β j. Definimos entones: β j = d j e j f j e j g j q j f j q j h j α = a b T (13) De (6) quedan finalmente expresados los parámetros de la distribuión exponenial para un punto, dado los veinos: θ 1,i = a+ d j w 0(x j ) e j x 2 j + f j x ij θ 2,i = b+ e j w 0(x j ) g j x 2 j + q j x ij θ 3,i = + f j w 0(x j ) q jx 2 j + h j x ij (14) Varias simplifiaiones pueden haerse. En primer lugar, de la segunda línea de (14) vemos que imponiendo σ omo onstante para todo punto, e j = g j = q j = 0. Luego de la propiedad β ij = β ji T se dedue que e j = q j = 0. En segundo lugar se observa que el parámetro θ 1,i determina en parte a P i. Si en la euaión (14) no imponemos f j = 0, los valores arbitrarios (positivos y negativos) que toman los veinos x j provoarían una asimetría en P i, on respeto a mediiones iguales pero de distinto signo (debido a la forma de la euaión (10)). Es deir, un valor de x j on una determinada magnitud y signo positivo no influiría de la misma forma en P i que una mediión de igual magnitud y signo opuesto, lo ual no tiene sentido físio. Luego, f j = f j = 0. Finalmente el modelo resulta en: β j = d j h j y de la euaion (6), se obtiene: θ 1,i θ 2,i θ 3,i α = a b T = a+ d j w 0(x j ) (15) = b = + h j x j (16) Aqui, podemos ver que se puede imponer h j 0, en virtud de obtener un esquema ooperativo, ya que estos oefiientes estan relaionados on la media m i. Obviamente b > 0 dado que define la varianza ondiional y podemos notar, además, que los oefiientes d j y h j orrespondientes a veinos simétrios deben ser iguales para definir un proeso estaionario on uatro direiones de interaión (v: vertial, h:horizontal, d:diagonal prinipal, ad: anti-diagonal). Finalmente se tiene un onjunto de 11 parámetros que araterizan el modelo de textura de movimiento, φ = {a,b,,d h,h h,d v,h v,d d,h d,d ad,h ad }. Una ondiión neesaria para el modelo onjunto es que debe satisfaer Ω eq(x) < para estar bien definido. De las euaiones (7), (8) y (9) se observa que Q(x) es de la forma Q(x)= y T (x)ry(x), on y(x) reiendo linealmente en el límite. En onseuenia, la ondiión de integrabilidad se redue a garantizar que la matriz R es positiva definida. Esta matriz es de una forma partiular: todas sus filas suman el mismo valor, ya que el modelo es homogéneo ( i h ij = h j ); los elementos de la diagonal son todos iguales a b; y es simétria. Luego tenemos el siguiente teorema: Teorema 1. Para un modelo de estados mixtos ooperativo y homogéneo, omo el definido en (16), la distribuión onjunta asoiada se enuentra bien definida si y solo si b > j h j 2. Demostraión. Podemos en primer lugar demostrar que la ondiión requerida es sufiiente por apliaión del teorema de los Disos de Gersgorin (Horn y Johnson, 1986) el ual garantiza que todos los autovalores de la matriz R son positivos si b > j h j 2, donde podemos quitar el módulo ya que h j > 0. La parte neesaria se demuestra observando que el vetor x =111..,1 T es un autovetor de R, Rx = λx, donde h λ = b j j 2 el ual neesariamente debe ser positivo 4. ESTIMACION DE PARAMETROS En virtud de estimar los párametros del modelo de textura a partir de las mediiones de movimiento, se adopta el riterio de maximizaión de la funión de pseudo-verosimilitud, introduida por Besag (1974), ya que la formulaión exata de máxima verosimilitud es en general intratable. Luego, busamos el onjunto de parámetros ˆφ que maximiza la funión L(φ) = i S p(x i N i,φ). Se utiliza una ténia de desenso por gradiente para la optimizaión ya que las derivadas de L on respeto a φ son onoidas en forma errada. 5. SEGMENTACION DE TEXTURAS 5.1 Mediión de movimiento Como se propone en (Bouthemy et al., 2005; Fablet y Bouthemy, 2003) onsideramos omo mediión loal de movimiento al flujo normal. Sin embargo, en

4 T. Crivelli, B. Cernushi-Frias, P. Bouthemy 83 ontraste on (Bouthemy et al., 2005; Fablet y Bouthemy, 2003), no tomamos solo su magnitud, sino su expresión vetorial definida por V n (x,y)= I t(x,y) I(x, y) I(x,y) I(x,y) (17) donde I(x, y) representa la intensidad de brillo en un punto e I t (x,y) la variaión temporal de I(x,y). Luego, se introdue un promediado del flujo normal on el objeto de reduir el ruido de las mediiones: V n (x,y ) I(x,y ) 2 (x Ṽ n (x,y)=,y ) W max( I(x,y ) 2,η 2 ) (x,y ) W (18) donde η 2 es una onstante, omo en (Fablet y Bouthemy, 2003), y W es una pequeña ventana entrada en (x, y). Finalmente, se onsidera la siguiente expresión esalar, para el denominado movimiento residual: v res (x,y) = Ṽ n (x,y) I(x, y) I(x,y) (19) la ual proyeta la versión promediada del movimiento normal sobre la direión del gradiente espaial, resultando en v res (,+ ). En este punto es importante relaionar la naturaleza de las medidas de movimiento reién definidas, on la neesidad de formular un modelo de estados mixtos. A partir del análisis estadístio de los datos de movimiento obtenidos de seuenias de texturas de movimiento reales, se observa que, si omputamos los histogramas de movimiento orrespondientes (figura 1), efetivamente la distribuión de los valores de v res tiene dos omponentes: una omponente disreta en el valor nulo v res = 0, y una distribuión ontinua para el resto de los valores de movimiento. 5.2 Método de segmentaión El problema de segmentar diferentes texturas de movimiento en una seuenia de imágenes puede formularse omo un proeso de asignaión de etiquetas o labels a ada punto de la imagen. Se adopta el riterio MAP (Maximum a Posteriori) en un esquema Bayesiano de estimaión. Entones, se busa una realizaión de labels l = {l i }, donde l i {1,2,...,} es el valor de la etiqueta, que maximie p(l x) p(x l)p(l), donde x representa el mapa de movimiento v res. Si se supone que las diferentes texturas provienen de fenómenos dinámios independientes, dado el ampo de labels, podemos esribir: p(x l)= p(x k )= e Q k(x k ) Z k (l) (20) donde Q k (x k ) es la funión de energía orrespondiente al modelo mixto para la lase de texturas k y dependiente solo de los puntos asignados on diha etiqueta, x k. Z k (l) es la funión de partiión de ada lase. Esto permite onsiderar dependenia ondiional entre observaiones. Estritamente hablando, en la euaión (20) estamos suponiendo que el número de pixels que perteneen a los bordes entre texturas es pequeño en omparaión al número de puntos interiores, de modo que la interaión entre texturas puede despreiarse. Atualmente se estan investigando modelos que tengan en uenta estos fenómenos. Para la informaión a priori sobre el ampo de labels, p(l), introduimos un nuevo ampo aleatorio de Markov de 8 veinos que se omporta omo un término de regula- rizaión para el proeso de asignaión de etiquetas. De este modo p(l) expq S (l) on: Q S (l)= i γ(2i 0 (l i l j ) 1) (21) donde I 0 (z) es la funión indiadora de argumento nulo. p(l) penaliza las diferenias de etiquetas entre puntos adyaentes, suavizando el proeso de segmentaión. La formulaión ompleta puede ser expresada, entones, omo el problema de maximizar la energía: E(l)= Q k (x k ) log(z k (l))+q S (l) (22) Aqui se propone un método de segmentaión basado en un modelo general no neesariamente Gaussiano. Esto implia que la funión de partiión Z k no puede ser desartada ya que para ada textura la esala de energía Q k puede ser muy diferente, de modo que la normalizaión es ruial. No onsiderar estos fatores puede llevar a una prevalenia de una textura sobre la otra en términos energétios, resultando en una inorreta segmentaión. 5.3 Maximizaión de la Energía La maximizaión de la euaión (22) se lleva a abo utilizando la ténia de simulated annealing mediante la ual se asignan etiquetas a los puntos de la imagen (Geman y Geman, 1984). El problema se redue a omputar iterativamente variaiones de energía ΔE, on respeto a ambios de labels, para una posiión elegida aleatoriamente. Habiendo estimado los parámetros de una textura podemos utilizar las euaiones (7) y (21) para este fin. Para el álulo de Δlog(Z k (l)) (ver euaión 22), notemos en primer lugar que a partir del teorema fuerte del límite de Szego 1, tenemos asimptótiamente que 1 El teorema de Szego demuestra que el logaritmo del determinante de matries de ovarianza on estrutura asimptótiamente Toeplitz tiene esta forma.

5 84 Texturas de Movimiento: Campos Markovianos Mixtos y Segmentaión Figura 1: Arriba: imágenes de esenas reales. Abajo: histogramas obtenidos a partir de las medidas de movimiento propuestas. Se observa la presenia de un omponente disreto y uno ontinuo log(z k (l)) log(α k )N k (l)+µ k, donde N k (l) es la dimensión del vetor x k, i.e. el onjunto de puntos asignados on el label l k. Por lo tanto, asimptótiamente el logaritmo de la funión de partiión ree linealmente on N k. Como simplifiaión, si las observaiones fueran independientes, la funión de partiión tomaría la forma log(z k (l)) = log(ρ k )N k (l), donde ρ k es la funión de partiión para la distribuión de un solo punto. En la figura 2 observamos el aso de un ampo de 150x150 puntos, generado artifiialmente donde dos texturas estan separadas por una urva definida. El resultado de la segmentaión es muy satisfatorio omo se puede apreiar en la imagen de la dereha. Basándonos en estos resultados, podemos aproximar Δlog(Z k (l)) log(ρ k ) y entones se puede demostrar que ρ k = 1/P on P la probabilidad global de movimiento nulo, tal y omo se obtiene de la euaión (2). Esto da una primera aproximaión al ómputo del fator de normalizaión para el proeso de segmentaión de diferentes texturas. El enfoque presentado aqui es totalmente general para un número arbitrario de lases. (a) (b) 6. RESULTADOS Hemos apliado el método de segmentaión de texturas en seuenias sintétias y reales on dos texturas de movimiento ( = 2). En primer lugar se requiere estimar los parámetros de las diferentes texturas presentes en la imagen. Luego de omputar el flujo normal a partir de dos imágenes onseutivas de la seuenia, dividimos el mapa de movimiento en bloques de 40x40 puntos y para ada bloque se obtiene un estimado de los parámetros. Luego se aplia un proeso de lustering en virtud de obtener una primera lasifiaión en dos lases (bloques omunes a dos texturas pueden ser fáilmente desartados en esta etapa). A ontinuaión se reomputan los parámetros para ada luster obteniéndose un estimado para ada modelo. A partir de aqui se iniia el proeso de segmentaión por simulated annealing. Figura 2: a) mapa de movimiento sintétio, b) resultado del proeso de segmentaión En la figura 3 a) analizamos la situaión en la ual tenemos una textura de movimiento sobre un fondo estátio. El tamaño de las imágenes es de 320x240 pixels. Se muestra en la segunda olumna el mapa de movimiento medido, v res. Este es un aso donde se presentan regiones múltiples perteneientes a la misma lase. Los resultados son nuevamente bastante preisos. Cabe destaar en este aso que el fondo estátio es en si mismo una textura de movimiento según la definiión del modelo, ya que es solo un aso espeial de textura mixta, donde todos los puntos están quietos. En la figura 3 b) onsideramos otra esena real de la naturaleza. Consiste en dos árboles superpuestos movidos por el viento. El proeso de segmentaión muestra que ambas regiones prinipales son separadas adeuadamente. Este es un aso omplejo dado que

6 T. Crivelli, B. Cernushi-Frias, P. Bouthemy 85 a) b) ) Figura 3: Izquierda: imágenes originales. Centro: mapa de movimiento. Dereha: resultado del proeso de segmentaión. los árboles presentan similares texturas de intensidad y movimiento. Finalmente, en la figura 3 ) hemos omprobado satisfatoriamente el funionamiento del algoritmo de segmentaión propuesto sobre una seuenia de imágenes que onsiste en dos texturas de movimiento, donde una región irular asoiada a una textura de vapor fue superpuesta a una seuenia de olas. Las imágenes son de tamaño 150x150 pixels. 7. CONCLUSION de la evoluión temporal de las medidas de movimiento, un estudio profundo de las funiones de partiión, modelos para los bordes entre texturas, lasifiaión de mas de dos lases. Otra línea de investigaión en onsideraión por los autores es la posibilidad de utilizar Campos Aleatorios Markovianos Condiionales (Conditional Markov Random Fields), lo ual permitiría onsiderar situaiones aún mas omplejas introduiendo informaión ontextual adiional. El modelo de estados mixtos propuesto ha mostrado ser una adeuada representaión de las llamadas texturas de movimiento permitiendo desribir ontenidos dinámios omplejos on poos parámetros. Además, un enfoque original de segmentaión fue introduido sin asumir independenia ondiional entre las observaiones de una textura. De los experimentos puede observarse que, para problemas de dos lases, los resultados fueron satisfatorios. Atualmente se estan investigando otros aspetos relaionados on texturas de movimiento: la inlusión REFERENCIAS Besag, J. (1974). Spatial interation and the statistial analysis of lattie systems. Journal of the Royal Statistial Soiety. Series B. vol. 36. pp, Bouthemy et al. (2005). Auto-models with mixed states and analysis of motion textures. Teh Report IRISA, Frania. Chan, A.B y Vasonelos, N (2005). Mixtures

7 86 Texturas de Movimiento: Campos Markovianos Mixtos y Segmentaión of dynami textures, 10th IEEE Int. Conf. on Computer Vision, ICCV Beijing, pp Cross, G.R y Jain, A. K. (1983). Markov random field texture models, IEEE Trans. Pattern Analysis and Mahine Intelligene, vol. 5, no. 1, pp Doretto et al. (2003). Dynami texture segmentation, 9th IEEE Int. Conf. on Computer Vision, ICCV Nie, pp Fablet, R y Bouthemy P. (2003). Motion reognition using non-parametri image moion models estimated from temporal and multisale oourrene statistis, IEEE Trans. Pattern Analysis and Mahine Intelligene. vol 25 pp, Geman, S. y Geman, D. (1984). Stohasti relaxation, Gibbs distributions, and the Bayesian restoration of images, IEEE Transations on Pattern Analysis and Mahine Intelligene, vol. 6, pp Horn, R. y Johnson, C. (1986) Matrix analysis. Cambridge University Press, New York, NY, USA. Szummer, M y Piard, R. (1996). Temporal texture modelling, 3rd IEEE Int. Conf. on Image Proessing, ICIP 96. Lausane, pp Yuan et al. (2004). Synthesizing dynami textures with losed-loop linear dynami systems, 8th European Conf. on Computer Vision, ECCV Prague. vol. LNCS 3022, pp