Segmentacón robots móvles en espacos ntelgentes utlzando técncas GPCA mnmzacón de funcones de energía Crstna Losada, Manuel Mazo, Sra Palazuelos, Francsco edondo Departamento de Electrónca. Unversdad de Alcalá Alcalá de Henares, Madrd, España losada@depeca.uah.es Abstract En este trabao se aborda el tema de la segmentacón de obetos en movmento en espacos ntelgentes utlzando técncas de Análss de Componentes Prncpales Generalzado (GPCA), unto con métodos basados en la mnmzacón de una funcón de energía. Para ello se propone, de forma preva a la segmentacón, realzar la ncalzacón del conunto de curvas que defnrán los contornos de los obetos segmentados medante GPCA. Posterormente, se realza la mnmzacón de una funcón de energía que permte obtener la segmentacón, los parámetros de movmento 3D, la poscón de cada uno de los obetos en movmento presentes en la escena. Para aumentar la robustez de los algortmos se ncorpora en la mnmzacón la nformacón dsponble en el espaco ntelgente. Esta propuesta ha sdo mplementada en un espaco ntelgente dotado de múltples cámaras se han realzado dversas pruebas que han puesto de manfesto la valdez de la propuesta la notable meora que supone, en cuanto a la precsón de la segmentacón el tempo de procesamento, s se compara con otras propuestas en las que se utlza úncamente la mnmzacón de la funcón de energía para la segmentacón de obetos en movmento.. ODUCCÓ La segmentacón de movmento es una tarea fundamental para el análss de secuencas de mágenes consste en agrupar la nformacón presente en las msmas en conuntos de píeles cuo movmento en el plano magen es coherente a lo largo de una secuenca. odo ello sn tener un conocmento prevo acerca de qué píeles de la magen se mueven de acuerdo a un determnado modelo de movmento. El análss de movmento en secuencas de mágenes dgtales tene un gran nterés para una ampla gama de aplcacones de la vsón artfcal, tales como robótca móvl, vglanca, montorzacón de tráfco, etc. Esten en la lteratura dferentes técncas que tratan de analzar etraer nformacón acerca del movmento de los obetos en una escena. Las prmeras apromacones son las basadas en las dscontnudades del fluo óptco [], []. Éstas técncas presentan nconvenentes dervados del problema de apertura, así como de la presenca de rudo en las estmacones del fluo óptco. Por otro lado, la segmentacón del movmento ha estado tradconalmente lgada con la deteccón de movmento, en la que cada regón corresponde a un modelo partcular de movmento que eplca los cambos temporales en dcha regón de la magen [3], [4]. ambén se han realzado dferentes propuestas para segmentacón de movmento basadas en técncas de clusterng [5], [6]. Fnalmente, en [7] [8] se propone obtener la segmentacón de movmento rígdo 3D a partr de una funcón de energía obtenda en funcón de tres grupos de varables drectamente relaconadas con el movmento. Dcha funcón, tras la ncalzacón de los parámetros, se mnmza empleando un algortmo teratvo en tres etapas que se repte hasta la convergenca. Como se muestra en [7] [8], es posble realzar la segmentacón de múltples movmentos 3D ndependentes, sn embargo, aunque es posble obtener buenos resultados, este algortmo presenta dversas lmtacones: en prmer lugar, tanto los resultados obtendos, como el número de teracones necesaras hasta la convergenca dependen fuertemente de la ncalzacón, así como de las constantes que ponderan la contrbucón de cada uno de los térmnos a la funcón de energía. Además, se trata de un algortmo lento, a que, según se ndca en [8], el número de teracones necesaras hasta alcanzar la convergenca oscla entre 7.. En la seccón se descrbrá el sstema propuesto. A contnuacón, en los apartados V se eplcarán con maor detalle las etapas de ncalzacón mnmzacón de la funcón de energía, fnalmente, en la seccón V se presentarán los resultados obtendos.. SSEMA POPUESO En este trabao se propone un algortmo robusto de segmentacón de movmento rígdo 3D en espacos ntelgentes, a partr de las mágenes captadas por una cámara fa en el entorno. Las etapas que contempla la solucón propuesta se representan en la Fg.. La medda del movmento en cada par de mágenes consecutvas se realza de forma ndrecta medante las dervadas parcales (espacales temporal). especto a la segmentacón posconamento de los obetos móvles, el algortmo utlzado está basado en la mnmzacón de una funcón de energía () obtenda a partr de la restrccón de brllo 3D según se descrbe en [7]
E = [ Z ] { γ },{ },{ ω } = =, = ψ = Ω ( ) d + μ g( Z ) Ω = d + λ = donde λ μ constantes reales postvas que ponderan la contrbucón de cada uno de los térmnos de la ecuacón = (, ) es el operador gradente espacal. Dado que esta funcón depende de tres grupos de n parámetros (los contornos de la segmentacón { γ }, = las componentes de velocdad 3D, lneal angular, en el sstema de referenca de la cámara { } n, ω la = profunddad Z) para su mnmzacón se emplea un algortmo greed formado por tres etapas que, tras la ncalzacón de las curvas la profunddad, se repten hasta la convergenca del algortmo. Fg.. Escena 3D obot(s) Datos calbracón Meddas Odometría Generacón de traectora γ Obtencón de dervadas ds Dagrama de bloques del sstema propuesto () Para salvar las lmtacones nherentes a esta técnca de segmentacón, que han sdo comentadas en la ntroduccón, en este trabao se propone realzar la ncalzacón de las curvas usando la técnca matemátca GPCA, así como nclur la nformacón dsponble en el espaco ntelgente tanto en la ncalzacón como en las etapas de segmentacón posconamento 3D. Fnalmente, tras el posconamento, es posble determnar la traectora a segur por cada uno de los robots envar los comandos de guado.. CALZACÓ ncalzacón de varables Segmentacón de movmento Obtencón de la poscón de obetos en movmento La correcta ncalzacón de las curvas que defnrán los contornos de los dferentes obetos segmentados nflue de forma notable tanto en los resultados de la segmentacón, como en el tempo de cómputo del algortmo a que cuanto más prómas estén las curvas ncales a los contornos de los obetos en movmento, menor será el número de teracones necesaro hasta alcanzar la convergenca. En este trabao en el que la segmentacón se realza a partr de las mágenes tomadas por una cámara fa en un entorno nteror se propone realzar un modelado del fondo de la escena a partr de un conunto de mágenes del msmo, posterormente comparar cada par de mágenes con dcho modelo. anto para la obtencón del modelo de fondo como para la comparacón de las mágenes de entrada con el modelo obtendo se emplea la técnca GPCA (Generalzed Prncpal Components Analss) [9]. En los sguentes apartados se descrben las dferentes etapas en las que se dvde el proceso de ncalzacón de las curvas la profunddad. A. ncalzacón de las curvas. Etapa off-lne: Obtencón del modelo de fondo En la prmera etapa del algortmo, usando la técnca GPCA [9] se obtenen dos matrces de transformacón L a partr de un conunto de mágenes del fondo { }. Estas matrces permten proectar cualquer = magen de fondo al espaco transformado, de dmensón nferor a la del espaco de entrada, mantenendo las característcas prncpales de dcha magen. Las matrces que defnen el modelo de fondo se obtenen a partr de un conunto de mágenes a las que se les ha restado prevamente la magen meda () = = =.. () Estas mágenes a las que se les ha sustraído la meda son las que se utlzaran para la obtencón del modelo de fondo medante el proceso teratvo descrto en [9] que fnalza cuando se la varacón del MSE (3) entre una teracón la anteror es nferor a un umbral fado prevamente (η). La convergenca de este proceso está garantzada por el teorema 4. defndo en [9]. MSE( ) = L L (3) n F = Un parámetro fundamental es el número de autovectores utlzados para obtener las matrces M M L (4) (5). M = L L (4) M = L = = (5) donde L se actualzan en cada teracón del algortmo, dependen de los autovectores de las d L d matrces M M L, ({ φ } = { φ } = ) obtendas en la teracón anteror: [ φ, K, φd ] L L [ φ,, φ ] = (6) L = (7) K d
ras alcanzar la convergenca se obtenen las matrces de transformacón como las matrces L = L = sendo la teracón en que el algortmo converge. B. ncalzacón de las curvas. Etapa on-lne. Obtencón de las curvas ncales En esta segunda etapa (Fg. ) se compara el modelo de fondo obtendo con cada par de mágenes que se quere segmentar para, de esta forma, determnar qué píeles son canddatos a pertenecer a obetos que han entrado en la escena después de haber tomado las mágenes del fondo. Estos elementos pueden ser tanto robots móvles controlados por el espaco donde se mueven, como obetos con movmento no controlado, o ncluso nuevos elementos fos, que se han ntroducdo en la escena después de captar las mágenes utlzadas para obtener el modelo de fondo brllos o refleos debdos a cambos en la lumnacón. Matrces de ransf. L, Fg.. mágenes del robot ransformacón = L ( M) ecuperacón = L + M Etapa on-lne. ncalzacón de curvas usando GPCA Para la comparacón de las nuevas mágenes con el modelo de fondo en prmer lugar se proecta la magen al espaco transformado defndo por las matrces L obtendas anterormente (8) a contnuacón se realza la recuperacón de la magen (9): = L ( M) (8) = L + M (9) El error de recuperacón se defne como la dferenca entre la magen orgnal la recuperada, puede obtenerse de forma drecta restando la magen recuperada de la orgnal de forma que el error de recuperacón en el píel de coordenadas (w,) se epresa empleando la epresón () donde es el valor del píel en la magen orgnal e Î su valor en la magen recuperada. ε = ˆ () Sn embargo, esto es poco robusto al rudo, por ello se defne una ventana en torno a cada píel de la magen se obtene el error de recuperacón para esa ventana. Se defnen ventanas cuadradas de qq píeles se dentfcan por Ф Φˆ para la magen orgnal Umbralzar error de recuperacón ε = φ ˆ φ Curva GPCA recuperada respectvamente. El error de recuperacón asocado al píel central de la ventana cuas coordenadas son (w, ) se determna como: ε = Φ Φˆ () Los píeles canddatos a pertenecer a obetos en movmento (alrededor de los que se ncalzarán las curvas) serán aquellos en los que el valor de recuperacón obtendo supere un determnado umbral, a que esto ndcará que, en esos píeles, este una dferenca mportante con respecto a las mágenes del fondo utlzadas para la obtencón del modelo. Fg. 3. (a) (b) Curvas ncales (a) crcunferenca (b) curva obtenda usando GPCA En la Fg. 3 se muestra la dferenca entre la ncalzacón con crcunferencas [7] la curva obtenda usando el algortmo basado en GPCA propuesto en este trabao. Se puede observar cómo en la fgura de la derecha, la curva se aproma al contorno del robot. Esto hace posble obtener la segmentacón las velocdades en un número de teracones mucho menor. Sn embargo, en la fgura tambén se puede observar cómo la curva obtenda con GPCA nclue la sombra que proecta el robot sobre el suelo. Esto puede provocar problemas en la segmentacón, debdo a que la sombra se desplaza a la msma velocdad que el robot, de forma que no es sencllo elmnarla en la etapa de segmentacón de movmento. Por este motvo, se ha ncludo en la ncalzacón un proceso de elmnacón de sombras que se descrbe a contnuacón. C. Elmnacón de sombras El proceso de elmnacón de sombras mplementado está basado en la técnca propuesta en []. Sn embargo, en lugar de dvdr dos de las componentes de color, entre la tercera, para evtar que los resultados aparezcan sesgados haca alguno de los canales de color, la magen se normalza dvdendo cada una de las componentes, G, B, entre la meda geométrca de las tres para, a contnuacón, tomar logartmos () proectar la magen a un espaco D, utlzando PCA para obtener la matrz U (3) que permte la transformacón del espaco orgnal 3D ρ a un espaco D χ.
ρ = log, G, B 3 3 = () = χ = U ρ (3) Fnalmente, medante la ecuacón (4) es posble proectar χ a una magen nvarante en escala de grses. Debdo a que no se ha realzado la calbracón en color de las cámaras antes de captar las mágenes, el ángulo θ de proeccón al espaco nvarante a la lumnacón se obtene como aquel que mnmza la entropía del hstograma de la magen proectada []. nv = χ cos θ + χ senθ (4) Una vez obtenda la magen nvarante se obtene la norma del gradente tanto de la magen en entrada en escala de grses, como de la magen nvarante (4). Se consderan bordes de sombras los píeles en los que la norma del gradente de la magen orgnal supera un umbral dado, mentras que la norma del gradente de la magen nvarante es nferor a un segundo umbral. De esta forma se defne la funcón de umbral (5). Ambos umbrales (U g U nv ) se han obtendo de forma epermental. g (, ) > U g, nv(, ) < Unv S = (5) resto En la Fg. 4 la curva resultante tras aplcar el proceso de elmnacón de sombras a la curva ncal obtenda con GPCA (Fg. 3(b)) Fg. 4. Curva ncal tras la elmnacón de la sombra D. ncalzacón de la profunddad En la etapa de ncalzacón, tambén es necesaro asgnar un valor a la profunddad (coordenada Z en el sstema de referenca de la cámara). En nuestro caso se ha decddo emplear las meddas de odometría del robot en caso de que estén dsponbles con obeto de que el valor ncal de la profunddad sea lo más prómo posble al valor fnal de la msma. De esta forma, por cada par de mágenes de la secuenca, se obtene un valor de la profunddad a partr de las meddas dsponbles en el espaco ntelgente ncalzándose la profunddad como un plano a la dstanca a la que se encuentra el fondo en la parte eteror a las curvas obtendas en la ncalzacón, un segundo plano a la dstanca calculada para los puntos nterores de la curva. En la Fg. 5 se muestra la Z ncal para una magen de la secuenca. Fg. 5. Profunddad ncal V. MMZACÓ DE LA FUCÓ DE EEGÍA ras la ncalzacón de las curvas la profunddad, la mnmzacón de la funcón de energía () se realza en tres pasos que se repten hasta alcanzar la convergenca. Estas etapas se descrben brevemente a contnuacón: En la prmera etapa, se suponen conocdas las curvas la profunddad, de forma que la funcón de energía a mnmzar se reduce a (6): E ({ } { ω } ) ( ), = = = d (6) = Ω donde Ψ = t + s + q ω s q son los sguentes Z vectores que dependen de la dstanca focal de la cámara f las dervadas parcales (, ) f ( ) f + f s = f = ( + ) q f f + En [7], tenendo en cuenta que ψ depende lnealmente de ω, la mnmzacón se realza resolvendo un sstema de ecuacones lneales medante mínmos cuadrados, sn embargo, las pruebas realzadas han puesto de manfesto que, dado que el número de muestras dentro de cada regón es mu elevado para las mágenes utlzadas, los resultados obtendos con esta técnca dstan en gran medda de los esperados, ntroducendo un error que afecta al resto de etapas del algortmo. Por este motvo, en este trabao se propone obtener los parámetros de movmento en cada regón, como aquellos que mnmcen el error cuadrátco (7) para cada una de las regones en las que las - curvas dvden la magen. ε (, ) = + ( ) + ( ) ( ) Ω ( ) ω t s q ω (7) Z
En la segunda etapa la funcón a mnmzar para recuperar la profunddad es la mostrada en (8) donde χ es la funcón característca de la regón Ω, a partr de la que se actualza el valor de la profunddad medante una teracón de descenso por el gradente. E ( Z ) = [ ( ) ( ψ ( ) + μg( Z )] χ d (8) Ω = En la tercera últma etapa, dada la profunddad los parámetros del movmento rígdo 3D, la funcón de energía a mnmzar con respecto a las curvas es: E[ { γ } ] = ( ) ξ + = d λ = Ω = γ donde ξ ( ) = ψ ( ) + μg( Z ) ds (9). A partr de esta ecuacón es posble actualzar las curvas medante una teracón del descenso por curvas de nvel. El proceso de mnmzacón fnalza cuando se alcanza la convergenca, obtenéndose tanto los parámetros de movmento 3D, como las curvas que defnen la segmentacón, la poscón 3D del obeto. Ya que, conocda la profunddad, es posble proectar los puntos del plano magen, al sstema de referenca 3D de la cámara. V. ESULADOS Para comprobar las prestacones del algortmo propuesto se han realzado dversos epermentos. odas las pruebas han sdo realzadas utlzando un equpo ntel Core CPU 66 a.4ghz con 3.5 Gb de memora AM. (a) En las fguras 3 4 se han presentado dos posbles curvas para ncalzar el algortmo. A contnuacón se muestra el resultado de la segmentacón en cada uno de los casos. En la Fg. 6(a) se puede observar cómo tras teracones, s la ncalzacón se hace con una crcunferenca, aún no se ha consegudo la segmentacón del robot completo mentras que, en la Fg. 6(b) se muestra cómo tres teracones son sufcentes para obtener la segmentacón al ncalzar usando la técnca propuesta. Por otro lado, en la Fg. 7 se ha representado el tempo de eecucón para cada una de las dos alternatvas de ncalzacón, al segmentar dferentes pares de mágenes de entrada, representándose en el ee X la poscón que ocupa la prmera de las dos mágenes utlzadas en la segmentacón, dentro de la secuenca de mágenes, mentras que en el ee Y se muestra el valor del tempo de eecucón en segundos. En esta fgura se puede observar cómo el tempo de cómputo necesaro para la segmentacón se reduce de forma sgnfcatva al realzar la ncalzacón utlzando la técnca basada en GPCA que se ha propuesto en este trabao, frente a la ncalzacón con crcunferencas propuesta en [7]. Fg. 7. empo (segundos) 8 6 4 ncalzacón con crcunferenca ncalzacón usando GPCA 3 4 5 6 7 8 9 magen empo de procesamento para la segmentacón de pares de mágenes. A la vsta de las fguras anterores se puede decr que el hecho de realzar la ncalzacón de las curvas utlzando la técnca GPCA provoca una meora, tanto en la precsón de la segmentacón, como en el tempo de cómputo necesaro. Algortmo Odometra.8.6.4. Fg. 6. (b) esultado de la segmentacón (a) teracones, ncalzacón con crcunferencas (b) 3 teracones, ncalzacón usando GPCA 8 6 4 Coordenada Y 5 5 Coordenada X
Fg. 8. raectora seguda por el robot. El algortmo propuesto tambén permte recuperar la poscón 3D de los obetos en movmento. En la Fg. 8 se presenta la traectora obtenda a partr de las meddas de odometría (en línea contnua negra) medante el algortmo propuesto (línea dscontnua roa). anto la coordenada X como la Y se muestran en mlímetros. Fnalmente, la Fg. 9 muestra la dferenca en mlímetros de la coordenada X e Y entre las meddas de la odometría del robot, la estmacón realzada usando el algortmo propuesto para una secuenca de 5 pares de mágenes consecutvas capturadas en el espaco ntelgente. Se puede observar cómo dcha dferenca no supera en nngún caso los centímetros. Dferenca en la componente X (mm) Dferenca en la componente Y (mm) Fg. 9. 4 3 4 5 úmero de magen 6 4 3 4 5 úmero de magen Dferenca entre la poscón 3D medda por los sensores odométrcos del robot la estmada por el algortmo propuesto V. COCLUSOES En este trabao se ha presentado un sstema que permte la segmentacón de los dferentes obetos en movmento presentes en una secuenca de mágenes utlzando un algortmo teratvo en tres etapas que se repten hasta la convergenca. anto el tempo de cómputo del algortmo, como los resultados fnales del msmo dependen fuertemente de la ncalzacón realzada. En este trabao se ha propuesto realzar la ncalzacón de las curvas medante la comparacón de cada par de mágenes de la secuenca con un modelo del fondo utlzando la técnca matemátca GPCA, así como una técnca de elmnacón de sombras. Por otro lado, tambén se ha propuesto utlzar la nformacón dsponble en el espaco ntelgente (meddas de los sensores odométrcos de los robots) para ncalzar la profunddad los parámetros de movmento 3D. En las pruebas realzadas se ha puesto de manfesto que la correcta ncalzacón de las curvas la profunddad meora notablemente el tempo de cómputo, así como los resultados fnales de la segmentacón. AGADECMEOS Este trabao ha sdo posble gracas a la fnancacón del Mnstero de Educacón Cenca (MEC) a través del proecto ESELA (EF-6-4896-C-). EFEECAS [] Blac, M. and Anandan, P. obust dnamc moton estmaton over tme. Proceedngs of the EEE nternatonal Conference on Computer Vson and Pattern ecognton. June 99. Page(s): 96-3. [] Yan, H.; ahad,.; Multple moton segmentaton through a hghl robust estmator. EEE nternatonal Conference on Sstems, Man and Cbernetcs Oct. 4. Page(s): 38-387. [3] Darrell,.; Pentland, A. obust estmaton of a multlaered moton representaton. Proc. of the EEE Worshop on Vsual Moton. 99. Page(s): 73-78. [4] Wess, Y. A unfed mture framewor for moton segmentaton: ncorporatng spatal coherence and estmatng the number of models. Proceedngs of the EEE nternatonal Conference on Computer Vson and Pattern ecognton. 996. Page(s): 3-36 [5] Costera, J. and Kanade,. A multbod factorzaton method for ndependentl movng obects. nternatonal Journal of Computer Vson. Volume 9, umber 3. September 998. Page(s):59 79. [6] Kanatan, K. Moton Segmentaton b Subspace Separaton and Model Selecton. Proceedngs of the 8 th EEE nternatonal Conference on Computer Vson. Volume, Page(s): 586-59. [7] H. Seat and A. Mtche. Concurrent 3D Moton Segmentaton and 3D nterpretaton of emporal Sequences of Monocular mages". EEE ransactons on mage Processng, Vol. 5, o. 3, Page(s): 64-653, 6. [8] H. Seat and A. Mtche. Jont Optcal Flow Estmaton, Segmentaton, and nterpretaton th Level Sets. Computer Vson and mage Understandng, Vol. 3, o., Page(s): 89-, 6. [9] Ye, Jepng; Janardan, av; L, Q. GPCA: an effcent dmenson reducton scheme for mage compresson and retreval. Proceedngs of the th ACM SGKDD nternatonal conference on Knowledge dscover and data mnng. 4. Page(s): 354-363 [] G.D. Fnlason, S.D. Hordle, and M.S. Drew. emovng shadows from mages. Proceedngs of the 7 th European Conference on Computer Vson-Part V Page(s): 83-836. [] G.D.Fnlason, M.S.Drew and C.Lu. ntrnsc mages b Entrop Mnmzaton. Proc. 8th European Conf. on Computer Vson. Page(s): 58-595. 4