Estudio comparativo de técnicas para el reconocimiento de gestos por visión artificial

Transcripción

1 Estudo comaratvo de técncas ara el reconocmento de gestos or vsón artfcal Comaratve study of technques for gesture recognton by artfcal vson Sandra E. Noe R. Es., Humberto Loaza C. PhD, Eduardo Cacedo B., PhD Gruo de Percecón y Sstemas Intelgentes(PSI) E.I.E.E., Unversdad del Valle, Cal Colomba {sandrano,ecacedo,hloaza}@unvalle.edu.co Recbdo ara revsón: 2 de Setembre de 2008, Acetado: 28 de Novembre de 2008, Versón fnal: 10 de Dcembre de 2008 Resumen Se aborda el roblema del reconocmento vsual de gestos realzados con las manos medante dferentes técncas de reconocmento de atrones. Los gestos son caturados a través de una cámar a Web, y, se extr aen r mtvas de movmento nsradas del rocesamento de la nfor macón de movmento que ocur re en el cerebro de macacos. Los resultados alcanzados en el reconocmento ndcan que car acter ístcas usadas en el reconocmento son bastante dscr mnantes, or lo que, ncluso con técncas smles de reconocmento de atrones, se obtuveron buenos resultados. Sn embar go, es a tr avés de un estudo que abarque dferentes técncas de reconocmento de atrones que los resultados en el reconocmento ueden ser otmzados. En el r esente tr abao, se evaluó el desemeño de ses técncas de reconocmento estándar ar a dstngur entre cuatro gestos dferentes, en donde el orcentae de reconocmento cor recto oscló entre 87.88% y 97.14%. Palabras Clave Codfcacón y r mtvas de movmento, Integracón temor al, Reconocmento de gestos, Robótca. Abstract We address the roblem of vsual hand gesture recognton er for med usng dffer ent technques of atter n recognton. Gestures are catured from a Webcam, and, moton rmtves are extracted nsred on the moton erceton rocess n macaque s bran. The recognton results obtaned show the dscr mnate ower of the features; for ths reason, a smle recognton algorthm would rovde satsfactory results. However, the recognton results can be mroved by a study about dfferent technques of att er n r ecognt on. Thu s, we evalua te t he erformance of sx standard technques to dstngush between 4 dfferent gestures, obtanng recall rates amongst 87.88% and 97.14%. Keywords M oton cod fcaton an d r mt ves, Temor al ntegraton, Gesture recognton, Robotcs. I. INTRODUCCIÓN n la vda cotdana, la gente usa los gestos ara E comuncarse con otras ersonas y/o ara enrquecer la comuncacón verbal. Un asecto físco que ueda ser controlado, como oscones físcas o movmentos de los dedos, manos, brazos o cuero de una ersona; uede ser la base ara un conunto de gestos con dversdad de alcacones [1]. El reconocmento de gestos ha sdo un área bastante estudada en los últmos temos con el fn de usarlos ara transmtr nformacón o ara controlar dsostvos o alcacones. Los gestos realzados con manos y brazos han recbdo más atencón; en el rmer caso, esto se debe a que las manos con 30 grados de lbertad (ncluyendo la muñeca) [2], son extremadamente hábles y exresvas. Los gestos ueden clasfcarse en estátcos o dnámcos [3]. En los gestos dnámcos, los movmentos realzados corresonden al gesto en sí msmo; mentras que en los gestos estátcos son atrbudos a una certa ose o confguracón. En cualquer caso, ara oder usarlos es necesaro defnr como deben ser nterretados en el contexto de tarea. Las nterfaces hombre máquna basadas en gestos ueden llevarse a cabo medante vsón artfcal o guantes esecales; sn embargo, el rmer método es más desafante y natural que un dsostvo nvasvo dedcado a la adquscón. En cuanto al reconocmento de gestos usando vsón, [4] usaron modelos ocultos de Marov HMM, ara ello, ya que el roblema de reresentar atrones de no gestos es dfícl tanto ara redes neuronales como ara HMMs, lo resolveron creando un modelo umbral que consste en una coa del estado de todos los modelos de gestos de entrenamento en el sstema; el cual es usado como un umbral de clasfcacón adatatvo. [5] rouseron el uso de Máqunas de Estado Fnto FSM sem Revsta Avances en Sstemas e Informátca, Vol. 5 No.3, Dcembre de 2008, Medellín, ISSN

2 128 Revsta Avances en Sstemas e Informátca, Vol. 5 No. 3, Dcembre de 2008, Medellín, ISSN automátcas ara el reconocmento de gestos en 2D. La estructura del modelo de las FSM se realza ncalmente de forma manual, basándose en la observacón de la toología esacal de los datos, y, osterormente se refna de acuerdo con los datos de entrenamento. La ventaa de esta aroxmacón resde en la efcenca comutaconal de las FSM lo que ermte que la clasfcacón se haga en temo real. Adconalmente, no requeren grandes cantdades de datos de entrenamento ara obtener un buen modelo. Por otro lado, los gestos son altamente varables de una ersona a otra, e ncluso de un eemlo a otro durante la eecucón or una msma ersona [6]. Por ello, es mortante usar roedades nvarantes que reresenten el gesto. Un asecto mortante en la construccón de un sstema de reconocmento de gestos, además de escoger una reresentacón en s msma, es la creacón de una base de datos actualzada de los gestos conocdos y el crtero utlzado ara reconocerlos. Es en este últmo asecto en que se concentrará este trabao. El obetvo que se desea alcanzar a futuro es rogramar un robot medante arendzae or demostracón; es decr, lograr que los robots adqueran nuevas habldades a través de la observacón y de esta forma, arendan comortamentos comleos e nteractúen ntelgentemente con el ambente. Para ello, se ha dentfcado como rmera fase el reconocmento de gestos. En contraoscón a los abordaes tradconales que suelen hacerse en la lteratura ara abordar la extraccón de característcas dscrmnantes que faclten el roceso de reconocmento, en este trabao se extraen rmtvas de movmento bo nsradas. La ventaa de este enfoque, es que se tene la certeza de esta utlzando una estratega extosa, en este caso, emleada or macacos, una esece de monos que osee un sstema vsual muy smlar al humano [7]. El artículo nca, en la seccón 2, con una descrcón general del sstema, y, dada la mortanca de la reresentacón,y aunque no es el obetvo rncal de este trabao, se descrbe brevemente en la seccón 3 la forma en la que se extraeron las rmtvas de movmento bo nsradas usadas ara el reconocmento. La seccón 4 descrbe rádamente las ses técncas usadas en el reconocmento de atrones en este trabao, mentras que en la seccón 5 se resentan los resultados obtendos con cada una de ellas. Las conclusones y trabao futuro se resentan en la seccón 6. II. DESCRIPCIÓN DEL SISTEMA La Fgura 1 resenta el dagrama de bloques del sstema de reconocmento de gestos que se utlzó. Para dentfcar y localzar el obeto de nterés en las mágenes (la mano), se usó la nformacón de color. El bloque de Reresentacón del Movmento usa esta nformacón, unto con las dervadas esaco temorales de las mágenes ara estmar el movmento en forma de vectores de fluo ótco. La salda de este bloque corresonde a un conunto de resuestas neuronales que codfcan el movmento nstantáneo, en donde la varable t corresonde al número de mágenes del vídeo en el que se realza un gesto. A contnuacón está el bloque de Integracón Temoral que recola la nformacón de movmento nstantáneo rovsta or los bloques recedentes, y cuya salda corresonde a un conunto de mágenes que reresentan la evolucón temoral de las resuestas neuronales. Debdo a la alta dmensonaldad de la salda de este bloque, las resuestas neuronales se rocesan de tal forma que se reduzca la dmensonaldad de los datos y se faclte la tarea de reconocmento de gestos realzada or el sguente bloque. t y x Vídeo Imágenes Sgmentadas Reresentacón del Movmento Reresentacón del Movmento Reresentacón del Movmento τ Integracón Temoral Imtacón Fgura 1. Dagrama de Bloques del Sstema de Reconocmento de Gestos. III. REPRESENTACIÓN DE LOS GESTOS El roceso de obtencón de las rmtvas de movmento usadas en el reconocmento se gestos dnámcos se dvdó en cuatro artes: segmentacón de la mano en las mágenes, reresentacón nstantánea del movmento, ntegracón temoral y reduccón de la dmensonaldad. A. Segmentacón de la Mano Se utlza la técnca de deteccón del color el or íxel rouesta or [8]. Esta técnca es ráda, smle, y roduo los meores resultados dentro de las técncas íxel a íxel estudadas. Consste en usar un umbral el lano I del esaco de color YIQ or encma del cual los untos se consderan de color el. Los resultados reortados en la lteratura alcanzaron un orcentae de verdaderos ostvos de 94.7% y de 30.2% falsos ostvos. En el resente trabao se adconó un umbral nferor y sueror en el lano Q con el fn de dsmnur los falsos ostvos. Los umbrales usados en las ruebas de laboratoro fueron determnados de manera heurístca y corresonden a un valor de 13.7 en el lano I, y de 10 y 22 como límtes nferor y sueror en el lano Q.

3 Estudo comaratvo de técncas ara el reconocmento de gestos or vsón artfcal Noe, Loaza y Cacedo 129 En aras de elmnar untos rudosos y obetos ndeseados del fondo de la magen que no corresondan a la mano, sólo se escogen aquellos untos conexos; corresondéndole a la mano la mayor regón dentro de la rmera magen. En mágenes consecutvas, la mano corresonde a la mayor regón de color el dentro de una ventana de búsqueda. B. Reresentacón del Movmento Los untos dentfcados como ertenecentes a la mano en cada nstante de temo, se usan ara estmar el fluo ótco afín [9]. Esta técnca combna la ecuacón de restrccón del fluo ótco y las ecuacones corresondentes al modelo de formacón de mágenes afín. A través de la estmacón de fluo ótco se obtene un conunto de vectores que reresentan el deslazamento de los íxeles en las mágenes. Los vectores de fluo ótco son la reresentacón más smle del movmento. Sn embargo, ara ercbr el movmento es necesaro rocesar la nformacón que contenen dchos vectores. Para ello, se usaron las deas rncales de [10] ara smular en comutador el rocesamento de movmento en cerebro de macacos. La codfcacón de movmento realzada en el resente trabao se dvdó en dos artes: Procesamento a bao nvel y la codfcacón del movmento. La rmera reduce la resolucón sn érdda sgnfcatva de nformacón, mentras que la segunda ermte dentfcar la velocdad, dreccón del movmento e dentfcar la clase de movmento comleo (rotacón, comresón o exansón) que se está realzando. 1) Codfcacón a Alto Nvel Para ahorrar temo de cómuto sn érdda de nformacón relevante y aglzar los rocesos subsecuentes, se utlzó otra dea de la bología: Los Camos Recetores (Recetve Felds RF). Los camos recetores se smularon calculando la meda de todos los untos dentro de círculos fos solaados de dámetro D íxeles. La entrada a los RFs corresonde a la matrz de magntud del fluo ótco o a la de su ángulo. Matemátcamente, dada la matrz de entrada a los camos recetvos I n (x,y), la matrz de salda de los camos recetvos I out (,), está defnda or (1): donde, I ) out (, ) (, ) * I n ( x, y (1) = x y / n f ( x ) + ( y ) D / 2 (, ) = (2) 0 en otro caso 2) Codfcacón del Movmento La selectvdad de las neuronas a una velocdad y dreccón artcular, se smuló medante la resuesta de un fltro Gausano sntonzados a una determnada velocdad y dreccón de movmento. Esta resuesta se aroxmó medante la multlcacón de la resuesta searada de dos fltros Gausanos dferentes; uno selectvo a una velocdad artcular y otro selectvo a una dreccón artcular. Matemátcamente, la resuesta de un fltro bdmensonal G ) sntonzado a una velocdad s y a una dreccón de movmento está determnada or (3). En donde I s y I son la resuesta de los RFs ante la magntud del fluo ótco y ante el ángulo resectvamente y, σ s y σ la desvacón estándar de los msmos. G, ) 2 ( I ) 2 ( ) s s I σ s σ = e e (3) Para obtener un conunto comleto de resuestas neuronales, se realzan dferentes combnacones (multlcacones) de los dferentes fltros Gausanos sntonzados a velocdad con los dferentes fltros Gausanos sntonzados a dreccón. Así, s se relaconan las resuestas neuronales con mágenes, el resultado corresonderá a mágenes cuyos íxeles tenen una mayor ntensdad de brllo en aquellos untos con valores cercanos a los de sntonzacón de los fltros. Es osble obtener una reresentacón robusta a cambos del unto de vsta, y que ermte dentfcar la clase de movmento que se está eecutando. Para ello, en lugar de usar la dreccón de movmento, se utlza el ángulo entre los vectores de fluo ótco y el gradente de la magntud del fluo ótco (a). Puede verfcarse que, en el caso de un movmento comleo como la rotacón de la mano en el sentdo de las manecllas del relo, el ángulo a entre estos vectores tomando como referenca los vectores de fluo ótco corresonde a 90 ; mentras que ara una rotacón en el sentdo nverso es de 270 ; ara un movmento de exansón es de 0 y de 180 ara un movmento de comresón. Valores angulares dferentes corresonden a una mezcla entre estos movmentos báscos. C. Integracón Temoral Este bloque se encarga de reunr la nformacón de movmento nstantánea rovsta or el bloque anteror, lo que es necesaro ara reconocmento de gestos dnámcos. En este trabao, la ntegracón se realzó ncluyendo la eecucón comleta de los gestos, lo que le da mayor robustez al reconocmento. Con este obeto, [11] rouseron en su trabao dos lantllas temorales que osterormente rocesaron ara el reconocmento de dferentes eerccos aeróbcos: la Imagen de la Energía del Movmento (Moton Energy Image MEI) y la Imagen de la Hstora del Movmento (Moton Hstory Image MHI). En este trabao se utlzó la MEI y una

4 130 Revsta Avances en Sstemas e Informátca, Vol. 5 No. 3, Dcembre de 2008, Medellín, ISSN adatacón de la MHI rouesta or Bobc y Davs. La construccón de dchas lantllas requere, ncalmente, estmar una magen bnara D,t). Esta magen bnara, ara este caso, ndca las regones en las que las resuestas neuronales son más fuertes de acuerdo con su sntonzacón en cuanto a velocdad y dreccón del movmento D,t), lo que se reflea en (4), o en (5) ara las neuronas sntonzadas a velocdad y deteccón de la clase de movmento comleo D,t). 1 s G,, ) t > th D,, t ) = (4) 0 en otro caso 1 s G,, ) t > th D,, ) t = (5) 0 en otro caso 1) Imagen de la Energía del Movmento Las mágenes de energía del movmento E,t) y E,t) ara G,t) y G,t), están defndas or las ecuacones (6) y (7) resectvamente. Las MEIs resultantes son brllantes en los untos en los que las neuronas se han actvado en cualquer nstante de temo. E E t,, t ) = U D,, τ ) (6) τ = 0 t,, t ) = U D,, τ ) (7) τ = 0 2) Imagen de la Hstor a del Movmento Sea H,t) la magen de la hstora del movmento ara G,t) y H,t) ara G,t), defndos or las ecuacones (8) y (9) resectvamente. En esta reresentacón, los untos más brllantes corresonden a aquellos untos que se actvaron reteratvamente en cualquera de los nstantes de temo. H,, t ) = H,, t 1) + 1 s D,, t ) = 1 H,, t ) = H,, t 1) + 1 s D,, ) t = 1 (9) H,t) y H,t) son una reresentacón del movmento durante toda su eecucón, contenen mucha nformacón redundante y resentan una alta dmensonaldad. Para reducr la carga comutaconal y facltar el reconocmento, se dsmnuyó la dmensón de los datos tal como se exlca a contnuacón. (8) D. Dsmnucón de la Dmensonaldad Se uede reservar la nformacón más relevante de las dferentes resuestas neuronales y, al msmo temo obtener una codfcacón de baa resolucón, calculando un hstograma conformado or el romedo de las resuestas de cada una de las neuronas. Estos valores deenden de la actvdad de las neuronas ndvduales en el temo, e ntutvamente, ueden relaconarse con las robabldades de ocurrenca de un movmento a una velocdad y dreccón dada, y de un movmento comleo determnado a una determnada dreccón. Matemátcamente, sea h el hstograma ara H,t), y h el hstograma ara H,t) de acuerdo con las ecuacones (10) y (11). 1 h =, =, t ) = H,, t ) (10) M 1 h =, =, t ) = H,, t ) (11) M Donde M corresonde al tamaño de cada resuesta neuronal ntegrada en el temo H,t) o H,t). El msmo rocedmento se realza sobre las mágenes MEI ara obtener una reresentacón de menor dmensón. Esta reresentacón uede dsmnurse aún más alcando una técnca como el Análss de Comonentes Prncales [12] PCA sobre los hstogramas. Sn embargo, es buena dea normalzar los datos ara que tengan meda de cero y desvacón estándar uno. En su trabao, [12] muestra que un vector r m uede reresentarse de forma exacta como la suma onderada de todos los egen valores de un conunto de vectores. Para alcar PCA en este trabao, se usan 36 vectores de entrenamento ara crear una matrz f, en donde cada columna f m corresonde a los hstogramas normalzados h yh extraídos de los vídeos de entrenamento. Ya que los egen vectores corresonden a las varacones más sgnfcatvas dentro del conunto de entrenamento; r m uede ser aroxmado or los l rmeros térmnos en la suma, tal como se exresa en (12). l m = 1 r f e + c m (12) donde c es el romedo del conunto de vectores (cero s los vectores están normalzados). El tamaño ncal de los vectores usados ara el reconocmento es de 72x1 (36x1 ara MHI y 36x1 ara MEI) y se uede usar el orcentae de nformacón que se desea conservar como arámetro ara elegr el valor de l. Así, or

5 Estudo comaratvo de técncas ara el reconocmento de gestos or vsón artfcal Noe, Loaza y Cacedo 131 eemlo, s se mantenen ses comonentes rncales se conserva 71.15% de la nformacón, mentras que con 19 se conserva el 90.05%. Estos vectores reducdos, son los que fnalmente se utlzaron en el reconocmento de gestos. IV. APLICACIÓN AL RECONOCIMIENTO DE GESTOS La codfcacón de movmento anterormente descrta fue alcada al reconocmento de 4 gestos: El gesto 1 corresonde rotar la mano en sentdo nverso a las manecllas del relo y devolverse (saludar), el gesto 2 corresonde a baar y subr la mano (abancar), el gesto 3 corresonde a rotar la mano en sentdo nverso a las manecllas del relo, y el gesto 4 corresonde a acercar y alear la mano resecto a la cámara. Para el reconocmento de gestos, se mlementaron las sguentes técncas estándar de reconocmento de atrones, en donde se trató de robar al menos con una técnca dentro de cada clase de clasfcador, así: Clasfcadores aramétrcos (clasfcador bayesano), clasfcadores no aramétrcos (el vecno más róxmo, los vecnos y dstanca mínma al centrode) y redes neuronales artfcales (redes neuronales robablístcas y redes neuronales ercetron multcaa). 1) Clasfcador Bayesano Este clasfcador aramétrco suone que los datos oseen una dstrbucón de robabldad Gausana. Para determnar los arámetros del modelo normal, se usó el rnco de máxma verosmltud que retende encontrar los valores ótmos que maxmcen una funcón de verosmltud dervada de los datos de entrenamento. A través de estas ecuacones es osble estmar la robabldad a ror P ( x C ), esto es la robabldad de que un dato de entrada x se resente dado que ertenece a la clase C. La robabldad de mala clasfcacón es mnmzada selecconando la clase C que tene la mayor robabldad a osteror ( C x ), tal que el dato de entrada x es asgnado a la clase C s, P P ( C x ) > P ( C x ) (13) (13) es equvalente a (14) P ( x C ) P ( C ) > P ( x C ) P ( C ) (14) 2) Clasfcadores No Paramétrcos Las reglas de decsón no aramétrcas son atractvas or no requerr algún to de conocmento a ror sobre la dstrbucón de los datos. En su lugar, se requere un conunto de entrenamento reresentatvo con datos etquetados con la clase a la que ertenecen. a) El vecno más róxmo: Consste en comarar un vector de entrada desconocdo con todos los vectores de entrenamento que corresonden a dferentes gestos, y escoger aquel con la dstanca más equeña d (). Este método es un caso artcular del método de vecnos que se exlcará más adelante. S se usa como métrca la dstanca eucldana, la regla de decsón queda defnda matemátcamente or (15). d ( ) ( ) = arg mn x f (15) donde x es el vector de entrada royectado en el egenesaco, y f () es el conunto de muestras de entrenamento tambén royectadas. b) vecnos: Este método es un caso artcular de la clasfcacón MAP (máxmo a osteror) con funcones de densdad de robabldad estmadas or el método de Parzen con ventana adatatva [13]. Los vecnos es un modelo basado en la memora defnda or un conunto de eemlos debdamente etquetados. La regla de los vecnos se basa en la suoscón de que los rototos más cercanos tenen una robabldad a osteror smlar. Las desventaas de este método radcan en que la estmacón resultante no es una funcón de densdad de robabldad verdadera y que los datos de entrenamento deben mantenerse almacenados. Para clasfcar un dato de entrada x, deben encontrarse los atrones de entrenamento más róxmos a dcho dato y determnar la clase más votada; esta será la clase que se le asgnará a dcho dato. La roxmdad uede ser medda entre otras, con la dstanca eucldana o la dstanca mahalanobs. La eleccón de es esencal en este método ues determna la caldad de las redccones. Una forma aroada de mrar el número de vecnos cercanos, es verlo como un arámetro de suavzado. Un valor equeño ermtrá una gran varanza en la redccón, mentras que un valor grande conducrá a un modelo muy sesgado. Así, debe ser un valor lo sufcentemente grande ara mnmzar la robabldad de mala clasfcacón y lo sufcentemente equeño ara que los untos más róxmos estén cerca del unto en cuestón. Por otro lado, la eleccón de un número grande de vecnos cuando se cuenta con ocos atrones de entrenamento lleva a que la decsón no se tome con base en la concentracón local de atrones de entrenamento sno en roedades globales con oco sgnfcado ara la decsón. c) Mínma dstaca al centrode: Este método es una smlfcacón de la clasfcacón bayesana con funcones Gausanas de robabldad, donde se asume que todas las matrces de covaranza de clase son dagonales e guales y que las robabldades a ror de clase tambén lo son. Los resultados obtendos or este algortmo

6 132 Revsta Avances en Sstemas e Informátca, Vol. 5 No. 3, Dcembre de 2008, Medellín, ISSN son buenos cuando las clases forman nubes de datos oco dsersas y ben searadas. El método es relatvamente rádo y uno de los más smles. La regla de decsón consste en asgnar al dato de entrada a la clase cuyo centrode sea el más cercano. Al gual que en casos anterores, hay varas formas de medr dcha dstanca, ero la más emleada es la dstanca eucldana. Así, la funcón de costo que debe ser mnmzada está dada or (16). d ˆ ( ) = arg mn x x (16) en donde ˆ x corresonde a los centrodes de cada una de las clases. 3)Redes Neuronales a) Redes neuronales robablístcas: La red neuronal robablístca (Probablstc Neural Networ PNN) [14] se basa en el cálculo de la robabldad a osteror (método de máxma verosmltud). Para ello, se realza un modelado Gausano de los vectores de entrada, centrados en las muestras de entrenamento. La PNN no tene una verdadera etaa de entrenamento sno que recorre todo el conunto clasfcacón en cada eecucón, lo que da lugar a un método lento. La ventaa de estas redes es que roducen altos orcentaes de clasfcacón usando un conunto de datos mucho menor que los que requerrían otras redes neuronales como el ercetron. Las funcones dscrmnantes de la clase ésma ara una PNN están defndas or (17). Dado un atrón de entrada, se calculan dchas funcones dscrmnantes (una or clase). La que resulte máxma determnará la clase a la cual se asgna el dato. N ( C ) D ( x ) = ex σ N x = ( ) [ ( 1 / 2 ) d ( x, x )] (17) 2 ( ) donde d ( x, ) es la dstanca eucldana entre las característcas del atrón de entrada y la de la muestra de entrenamento ésma ara la clase ésma. N es el número de muestras ara cada clase y (C ) es la robabldad a ror de clase. s es un arámetro a determnar de manera heurístca. b) Red Percetron Multcaa (MLP) El ercetron multcaa es un aroxmador unversal y quzás la red neuronal suervsada más usada. Esta es una red de varas caas, usualmente tres: la caa de entrada, la caa oculta y la caa de salda. La caa de entrada está consttuda or aquellas neuronas que ntroducen los atrones de entrada a la red; en estas neuronas no se roduce rocesamento. La caa oculta utlza como funcón de transferenca funcones sgmodales, mentras que las funcones de la caa de salda ueden ser lneales o sgmodales. La nclusón de varas caas le ermte resolver roblemas que no son lnealmente searables. La rncal característca de este to de redes es el uso de la funcón de arendzae de Retroroagacón haca atrás o Regla delta generalzada. La regla delta trabaa de dos maneras: arendzae or lotes o arendzae en sere. El arendzae or lotes acumula las varacones de los esos y al fnal de cada cclo, actualza a la vez todos los esos. El arendzae en sere va actualzando los esos cada vez que se resenta un nuevo dato, lo que le da mayor velocdad, ero resetando el orden de resentacón de las entradas. La codfcacón de movmento anterormente descrta fue alcada al reconocmento de 4 gestos: El gesto 1 corresonde rotar la mano en sentdo nverso a las manecllas del relo y devolverse (saludar). El gesto 2 corresonde a baar y subr la mano (abancar). El gesto 3 corresonde a rotar la mano en sentdo nverso a las manecllas del relo. El gesto 4 corresonde a acercar y alear la mano resecto a la cámara. La base de datos emleada contene 70 secuencas de vídeo grabadas en el laboratoro ara cada uno de los cuatro gestos, de las cuales, 35 fueron usadas ara el entrenamento y las 35 restantes ara la valdacón. Para el reconocmento de gestos se usaron dferentes clasfcadores estándar: Paramétrcos (clasfcador Bayesano), No aramétrcos (el vecno más róxmo, los vecnos y dstanca al centrode), y Redes neuronales (robablístcas y ercetron multcaa). La Tabla 1 resume los resultados de clasfcacón con dchas técncas de arendzae s se conserva el 90% de la nformacón; esto es, s se usan 19 comonentes rncales. V. RESULTADOS EN EL RECONOCIMIENTO DE GESTOS Los resultados del reconocmento se resentan en forma resumda a través de la Tabla 1 ara cada una de las técncas de reconocmento de atrones resentadas en la seccón anteror. La base de datos usada se conformó a artr de 280 vídeos, 70 ara cada uno de los cuatro gestos; la mtad de esta base de datos fue usada durante la fase de entrenamento y las 140 restantes ara valdacón. Los resultados ara el caso de la red MLP se obtuveron con una confguracón de 32 neuronas en la caa de entrada con funcones de actvacón tansg, 4 neuronas en la caa de salda con funcones de actvacón logsg y medante el algortmo de entrenamento de roagacón haca atrás de gradente conugado.

7 Estudo comaratvo de técncas ara el reconocmento de gestos or vsón artfcal Noe, Loaza y Cacedo 133 El menor orcentae de clasfcacón (88.57%) se obtuvo usando 6 comonentes rncales unto con la técnca de clasfcacón de dstanca mínma al centrode; que es un buen orcentae de reconocmento, esecalmente s se tenen en cuenta las suoscones restrctvas ncales resecto a las clases. Mentras que el mayor orcentae de clasfcacón (95%) se obtuvo usando los msmos 6 comonentes rncales unto con las redes neuronales bayesanas. Por otro lado, y coherente con lo eserado, la técnca de los vecnos defnó meor la dstrbucón de los datos que la del vecno más róxmo. En cuanto a las redes neuronales, se obtuvo un meor reconocmento con la red neuronal robablístca que con la red neuronal ercetron multcaa. Los buenos orcentaes de reconocmento obtendos en todos los casos, ermten afrmar que las característcas extraídas de las mágenes son bastante dscrmnantes. Usando 19 comonentes, los meores resultados se obtuveron con las redes MLP (97.14%), y los eores, al gual que en el caso anteror, con la mínma dstanca al centrode (87.88%). Con las redes PNN y el algortmo del vecno más róxmo se obtuveron orcentaes de reconocmento guales (95%); valor que corresonde al orcentae más alto obtendo usando sólo 6 comonentes rncales. Mentras que la técnca de los vecnos mantuvo el msmo orcentae de buena clasfcacón resecto a la obtenda con el uso de 6 comonentes. Tabla 1. Resumen de los orcentaes de clasfcacón ara las ses técncas de reconocmento de atrones usadas % de acertos Técnca 6 PCA 19 PCA Bayesanas Vecno más róxmo vecnos (=5) Mínma dstanca PNN (σ=0.3) MLP Las técncas de Bayes y Mínma Dstanca resentaron una leve dsmnucón en sus orcentaes, que udo ser ocasonada or el rudo ntroducdo or el mayor número de comonentes en el vector. En general, al usar más comonentes rncales, y or lo tanto, conservar un mayor orcentae de nformacón, los orcentaes de reconocmento meoraron, aunque sn mantener el msmo orden. En la Tabla 2 y 3 ermten detallar los resultados en el reconocmento emleando 6 y 19 comonentes resectvamente, medante matrces de confusón romedo. Lo deal, es que la dagonal de las tablas tenga valores guales a 1 y el resto de sus celdas sean cero. El valor de en la Tabla 2 corresonde al mayor error de reconocmento ara el caso de ses comonentes, e ndca que el Gesto 4 (fla) ha sdo confunddo en romedo el 15.22% de las veces con el Gesto 2 (columna). En contraoscón, el gesto que meor reconoce el sstema es el Gesto1 (96.2% de las veces). Tabla 2. Matrz de confusón romedo ara el caso de 6 PCA Gesto 1 Gesto 2 Gesto 3 Gesto 4 Gesto Gesto Gesto Gesto Tabla 3. Matrz de confusón romedo ara el caso de 19 PCA Gesto 1 Gesto 2 Gesto 3 Gesto 4 Gesto Gesto Gesto Gesto Cuando se usó 19 comonentes, el gesto que meor reconoce el sstema corresonde al Gesto3, y, al gual que en el caso anteror, la mayor error ocurró el 11.4% de las veces, en donde el Gesto 4 fue erróneamente dentfcado como Gesto 2. Esta confusón se debe al hecho a que el ángulo entre los vectores de fluo ótco y el gradente de la magntud es smlar ara ambos gestos, y se dferencan más or la dreccón del movmento, la cual no semre es sufcentemente dscrmnante. VI. CONCLUSIONES Y TRABAJ O FUTURO Se resentó un estudo sobre el desemeño de ses técncas de clasfcacón de atrones ara el reconocmento de cuatro gestos realzados or manos. Las técncas estudadas abarcan un amlo esectro: aramétrcas, no aramétrcas y de ntelgenca artfcal. El enfoque de utlzar la bo nsracón ara extraer rmtvas de movmento que se utlzan como característcas ara dscrmnar entre gestos, es novedoso. Para los casos analzados, se alcanzó un orcentae de reconocmento que oscla entre 87.88% (dstanca mínma al centrode) y 97.14% (MLP), en ambos casos conservando 19 comonentes rncales. Los orcentaes de reconocmento alcanzado son sensbles al cambo en el número de característcas utlzadas, sn embargo se encontró que exsten algunos clasfcadores que son más robustos a dcho cambo, como las técncas de vecnos y Mínma Dstanca. Al conservar un mayor número de comonentes rncales, y, or lo tanto, de la nformacón; las técncas de MLP y el Vecno Más Próxmo alcanzaron una meora notable en los orcentaes de éxto en el reconocmento alcanzados. Los altos orcentaes de reconocmento alcanzados en todos los casos ndcan que las característcas escogdas son bastante dscrmnantes, lo que le da al sstema robustez ndeendentemente de la técnca de reconocmento de atrones emleada ara el reconocmento de gestos. Esta

8 134 Revsta Avances en Sstemas e Informátca, Vol. 5 No. 3, Dcembre de 2008, Medellín, ISSN característca ermte que la seleccón defntva de la técnca y el número de comonentes atenda a un comromso entre la comledad comutaconal y el desemeño deseado. El sguente desarrollo en esta línea de nvestgacón se enfocará en la mtacón de los gestos ercbdos or el sstema de vsón artfcal y su acole a un brazo robótco. El trabao futuro se orentará al reconocmento de gestos comuestos generados or la mezcla de varos gestos báscos. AGRADECIMIENTOS Agradecemos al Programa de Aoyo a Doctorados Naconales de Colcencas, a la Unversdad del Valle y al Insttuto Técnco Sueror (IST) Portugal, or el soorte a este trabao. Un reconocmento esecal al rofesor José Santos Vctor del IST Portugal or su orentacón, conseo y aoyo durante el desarrollo de este royecto. Este trabao hace arte de la tess doctoral de Sandra Eseranza Noe Rodríguez sobre una arqutectura de control basada en el arendzae or mtacón de gestos alcada en robótca, becara Colcencas en el rograma de aoyo a doctorados naconales. Sandr a E. Noe R.: Ingenera en Electrónca y Telecomuncacones de la Unversdad del Cauca. Estudante de doctorado en Ingenería, becara Colcencas, sandrano@unvalle.edu.co Eduar do Cacedo Br avo: Doctor en Informátca Industral de la Unversdad Poltécnca de Madrd. Profesor de la Unversdad del Valle, ecacedo@unvalle.edu.co Humber to Loaza Correa: Doctor en Robótca de la Unversté d Evry, Franca. Profesor de la Unversdad del Valle, hloaza@unvalle.edu.co REFERENCIAS [1] Lenman, S., Bretzner, L.y Thuresson, B., Comuter Vson Based Recognton of Hand Gestures for Human Comuter Interacton. Techncal Reort TRITA NA DO2209, CID reort, [2] Lng, J., Wu Y. y Huang, T.S., Modelng the Constrants of Human Han Moton. Proceedng of the Worsho o Human Moton, [3] Chang, C C., Chen, J J., Ta W K. y Han, C C., New aroach for Statc Gesture Recognton. Journal of Informaton Scence a nd Engneerng, vol. 22, [4] Hyeon Kyu L. y Km, J.H., An hmm based threshold model aroach for gesture recognton. Pattern Analyss and Machne Intellgence, vol. 21, [5] Hong, P., Tur M. y Huang, T.S., Constructng fnte state machnes for fast gesture recognton. Pattern Recognton, vol. 3, [6] Sandberg, A., s.a., Gesture recognton usng neural networs. Master s Thess, Stocholm Unversty. [7] DeVanos, R.L. Morgan, M.C. and Snodderly, D.M., Psychohyscal studes of money vson. III. Satal lumnance contrast senstvty test of macaque and human observers. Vson Research, vol. 14, [8] Wang, C. and Brandsten, M., Mult source face tracng wth audo and vsual data. IEEE MMSP, [9] Noe, S., Loaza, H. y Cacedo, E., Revew of Technques for Moton Estmaton n Artfcal Vson. En Revsta Colombana de Tecnologías de Avanzada, vol. 2, [10] Pomlun, M., Martnez Trullo, J., Smne, E., Lu, Y., Treue, S. y Tsotsos, J. K., 202. A Neurally Insred Model for Detectng and Localzng Smle Moton Patterns n Image Sequences. Presented at Worsho on Dynamc Perceton, Bochum, Germany. [11] Bobc, A. F. and Davs, J. W., The Recognton of Human Movement usng Temoral Temlates. IEEE Transactons on Pattern Analyss and Machne Intellgence, vol. 23, [12] Oa, E., s.a. Subsace Methods of Pattern Recognton. Research Studes Press, Hertfordshre. [13] Marques, J., Reconhecmrnto de atrões: métodos estatístcos e neuronas. IST Press, Lsboa Portugal, ISNN: X. [14] Blue, J.L., Candel, G.L., Grother, P.J. y Wlson, C.L., s.a. Evaluaton of Pattern Classfers for fngerrnt and OCR alcatons. Pa ttern Recognton, vol. 27,