Cuantificación Vectorial con base en Memorias Asociativas

Transcripción

1 Cuantfcacón Vectoral con base en Memoras Asocatvas Enrque Guzmán Ramírez Insttuto de Electrónca y Computacón (953) Ext. 200 eguzman@mxteco.utm.mx Resumen El presente trabao descrbe un nuevo algortmo para la cuantfcacón vectoral (VQ, Vector Quantzaton) con base en las Memoras Asocatvas Extenddas (EAM, Extended Assocatve Memores) nombrado FSA-EAM. El algortmo está dvddo en dos etapas; en la prmera etapa, un lbro de códgos, denomnado EAM-codebook, es generado aplcando la fase de aprendzae de una EAM sobre un lbro de códgos producdo por el algortmo LBG. El resultado de esta etapa es una red asocatva que representa al EAM-codebook. La segunda etapa, que mplementa una VQ sobre los coefcentes generados por la etapa de transformacón, es desarrollada usando la fase de clasfcacón de las EAM. Esta etapa genera como resultado el conunto de índces de clase a las que pertenece cada vector de entrada. Palabras clave Cuantfcacón vectoral, memoras asocatvas, memoras asocatvas extenddas.. Introduccón Una nueva tecnología para compresón de mágenes con base en Redes Neuronales Artfcales (RNA s) ha surgdo como una alternatva a los métodos tradconales. Utlzando este novedoso enfoque, nuevos esquemas de compresón de mágenes han sdo creados o algortmos exstentes han sdo modfcados. Una memora asocatva puede ser consderada una subclase de las RNA s; en este trabao se analza cómo el uso de memoras asocatvas es una alternatva compettva y en varos aspectos superor a los métodos tradconales de compresón de mágenes. Trabaos relevantes que hacen uso de este enfoque son menconados a contnuacón. Los Mapas Auto-Organzados (SOM, Self-Organzng Map), creados por Teuvo Kohonen a ncos de la década de los 80 [KOH80], [KOH82] y consderados una RNA de aprendzae compettvo, han sdo utlzados con mucho éxto en la creacón de nuevos esquemas para la cuantfcacón vectoral (VQ, Vector Quantzaton) [KOH0], [MOK06], [BOG92], [AME03], [AME98]. La desventaa prncpal de utlzar el algortmo SOM es que se requere un tempo de entrenamento largo debdo a que la red debe comenzar con pesos ncales arbtraros. S. Panchanathan et al. usaron el algortmo de propagacón de error nversa o haca atrás (BEP, Backward Error Propagaton), creado por P. J. Werbos [WER94], con la fnaldad de obtener rápdamente los pesos ncales, los cuales son utlzados para aumentar la velocdad del proceso de entrenamento del algortmo SOM. Este nuevo enfoque propuesto, BEP-SOM, combna las ventaas de ambas técncas permtendo obtener un buen desempeño en la codfcacón y un tempo corto de entrenamento [PAN92].

2 Otro tpo de RNA que ha sdo usada amplamente en compresón de mágenes es la red neuronal con propagacón haca delante (FNN, Feedforward Neural Network). La FNN es clasfcada en la categora de RNA de transferenca de señal y se trata de la prmera y posblemente más smple RNA deada. En esta red, la nformacón fluye en una sola dreccón, de los nodos de entrada a los nodos de salda pasando a través de los nodos ocultos. Esquemas de compresón de mágenes que hacen uso de la FNN son descrtos en [SET94], [QIA97], [ROY05]. Recentemente, Pavel Danchenko et al. desarrollaron un programa para compresón de mágenes de color y escala de grs usando RNA. Este programa fue nombrado Red Neuronal para la Compresón de Imágenes (NNIC, Neural Network Image Compressor) [DAN07]; NNIC hace uso en su etapa de transformacón de la DCT, sobre la base de los coefcentes generados por la DCT es posble aplcar dos métodos de compresón, el prmero de ellos hace uso de una arqutectura tpo perceptron multcapa; el segundo método está basado en una red neuronal de Kohonen. El msmo año, E. Guzmán et al. propuseron un nuevo algortmo para el dseño de un lbro de códgos evolutvo con base en las Memoras Asocatvas Morfológcas para ser usado en el proceso de VQ de un compresor de mágenes [GUZ07]. 2. Algortmo de Búsqueda Rápda para Cuantfcacón Vectoral con base en Memoras Asocatvas El algortmo expuesto en esta seccón aplca las Memoras Asocatvas Extenddas (MAE) para generar un nuevo modelo de cuantfcacón vectoral (VQ, Vector Quantzaton) [GUZ08B]. Las MAE fueron creadas en el año 2004, cuando H. Sossa et al. propuseron un modelo de memora asocatva para la calfcacón de patrones formados por elementos de valores reales [SOS04], [BAR05]. Esta memora asocatva es una extensón del modelo creado por K. Stenbuch, la Lernmatrx [STE6]. Las MAE están basadas en el concepto general de aprendzae de una memora asocatva y presenta una elevada efcenca en la calfcacón de patrones con datos de valor real en sus componentes y con versones alteradas de patrones. El modelo propuesto está compuesto por 2 procesos: la generacón del lbro de códgos y la búsqueda del vector de reconstruccón. 2. Generacón del lbro de códgos usando Memoras Asocatvas Extenddas y el algortmo LBG El proceso de generacón del lbro de códgos con base en las MAE y el algortmo LBG es fundamental en la obtencón del algortmo de búsqueda rápda para una VQ. El algortmo para la generacón del lbro de códgos propuesto, es defndo en tres fases: Generacón del lbro de códgos usando el algortmo LBG. En esta fase se aplca el algortmo LBG sobre una magen dvdda en bloques (conunto de entrenamento) X = { x : =, 2,..., para generar un prmer lbro de códgos: C { y : =, 2,..., N} =. Determnacón del vector de reconstruccón asocado a cada bloque de la magen (conunto de entrenamento). Esta fase usa el lbro de códgos generado en la fase preva y nuevamente de los M bloques de magnes usados como conunto de

3 entrenamento. El conunto de bloques de la magen, formado por vectores n- dmensonal, es denotado por X { x : =, 2,..., =. Esta etapa dseña un mapeo Q y asgna un índce a cada vector de entrada x = ( x, x2,..., x n ), con base en Q ( x) = y = ( y, y2,..., yn ); Q es dseñada para mapear x a y cuando y satsfaga la sguente condcón: d x, y = mn d x, y for =,2,3,..., N (2) ( ) ( ), donde d( y ) x, es la dstorsón, medda utlzando la dstanca Eucldana, de representar al vector de entrada x con el vector de reconstruccón y. S consderamos a cada vector de reconstruccón y como una clase (exstendo N clases), entonces el resultado de esta fase es un conunto de M índces que ndcan a cual clase y pertenece cada vector de entrada x; denotaremos a este conunto de índces como H = { h : =, 2,...,. Esta fase tambén genera un conunto de N índces, los cuales ndcan el número de vectores de entrada que ntegran cada clase; este conunto es denotado como B = { b : =, 2,..., N}. Generacón del lbro de códgos usando las MAE. El obetvo de esta fase es generar el lbro de códgos, denomnado MAE-codebook, que será empleado por el algortmo VQ-MAE. Para tal propósto, en esta fase se utlza el conunto de vectores de entrada, ntegrado por M bloques de una magen y que forman al n =, x R, y de los resultados de la fase anteror, los conuntos H = { h : =, 2,..., y B = { b : =, 2,..., N}. Tomando en cuenta estos parámetros, la fase de entrenamento de las MAE puede ser aplcada b (usando el operador prom) conunto fundamental de pareas: X { x : =, 2,..., m, = x, l, =,..., n b m l= b = med x,,..., n (usando el operador med) =,, l l= El resultado de este proceso es una red asocatva cuyo obetvo es establecer una relacón entre los bloques de magen (conunto de entrenamento) y el lbro de códgos generado por el algortmo LBG. Esta red asocatva es ahora un nuevo lbro de códgos que será usado por el algortmo de búsqueda rápdo para VQ propuesto en este artículo [ m ] N n MAE - Codebook = M = (3) 2.2 Cuantfcacón vectoral usando el algortmo VQ-MAE En un proceso de VQ basado en un crtero de smltud entre el vector de entrada y los vectores de reconstruccón, cada vector de entrada es remplazado por el índce del vector de reconstruccón que presenta la correspondenca más cercana. En contraste con el proceso que genera al MAE-Codebook, la cuantfcacón vectoral usando el algortmo VQ-MAE es un proceso en demasía smple. La generacón del MAE- Codebook es hecha usando el proceso de aprendzae de las MAE, por tanto, la VQ-MAE es desarrollada usando el proceso de clasfcacón de las MAE.

4 La matrz = [ m ] N n n M es el MAE-Codebook. Cuando un patrón de entrada x R es presentado al MAE-Codebook, el índce de la clase a la cual pertenece dcho vector es generado. Cuando el operador prom fue usado en la generacón del MAE-Codebook, el índce de la clase a la que pertenece x es dada por: N n = arg ml x l l = = Cuando el operador med fue usado en la generacón del MAE-Codebook, el índce de la clase a la que pertenece x es dada por: N n = arg med m l l= = l n med x = Cuando un patrón no usado en la construccón del MAE-Codebook es presentado al algortmo VQ-MAE, éste tene la propedad de asgnar el índce de la fla de M que es más cercana al patrón presentado. Esta propedad permte al algortmo VQ-MAE cuantfcar efcentemente un patrón que no pertenezca al conunto de entrenamento. 3. Conclusones Por otra parte, En este trabao, hemos propuesto el uso de memoras asocatvas en a un algortmo de búsqueda rápda aplcada en VQ de mágenes. Los resultados expermentales demostraron que el algortmo propuesto presenta una elevada compettvdad con el algortmo LBG en la medda de dstorsón; la PSNR obtenda por ambos algortmos muestra que la caldad de la magen recuperada por el algortmo LBG es lgeramente meor, sn embargo, desde un crtero subetvo resulta mposble detectar esta meora. Esto es debdo a que la MAE es empleada como un clasfcador de patrones, en este modo de operacón, la MAE remplaza un patrón de entrada por el índce del vector de reconstruccón que presenta la mayor smltud sn mportar que el vector de entrada no haya sdo utlzado en la construccón del lbro de códgos (MAE-Codebbok). 3. Bblografía [AME03] Amerckx, C., Legat, J.-D. and Verleysen, M. Image Compresson usng Self- Organzng Maps. Taylor & Francs Ltd., Systems Analyss Modellng Smulaton, 43(): (2003). [AME98] Amerckx, C., Verleysen, M., Thssen, P. and Legat, J.-D. Image Compresson by Self-Organzed Kohonen Map. IEEE Transactons on Neural Networks, 9(3): (998). [BAR05] Barron R. Assocatve Memores and Morphologcal Neural Networks for Patterns Recall (In Spansh). PhD Thess, Center for Computng Research, (2005). [BOG92] Bogdan, A. and Meadows, H. E. Kohonen neural network for mage codng based on teraton transformaton theory. SPIE Proceedngs on Neural and Stochastc Methods n Image and Sgnal Processng, 766: (992).

5 [DAN07] Danchenko, P., Lfshts, F., Oron, I., Koren, S., Solomon A. D. and Mark S. NNIC neural network mage compressor for satellte postonng system. Elsever Ltd, Internatonal Academy of Astronautcs, 60(8-9): (2007). [GUZ07] Guzmán-Ramírez E., Pogrebnyak O. and Yañez C. Desgn of an Evolutonary Codebook Based on Morphologcal Assocatve Memores. LNCS 4827, Sprnger-Verlag Berln Hedelberg, (2007). [GUZ08B] Guzmán-Ramírez, E., Oleksy Pogrebnyak, Sánchez L. P. and Yánez C. A Fast Search Algorthm for Vector Quantzaton based on Assocatve Memores. LNCS 597, Sprnger Berln / Hedelberg, , (2008). [KOH80] Kohonen, T. Automatc formaton of topologcal maps of patterns n a selforganzng system. Paper presented at 2SCIA, Scand. Conference on Image Analyss. Helsnk, Fnland, 980, [KOH82] Kohonen, T. Self-organzng formaton of topologcally correct feature maps. Bologcal Cybernetcs, 43(): [KOH0] Kohonen, T. Self-Organzng Maps. Germany: Sprnger-Verlag Berln Hedelberg. Thrd edton [MOK06] Mokhtar, M. and Boukelf, A. Optmzaton of Fractal Image Compresson based on Kohonen Neural Networks. Paper presented at The second IEEE-EURASIP Internatonal Symposum on Control, Communcatons, and Sgnal Processng. Marrakech, Morocco, [PAN92] Panchanathan, S., Yeap Tet, H. and Plache, B. Neural Network for Image Compresson Proceedng SPIE Applcatons of Artfcal Neural Networks, 709: (992). [QIA97] Qang, J. Image compresson usng a self-organzed neural network. SPIE Proceedng on Applcatons of Artfcal Neural Networks n Image Processng, 3030: (997). [ROY05] Roy, S. B., Kayal, K. and Sl, J. Edge Preservng Image Compresson Technque usng Adaptve Feed Forward Neural Network. Paper presented at EuroIMSA, European Internet and Multmeda Systems and Applcatons, Grndelwald, Swtzerland, (2005). [SET94] Setoro, R. and Lu, G. Image compresson usng a feedforward neural network. Paper presented at IEEE Internatonal Conference on Neural Networks, IEEE World Congress on Computatonal Intellgence, (994). [SOS04] Sossa H., Barrón R. and Vázquez A. Real-valued Patterns Classfcaton based on Extended Assocatve Memory. In: Ffth Mexcan Internatonal Conference on Computer Scence, ENC (2004), IEEE Computer Socety, pp [STE6] Stenbuch K. De Lernmatrx, Kybernetk, Vol., No. (96), pp [WER94] Werbos, P. The Roots of Backpropagaton: From Ordered Dervatves to Neural Networks and Poltcal Forecastng, New York: John. Wley and Sons, 994.