Clasificador Híbrido de Patrones basado en la Lernmatrix de Steinbuch y el Linear Associator de Anderson-Kohonen

Transcripción

1 INSTITUTO POLITÉCNICO NACIONAL CENTRO DE INVESTIGACIÓN EN COMPUTACIÓN Clasificador Híbrido de Patrones basado en la Lernmatrix de Steinbuch y el Linear Associator de Anderson-Kohonen T E S I S que para obtener el grado de MAESTRO EN CIENCIAS DE LA COMPUTACIÓN presenta RAÚL SANTIAGO MONTERO Director de tesis: Dr. Cornelio Yáñez Márquez Codirector de tesis: Dr. Juan Luis Díaz de León Santiago México, D. F. Junio de 2003

2 Agradecimientos Al pueblo de México Al Instituto Politécnico Nacional Al Centro de Investigación en Computación

3 Dedicatoria A Lucia, Fernanda y Rodrigo. A mi madre. En memoria de mi padre.

4 v Índice Resumen... Abstract... Glosario... Índice de tablas y figuras... 1 Introducción Objetivo Motivación Planteamiento del problema Contribuciones Organización de la tesis Antecedentes Memorias asociativas Conceptos básicos de memorias asociativas Lernmatrix de Steinbuch Linear Associator de Anderson-Kohonen Memoria asociativa Hopfield Reconocimiento de patrones Conceptos básicos del reconocimiento de patrones Clasificación de patrones Clasificadores de mínima distancia Enfoque neuronal Enfoque probabilístico-estadístico Enfoque sintáctico-estructural Génesis del enfoque asociativo para clasificación de patrones Estado del arte Herramientas matemáticas Sumatorias Operador máximo Operaciones matriciales Vectores n-dimensionales...41

5 vi 4.5. Producto interno y producto externo de vectores Producto interno Producto externo Producto de una matriz y un vector Traslación de ejes Desarrollo El CHA Algoritmo del CHA El CHAT Interpretación teórica del CHAT Algoritmo del CHAT Disquisiciones experimentales Bases de datos Iris plants database Wine recognition data Contaceptive method choice Credit Approval Metodología Estudio comparativo entre el CHAT y otros algoritmos de clasificación Iris plants database Contraceptive method choice Credit Approval Wine recognition data Conclusiones y trabajo futuro Conclusiones Trabajo futuro...82 Apéndice A: Simbología...84 Apéndice B: CHAT 1.0., manual de uso...86 Apéndice C: KNN 1.0., manual de uso...91 Bibliografía...95

6 Resumen En este trabajo de tesis se muestra la creación de un nuevo algoritmo para la clasificación de patrones en el dominio real, eficiente y de baja complejidad computacional, denominado Clasificador Híbrido Asociativo con Traslación (CHAT). Con el CHAT se establece un nuevo enfoque en la clasificación de patrones, el enfoque asociativo. El CHAT está basado en la combinación ingeniosa de dos modelos de memorias asociativas, la Lernmatrix y el Linear Associator. El CHAT combina los principios de álgebra de matrices que utiliza el Linear Associator y el criterio de clasificación de la Lernmatrix; superando ampliamente las limitaciones que presentan dichas memorias asociativas en el que este nuevo clasificador se basa. En el presente trabajo de tesis se prueba el CHAT con diferentes bases de datos publicas. Los resultados experimentales muestran un alto rendimiento en la clasificación de los patrones contenidos en estas bases de datos. El CHAT puede rivalizar con los clasificadores más utilizados en las tareas de discriminación de patrones; además, cuenta con características deseables en un clasificador, como son: eficacia, bajo costo computacional y baja dependencia de factores heurísticos. Lo anterior hace del CHAT una herramienta útil para el área de Reconocimiento de Patrones, con posibilidades reales de convertirse en un factor importante para el desarrollo de esta área en el ámbito de la investigación nacional.

7 viii Abstract The creation of a new algorithm for the classification of patterns in the real domain is presented in this thesis, efficient an with low computational complexity and it is called Associative Hybrid Classifier with translation (CHAT). With the CHAT algorithm, a new approach for the classification of patterns it s creates, the associative approach. The CHAT algorithm is the combination of operations from two models of associative memories; the Lernmatrix and the Linear Associator. The CHAT algorithm combine matrix algebra of the Linear Associator in the learning phase and the criterion of the Lernmatrix in the recovering phase, overcoming some of the restriction in both models. In this thesis, the CHAT is tested with different public databases. Experimental results that the algorithm has high performance in the process of classification of patterns within this public databases. The CHAT algorithm can be compared with the most classifiers used on patterns discrimination. Also, the CHAT algorithm has some ideal characteristics as a classifier: efficient, with low computational complexity and with low dependence of the heuristics factors. Thus, the CHAT algorithm is a new classifier as well as useful tool in the area of Pattern Recognition, with real possibilities to become an important factor to develop in this area in the national and international research.

8 Glosario. Clase: son los grupos o conjuntos de patrones que representan un mismo tipo de concepto (Marqués de Sá, 2001; Schürmann, 1996). Patrones abstractos: son representaciones de conceptos. Patrones concretos: son representaciones de objetos con una manifestación física. Patrones: son representaciones abstractas de un objeto en el mundo físico. Los cuales exhiben cierta regularidad en una colección de observaciones conectadas en el tiempo, en el espacio o en ambas, y que pueden servir como modelo (Schürmann, 1996). Rasgos o características: primitivas o atributos obtenidas de los objetos a través de una serie de observaciones, las cuales son susceptibles de ser trasladadas a una medida o cualidad (Schürmann, 1996). Reconocimiento de patrones: Es la rama científica se encarga de emular la habilidad humana de reconocer objetos, mediante técnicas y métodos que sean implementados en máquinas desarrolladas y construidas para este fin (Duda, Hart & Stork 2001; Marqués de Sá, 2001). Similaridad : concepto que está presente y forma parte esencial del RP. Se reconoce que dos objetos se parecen o son similares, por que tienen atributos que les son comunes y cuyas medidas o cualidades relativas se ajustan a un grado de variación. Por lo regular este concepto se aplica, no entre un conjunto de objetos, sino entre un objeto y su prototipo. Vector de rasgos o vector de características: Es la organización de rasgos en un vector columna; que podrán contener valores cualitativos, cuantitativos o ambos (Duda, Hart & Stork 2001; Kuncheva, 2002; Schürmann, 1996).

9 Índice de tablas y figuras Fig. 2.1 Tipos de características...16 Fig. 2.2 Mapeo en una representación abstracta de generación / clasificación de patrones.17 Fig. 2.3 Modelo canónico de un clasificador Fig. 2.4 Representación del perceptron...24 Fig. 2.5 Asignación de símbolos...35 Fig. 2.6 Autómata resultante...35 Fig. 4.1 Gráfica de la ecuación y=3x Fig. 4.2 Gráfica de (x-2)²+(y+2)²= Fig. 4.3 Gráfica de x²+y²= Fig. 4.4 Gráfica de los puntos X y Z...45 Fig. 4.5 Representación de X' y Z'...46 Tabla 6.1 Descripción de rasgos (Iris plants)...62 Tabla 6.2 Descripción de rasgos (Wine recognition data)...63 Tabla 6.3 Descripción de rasgos (Cmc)...64 Fig. 6.1 Rendimiento del 1-NN, base de datos Iris plants...66 Fig. 6.2 Rendimiento del 3-NN base de datos Iris plants Fig. 6.3 Rendimiento del clasificador C-means, base de datos Iris plants...67 Fig. 6.4 Rendimiento del clasificador C-means difuso, base de datos Iris plants...68 Fig. 6.5 Rendimiento obtenido por el C-means difuso usando funciones de disimilaridad68 Fig. 6.6 Rendimiento del CHAT con la base de datos Iris plants...69 Tabla 6.4 Comparación del rendimiento de los clasificadores (Iris plants)...69 Fig. 6.7 Rendimiento del 1-NN con la base de datos Cmc...70 Fig. 6.8 Rendimiento del 3-NN con la base de datos Cmc Fig. 6.9 Rendimiento del C-means con la base de datos Cmc...71 Fig Rendimiento del C-means difuso con la base de datos Cmc...72 Fig Rendimiento del C-means difuso usando funciones de disimilaridad...72 Fig Rendimiento del CHAT con la base de datos Cmc...73

10 Tabla 6.5 Comparación del rendimiento de los clasificadores (Cmc)...73 Fig Rendimiento del 1-NN con la base de datos Credit...74 Fig Rendimiento del 3-NN con la base de datos Credit...75 Fig Rendimiento del C-means con la base de datos Credit...75 Fig Rendimiento del C-means difuso con la base de datos Credit...76 Fig Rendimiento del C-means difuso usando funciones de disimilaridad...76 Fig Rendimiento del CHAT con la base de datos Credit...77 Tabla 6.6 Comparación del rendimiento de los clasificadores (Credit)...77 Fig Rendimiento del 1-NN con la base de datos Wine...78 Fig Rendimiento del 3-NN con la base de datos Wine...79 Fig Rendimiento del C-means difuso usando funciones de disimilaridad...79 Fig Rendimiento del CHAT con la base de datos Wine...80 Tabla 6.7 Comparación del rendimiento de los clasificadores (Wine)...80

11 Capítulo 1 Introducción En este trabajo de tesis se muestra que las memorias asociativas son útiles en las tareas de clasificación de patrones; además, a partir del resultado principal de la tesis, que consiste en la creación de un nuevo algoritmo para clasificar patrones, el CHAT (Clasificador Híbrido Asociativo con Traslación), se establece el nacimiento del nuevo enfoque asociativo para clasificacón de patrones, el cual promete convertirse en un campo fructífero en esta área. La base inicial de este trabajo de tesis se sustenta en dos modelos pioneros de memorias asociativas: la Lernmatrix yellinear Associator. El CHAT puede rivalizar con los clasificadores más utilizados en las tareas de discriminación de patrones; además, cuenta con características deseables en un clasificador, como son: eficacia, bajo costo computacional y no dependencia determinante de factores heurísticos. Lo anterior hace del CHAT una herramienta útil para el área de Reconocimiento de Patrones, con posibilidades reales de convertirse en un factor importante para el desarrollo de esta área en el ámbito de la investigación nacional e internacional. En la sección 1.1 de este capítulo introductorio se plasma el objetivo de la tesis, y en las secciones 1.2 y 1.3, se incluyen la motivación que dio lugar a este trabajo de tesis y el planteamiento del problema, respectivamente. Después, en la sección 1.4 se enuncian las contribuciones originales; para finalizar, en la sección 1.5, se describe la organización del trabajo escrito Objetivo Crear un nuevo algoritmo para la clasificación de patrones en el dominio real, eficiente y de baja complejidad computacional, basado en la combinación de modelos conocidos de memorias asociativas. Agregar, con este algoritmo, un nuevo enfoque en la clasificación de patrones: el asociativo. Mostrar la utilidad práctica del enfoque asociativo, a través de la aplicación del nuevo algoritmo en procesos de clasificación en diferentes bases de datos públicas y hacer un estudio experimental comparativo entre el nuevo algoritmo y otros algoritmos ya establecidos en la clasificación de patrones, basados en otros enfoques. 1

12 1. Introducción Motivación El reconocer objetos es una tarea cotidiana y automática que realiza la especie humana. Esta habilidad que ha desarrollado el ser humano le ha servido, en su evolución, para identificar su entorno en tareas que van desde identificar alimentos hasta reconocer virus; esta habilidad es fundamental en la vida y desarrollo del hombre. Existe una infinidad de problemas que involucran el reconocimiento de objetos. Desafortunadamente, las capacidades del humano están limitadas cuando su habilidad de reconocer objetos se emplea en tareas repetitivas o que requieren de un alto grado de especialización para tratar dicho problema. Desde los inicios de la computación se ha buscado simular, por medio de máquinas, la habilidad de reconocer objetos (Marqués de Sá, 2001; Duda, Hart & Strork, 2001). A lo largo del tiempo, dentro de la novel ciencia de la computación, se ha desarrollado un área que aborda esta tarea, el Reconocimiento de Patrones (RP). Durante varias décadas, han aparecido diversos enfoques o metodologías, que son susceptibles de implementarse en máquinas, para simular la habilidad humana de reconocer objetos. Se han creado diferentes algoritmos, denominados clasificadores, que resuelven el problema de forma parcial; algunos con mayor éxito que otros. Estos clasificadores están basados en una variedad de enfoques, desde los sustentados por sólidas teorías matemáticas hasta los basados fuertemente en técnicas heurísticas (Marqués de Sá, 2001; Duda, Hart & Strork, 2001; Shalkoff, 1992). Una metodología en el RP, conocida desde hace varias décadas, es la denominada como memorias asociativas; tiene como propósito fundamental recuperar correctamente patrones completos a partir de patrones de entrada, los cuales pueden estar alterados con ruido (Amari, 1972; Anderson & Rosenfeld, 1990; Díaz-de-León & Yánez, 1999; Hopfield, 1982; Kohonen, 1972; Ritter, Díaz-de-León & Susser, 1999). Este enfoque tiene sus bases en el concepto de memoria para almacenar y recuperar información, y está sustentado por teorías matemáticas establecidas, como el álgebra lineal, la morfologia matemática o las álgebras min-max. Hasta ahora, las memorias asociativas se han utilizado en reconocimiento de patrones, y algunos autores reconocidos (Duda, Hart & Stork, 2001) afirman lo siguiente respecto de la clasificación de patrones: In acts of associative memory, the system takes in a pattern and emits another pattern which is representative of a general group of patterns. It thus reduces the information somewhat, but rarely to the extent that pattern classification does. Lo anterior ha motivado que este trabajo de tesis tenga como propósito fundamental crear, diseñar y aplicar algoritmos, basados en modelos conocidos de memorias asociativas, que realicen tareas de clasificación de patrones, y muestren que es posible obtener clasificadores eficientes, con la combinación ingeniosa de métodos matemáticos, específicamente geométricos, con los modelos matemáticos subyacentes en las memorias asociativas.

13 1. Introducción Planteamiento del problema Uno de los problemas más apremiantes a resolver en la tarea de clasificación de patrones, dentro del área de reconocimiento de patrones, es lograr la creación y diseño de una metodología que tenga un bajo costo computacional, un grado mínimo de heurística, y que sea factible de implementarse en computadoras. Cada uno de los enfoques hasta ahora existentes, tienen en un grado mayor o menor la ausencia de alguna o algunas de las características mencionadas, hecho que limita su eficacia o eficiencia. Actualmente los investigadores a nivel mundial tratan, mediante diferentes métodos, de optimizar los clasificadores ya conocidos, combinar los difentes enfoques o los diferentes clasificadores, intentando reducir las limitaciones de cada algoritmo o combinación particular. En este trabajo de tesis se atacará el problema de clasificar patrones en el dominio real, a través de la creación y diseño de un algoritmo que combine, de manera eficaz y eficiente, algunos métodos matemáticos, específicamente geométricos, con los modelos matemáticos que sustentan el diseño y operación de algunos modelos de memorias asociativas. Todas las memorias asociativas constan de dos fases: la fase de aprendizaje y la fase de recuperación. Existen diversos modelos de memorias asociativas y cada una implementa estas fases de manera diferente (Hassoun, 1993; Yáñez-Márquez, 2002). En el año de 1961, un alemán llamado Karl Steinbuch ideó y desarrolló una memoria asociativa denominada Lernmatrix (Steinbuch, 1961; Steinbuch & Frank, 1961); estamemoriahaestadoolvidadaporlacomunidadcientífica y no se han realizado investigaciones suficientes sobre ella hasta la fecha. La Lernmatrix volvió a formar parte del interés científico cuando se incluyó dentro del estado del arte de la tesis donde se desarrollaron las memorias alfa-beta (Yánez-Márquez, 2002), y se publicó un informe técnico (Yánez-Márquez & Díaz de León, 2001a), con lo que se revive el interés sobre esta antigua memoria. Por otro lado, el Linear Associator (Anderson & Rosenfeld, 1990; Kohonen, 1989) de manera simultánea e independiente fue desarrollado por el neurofisiólogo James A. Anderson y por el ingeniero finlandés Teuvo Kohonen. El trabajo relevante de esta tesis es combinar de cierta manera estos dos modelos de memorias asociativas, para crear un algoritmo de memoria asociativa que supera ampliamente a la Lernmatrix y al Linear Associator, en la tarea de clasificación de patrones en el dominio real. Dentro de este trabajo, se someterá el nuevo clasificador a distintas bases de datos públicas que sirven como parámetro para probar clasificadores (UCI Machine Learning Data Bases Repository, del ICS, de la universidad de California, Irvine:

14 1. Introducción Contribuciones Una nueva memoria asociativa. Un nuevo algoritmo para la clasificación de patrones. Un nuevo enfoque en el reconocimiento de patrones en tareas de clasificación Organización de la tesis Las secciones 1.1., 1.2., 1.3 y 1.4 que ya se han presentado, describen el objetivo, la motivación, el planteamiento del problema y las contribuciones. De estas cuatro secciones, resalta la sección 1.4., donde se enlistan las aportaciones originales que ofrece el presente trabajo de tesis. A continuación se explica la organización del resto del documento de tesis. El capítulo 2 da un panorama de las bases en que se fundamenta la presente tesis y consta de dos secciones. La primera sección está dedicada al área de memorias asociativas, describiendo los modelos de memorias asociativas en las que se basa el presente trabajo de tesis; en la segunda sección se da un panorama del reconocimiento de patrones, se mencionan conceptos y definiciones fundamentales para la comprensión del reconocimiento de patrones, así como de los enfoques más importantes que atacan la tarea de clasificación de patrones. Dentro del capítulo 3, se hace una recopilación de los trabajos más recientes relacionados con el tema de esta tesis, tanto en el área de memorias asociativas como en el de reconocimiento de patrones. El capítulo 4 incluye las herramientas matemáticas que se utilizan dentro del trabajo de tesis. Las matrices, vectores y operaciones entre ellos son descritos en este capítulo, y también se menciona el concepto de traslación de ejes y los operadores sigma y máximo, junto con ejemplos que los ilustran. El capítulo 5 es la parte medular del trabajo de tesis. Es allí donde se lleva a cabo el desarrollo del nuevo Clasificador Híbrido Asociativo con Traslación (CHAT), el cual marca el inicio de un nuevo enfoque en la clasificación de patrones, el enfoque asociativo. Este capítulo describe el desarrollo del CHAT en dos etapas; la primera presenta cómo la combinación ingeniosa de fases de dos memorias asociativas da como resultado un clasificador, el Clasificador Híbrido Asociativo (CHA), el cual manifiesta limitaciones; en la segunda etapa se muestra cómo estas limitaciones sonsuperadasalincluirenelcha una traslación de ejes. Esto da por resultado un clasificador eficaz y eficiente, cualidades buscadas por la comunidad científica para un algoritmo de clasificación de patrones.

15 1. Introducción 5 En el capítulo 6 se exhibe una serie de experimentos que muestran el rendimiento del nuevo algoritmo de clasificación, el CHAT. Este rendimiento se compara con los obtenidos por otros algoritmos de clasificación, basados en diferentes enfoques. La comparación se realiza con clasificadores muy estudiados y probados, tales son: el KNN y el C-means. Estos clasificadores, junto con variantes de los mismos, son probados con diferentes bases de datos públicas, diseñadas para probar clasificadores. El capítulo 7 consta de dos secciones; la primera sección contiene las conclusiones y la segunda, el trabajo futuro, en donde se enumeran diferentes aspectos no cubiertos por el actual trabajo de tesis. El documento de tesis finaliza con tres Apéndices: la Simbología empleada en todo el trabajo constituye el Apéndice A; un Manual, donde se describe el uso del programa que implementa el nuevo Clasificador Híbrido Asociativo con Traslación, constituye el Apéndice B; y otro Manual, donde se explica el uso del programa donde se implementó el clasificador KNN para los fines de comparación con el CHAT, forma el Apéndice C. Para concluir, se presentan las referencias bibliográficas.

16 Capítulo 2 Antecedentes Este capítulo consta de dos secciones. En la sección 2.1 se describen los conceptos básicos sobre memorias asociativas y los dos modelos en que se basa el clasificador presentado en este trabajo de tesis; en la sección 2.2, por otro lado, se describe el área denominada reconocimiento de patrones, y se explica brevemente cada uno de los diferentes enfoques, para finalmente mencionar el nuevo enfoque asociativo de reconocimiento de patrones, que se inicia precisamente con esta tesis Memorias asociativas En la primera parte de esta sección se presentan los conceptos básicos relacionados con el diseño y funcionamiento de las memorias asociativas. Las dos partes restantes se enfocan a los dos modelos en que se basa esta tesis, la Lernmatrix yellinear Associator Conceptos básicos de memorias asociativas Por su naturaleza, el problema que representa el funcionamiento de las memorias asociativas se divide en dos fases claramente distinguibles: 1. Fase de aprendizaje (generación de la memoria asociativa) 2. Fase de recuperación (operación de la memoria asociativa) Para estar en condiciones de realizar el planteamiento del problema, es preciso previamente proporcionar los conceptos básicos, las notaciones y la nomenclatura relacionados con el diseño y funcionamiento de las memorias asociativas. Los conceptos básicos son conocidos desde hace más de tres décadas, y se presentan como originalmente fueron establecidos en las referencias (Kohonen, 1972, 1977, 1987, 1989; Anderson, 1972; Anderson & Bower, 1977; Anderson & Rosenfeld, 1990; Hassoun, 1993, 1995, 1997). 6

17 2. Antecedentes 7 El propósito fundamental de una memoria asociativa es recuperar patrones completos a partir de patrones de entrada que pueden estar alterados con ruido aditivo, sustractivo o combinado. De acuerdo con esta afirmación, una memoria asociativa M puede formularse como un sistema de entrada y salida, idea que se esquematiza a continuación: x M y El patrón de entrada está representado por un vector columna denotado por x y el patrón de salida, por el vector columna denotado por y. Cada uno de los patrones de entrada forma una asociación con el correspondiente patrón de salida. La notación para una asociación es similar a la de una pareja ordenada; por ejemplo, los patrones x y y del esquema forman la asociación (x, y). Para facilitar la manipulación algebraica de los patrones de entrada y de salida, los denotaremos con las mismas letras negrillas, x y y, agregándoles números naturales como superíndices para efectos de discriminación simbólica. Por ejemplo, a un patrón de entrada x 1 le corresponderá un patrón de salida y 1, y ambos formarán la asociación (x 1, y 1 ); del mismo modo, para un número entero positivo k específico, la asociación correspondiente será (x k, y k ). La memoria asociativa M se representa mediante una matriz cuya componente ij-ésima es m ij (Palm, Schwenker, Sommer & Strey, 1997); la matriz M se genera a partir de un conjunto finito de asociaciones conocidas de antemano: este es el conjunto fundamental de asociaciones, o simplemente conjunto f undamental. Se denota por p la cardinalidad del conjunto fundamental (p es un número entero positivo). Si µ es un índice, el conjunto fundamental se representa de la siguiente manera: {(x µ, y µ ) µ =1, 2,..., p} A los patrones que conforman las asociaciones del conjunto fundamental, se les llama patrones fundamentales. La naturaleza del conjunto fundamental proporciona un importante criterio para clasificar las memorias asociativas. Si se cumple que x µ = y µ µ {1, 2,..., p}, se dice que la memoria es autoasociativa; de otro modo, la memoria es heteroasociativa (Kohonen,1972). Para una memoria heteroasociativa se puede afirmar lo siguiente: µ {1, 2,..., p} para el que se cumple que x µ 6= y µ. Es posible que los patrones fundamentales sean alterados con diferentes tipos de ruido. Para diferenciar un patrón alterado del correspondiente patrón fundamental, usaremos la tilde en la parte superior; así, el patrón ex k es una versión alterada del patrón fundamental x k, y el tipo de alteración que representa ex k se evidenciará en el contexto específico donde se use. Si al presentarle a la memoria M un patrón alterado ex ω como entrada (ω {1, 2,...,p}), M responde con el correspondiente patrón fundamental de salida y ω,

18 2. Antecedentes 8 se dice que la recuperación es perfecta. Una memoria perfecta es aquella que realiza recuperaciones perfectas para todos los patrones fundamentales. Naturalmente, también los patrones de salida pueden ser alterados; por ejemplo, si y 3 es un patrón fundamental, entonces ey 3 representa una versión alterada de y 3. Abundemos en la caracterización de los patrones de entrada, de salida y de la matriz M. Primeramente se requiere la especificación de dos conjuntos a los que llamaremos arbitrariamente A y B. La importancia de estos dos conjuntos radica en que las componenetes de los vectores columna que representan a los patrones, tanto de entrada como de salida, serán elementos del conjunto A, y las entradas de la matriz M serán elementos del conjunto B. No hay requisitos previos ni limitaciones respecto de la elección de estos dos conjuntos, por lo que no necesariamente deben ser diferentes o poseer características especiales. Esto significa que el número de posibilidades para escoger A y B es infinito; a continuación se ejemplifican algunas de ellas: A = B = R, donder es el símbolo que representa al conjunto de los números reales. A = R y B = {0, 1}. A = B = {0, 1}. A = B = { 1, 1}. A = R y B = { 1, 1}. A = Z y B = { 1, 1}, donde Z es el conjunto de los números enteros. A Z y B Z Ya que se tienen especificados los conjuntos A y B, es necesario establecer las dimensiones de los patrones, tanto de entrada como de salida. Sean m, n números enteros positivos. Se denota por n la dimensión de los patrones de entrada, y por m la dimensión de los patrones de salida; claramente, nada impide que los valores de m yden sean iguales. Aún más, uno de los requisitos que debe cumplir una memoria autoasociativa es que la dimensión de los patrones de entrada sea igual a la dimensión de los patrones de salida; por otro lado, si en una memoria sucede que m 6= n, es evidente que la memoria debe ser heteroasociativa. Cada vector columna que representa un patrón de entrada tiene n componentes cuyos valores pertenecen al conjunto A, y cada vector columna que representa un patrón de salida posee m componentes cuyos valores pertenecen al conjunto A. Es decir: x µ A n y y µ A m µ {1, 2,..., p} La j-ésima componente de un vector columna se indica con la misma letra del vector, pero sin negrilla, colocando a j como subíndice (j {1, 2,..., n} o j {1, 2,...,m} según corresponda). La j-ésima componente de un vector columna x µ se representa por

19 2. Antecedentes 9 Ejemplos: x µ j La i-ésima componente del vector columna x µ se representa por x µ i La tercera componente del vector columna x 5 se representa por x 5 3 La j-ésima componente del vector columna y µ se representa por y µ j La l-ésima componente del vector columna y ω se representa por y ω l Al usar el superíndice t para indicar el transpuesto de un vector, se obtienen las siguientes expresiones para los vectores columna que representan a los patrones fundamentales de entrada y de salida, respectivamente: x µ =(x µ 1,xµ 2,..., xµ n) t = x µ 1 x µ 2. x µ n y µ 1 y µ =(y µ 1,yµ 2,..., yµ m) t y µ = 2. y µ m An Am Con lo anterior, es ya posible presentar el planteamiento del problema general de lasmemoriasasociativas: 1. Fase de aprendizaje. Encontrar los operadores adecuados y una manera de generar una matriz M que almacene las p asociaciones del conjunto fundamental x 1, y 1, x 2, y 2,..., (x p, y p ) ª,dondex µ A n y y µ A m µ {1, 2,..., p}. Si µ {1, 2,..., p} tal que x µ 6= y µ, la memoria será heteroasociativa; sim = n y x µ = y µ µ {1, 2,..., p}, lamemoriaseráautoasociativa. 2. Fase de recuperación. Hallar los operadores adecuados y las condiciones suficientes para obtener el patrón fundamental de salida y µ, cuando se opera la memoria M con el patrón fundamental de entrada x µ ;loanteriorparatodosloselementosdel conjunto fundamental y para ambos modos: autoasociativo y heteroasociativo. Exhibir y caracterizar, además, el ruido que puede soportar la memoria en el patrón de entrada ex ω, para entregar una salida perfecta y ω Lernmatrix de Steinbuch Karl Steinbuch fue uno de los primeros investigadores en desarrollar un método para codificar información en arreglos cuadriculados conocidos como crossbar (Simpson, 1990). La importancia de la Lernmatrix (Steinbuch, 1961; Steinbuch & Frank, 1961) se evidencia en una afirmación que hace Kohonen en su artículo de 1972 (Kohonen, 1972), donde apunta que las matrices de correlación, base fundamental de su innovador trabajo, vinieron a sustituir a la Lernmatrix de Steinbuch.

20 2. Antecedentes 10 La Lernmatrix es una memoria heteroasociativa que puede funcionar como un clasificador de patrones binarios si se escogen adecuadamente los patrones de salida; es un sistema de entrada y salida que al operar acepta como entrada un patrón binario x µ A n,a= {0, 1} y produce como salida la clase y µ A p quelecorresponde (de entre p clases diferentes), codificada ésta con un método simple, a saber: para representar la clase k {1, 2,...,p}, se asignan a las componentes del vector de salida y µ lossiguientesvalores:y µ k =1, y yµ j =0para j =1, 2..., k 1,k+1,...p. El siguiente esquema (crossbar) ilustra la fase de aprendizaje para la Lernmatrix de Steinbuch, al incorporar la pareja de patrones de entrenamiento (x µ, y µ ) A n A p. x µ 1 x µ 2 x µ j x µ n y µ 1 m 11 m 12 m 1j m 1n y µ 2 m 21 m 22 m 2j m 2n..... y µ i m i1 m i2 m ij m in..... y p µ m p1 m p2 m pj m pn (2.1) Cada uno de los componentes m ij de M, lalernmatrix de Steinbuch, tiene valor cero al inicio, y se actualiza de acuerdo con la regla m ij + m ij,donde: +ε si x µ i =1=yµ j m ij = ε si x µ i =0y yµ j =1 0 en otro caso siendo ε una constante positiva escogida previamente. (2.2) La fase de recuperación consiste en encontrar la clase a la que pertenece un vector de entrada x ω A n dado. Encontrar la clase significa obtener las coordenadas del vector y ω A p que le corresponde al patrón x ω ; en virtud del método de construcción de los vectores y µ la clase debería obtenerse sin ambigüedad. La i-ésima coordenada yi ω del vector de clase y ω A p seobtienecomoloindicala siguiente expresión, donde W es el operador máximo: ( yi ω 1 si P n = j=1 m ij.x ω j = W h p Pn i h=1 j=1 m hj.x ω j (2.3) 0 en otro caso Linear Associator de Anderson-Kohonen Respectoalacreacióndeestemodelodememoriaasociativa,espertinentemencionar un hecho curioso, que se ha presentado en personajes dedicados a otras ramas

21 2. Antecedentes 11 de la ciencia: James A. Anderson y Teuvo Kohonen obtuvieron resultados asombrosamente similares a pesar de que trabajaron independientemente y sin tener noticia uno del otro, hasta tiempo después de que aparecieron los artículos; además, estos autores tienen formaciones profesionales totalmente diferentes: Anderson es neurofisiólogo y Kohonen es físico e ingeniero eléctrico (Anderson & Rosenfeld, 1990; Kohonen, 1989). Para presentar el Linear Associator, consideremos de nuevo el conjunto fundamental {(x µ, y µ ) µ =1, 2,..., p} con: A = {0, 1}, x µ = x µ 1 x µ 2. x µ n La fase de aprendizaje consiste de dos etapas: An y y µ = y µ 1 y µ 2. y µ m Am 1. Para cada una de las p asociaciones (x µ, y µ ) se encuentra la matriz y µ (x µ ) t de dimensiones m n y µ 1 y µ (x µ ) t y µ = 2. (xµ 1,xµ 2,...,xµ n) (2.4) y µ (x µ ) t = y µ m y µ 1 xµ 1 y µ 1 xµ 2 y µ 1 xµ j y µ 1 xµ n y µ 2 xµ 1 y µ 2 xµ 2 y µ 2 xµ j y µ 2 xµ n.... y µ i xµ 1 y µ i xµ 2 y µ i xµ j y µ i xµ n.... (2.5) y µ mx µ 1 y µ mx µ 2 y µ mx µ j y µ mx µ n 2. Se suman la p matrices para obtener la memoria px M = y µ (x µ ) t =[m ij ] m n (2.6) µ=1 de manera que la ij-ésima componente de la memoria M se expresa así: px m ij = y µ i xµ j (2.7) µ=1 La fase de recuperación consiste en presentarle a la memoria un patrón de entrada x ω,dondeω {1, 2,..., p} y realizar la operación px M x ω = y µ (x µ ) t x ω (2.8) µ=1

22 2. Antecedentes 12 El Linear Associator tiene una fuerte restricción: los vectores de entrada x µ deben serortonormales.estacondicióndeortonormalidadsepuederesumirenlasiguiente expresión: 1 si µ = ω (x µ ) t x ω = δ µω = (2.9) 0 si µ 6= ω donde δ µω es la conocida delta de Kronecker (Moore, 1968). Si se cumple la condición que se manifiesta en la expresión 2.9, entonces la recuperación es perfecta para todo el conjunto fundamental; es decir: M x ω = y ω (2.10) Sin embargo, si los vectores de entrada no son ortonormales, suceden dos cosas: 1. el factor (x ω ) t x ω no es 1 2. el término P µ6=ω yµ (x µ ) t x ω no es 0 Este último término, llamado cross-talk, representa el ruido producido por la interacción entre los patrones de entrada, y tiene como consecuencia inmediata que la recuperación no es perfecta, excepto si el número de patrones almacenados es pequeño comparado con la dimensión n de los vectores de entrada. Algunos investigadores afirman que ese número pequeño de patrones debe estar entre 0,1n y 0,2n (Anderson & Rosenfeld, 1990; Hassoun, 1995; Ritter, Sussner & Díaz-de-León, 1998) Reconocimiento de patrones Conceptos básicos del reconocimiento de patrones En RP cada rasgo o característica de un objeto se le asigna una variable, x 1,x 2,..., x n. Estas variables son organizadas como un vector columna, que podrán contener valores cualitativos, cuantitativos o ambos (Duda, Hart & Stork 2001; Kuncheva, 2002; Schürmann, 1996), llamado vector de rasgos o vector de características; para los fines de esta tesis, las variables sólo contendrán valores reales. Fig : Tipos de característisticas

23 2. Antecedentes 13 El vector de rasgos será la representación formal de un patrón, tal que: x 1 x 2 x =. x n es un patrón y podrá ser representado como un punto en espacio R n.elespacio real R n es llamado espacio de características. Nota 2.1 Generalmente, las estructuras de datos que son utilizadas en los sistemas de reconocimiento de patrones son de dos tipos: vectores y datos relacionados (cadenas o palabras) (Pal, 1999). En este trabajo de tesis solo trataremos con vectores. Definición 2.2 Sea Ω un conjunto de clases ω, tal que a Ω se le denomina espacio de interpretación: Ω = {ω 1,ω 2,..., ω i } Como se muestra en el diagrama de la figura 2.2, el RP se puede caracterizar como un proceso de mapeo de información, reducción de información o etiquetado de información (Shalkoff, 1992). Este mapeo entre el espacio de interpretación y el espacio de características se hace mediante una relación G para cada clase; lo ideal es que esta función sea biyectiva, pero existen casos, como lo muestran las clases ω 1 y ω 2, que algunos patrones puedan pertenecer a distintas clases a la vez. Esto dificulta el proceso de asignar un patrón a una clase específica. Figura 2.2. : Representación abstracta de generación / clasificación de patrones.

24 2. Antecedentes Clasificación de patrones Esta tarea del RP es una de las más antiguas y más estudiadas. Los trabajos en la clasificación de patrones tienen más de cinco décadas y dentro de ellos, se han desarrollado varias metodologías y decenas de algoritmos para clasificar. Algunos de ellos desde la década de los 50 s y que aún hoy son tema de estudio. Tal es el caso del clasificador KNN (Dasarathy, 1991). La tarea de clasificación básicamente consiste en hacer particiones del espacio de características para formar regiones, donde a cada región se le asignará una categoría o clase. Los diferentes patrones deberán ser asignados en alguna de las posibles regiones creadas en el espacio de características. En problemas reales, la descripción completa de las clases no es conocida. En lugar de ésta, se tiene un conjunto finito y generalmente reducido de patrones que proveen información parcial sobre un problema específico. El objetivo principal en la tarea de clasificación es: diseñar y construir extractores de características o clasificadores que puedan llevar a cabo la segmentación del espacio de características de forma eficiente (Pal, 1999). Un clasificador es cualquier función: D : R n Ω En el modelo canónico de un clasificador (Duda, Hart & Stork 2001), mostrado en la figura 2.3, se considera un conjundo de c funciones discriminantes. donde: G = {g 1 (x),g 2 (x),..., g c (x)} g i : R n R i =1, 2,...c Típicamente el patrón x es asignado en la clase ω i,si el valor de g i (x) es máximo; a esto se le conoce como maximum membership rule. D(x) =ω i Ω g i (x) = máx i=1,...c {g i(x)} Figura 2.3.: Modelo canónico de un clasificador.

25 2. Antecedentes 15 Las funciones discriminantes segmentan el espacio de caracteristicas R n en regiones de decisión o regiones de clasificación (Kuncheva, 2002). Lasregionesparacadaclaseω i son el conjunto de puntos para los cuales la i-esima función discriminante tiene el más alto valor. Todos los puntos en la región i-esima serán asignados en la clase ω i. Estasregionesserándeterminadasporelclasificador D mediante el conjunto de funciones discriminantes G. Las fronteras de las regiones son llamadas fronteras de clasificación, y contienen los puntos que no pueden pertenecer a una clase en particular (Kuncheva, 2002). Enfoques de entrenamiento Existen básicamente dos enfoques: Supervisado. En este enfoque se debe contar con un conjunto de patrones, en los cuales se tiene determinada previamente la clase a la cual están asociados cada uno de ellos y se denomina generalmente conjunto de entrenamiento. En el caso de las memorias asociativas este conjunto recibe el nombre de conjunto fundamental. No supervisado. Se trata de encontrar agrupamientos de patrones que formen las diferentes clases existentes en un determinado problema mediante la similaridad entre éstos Clasificadores de mínima distancia Los clasificadores diseñados dentro de este enfoque emplean aprendizaje supervisado; generalmente son empleados si el conjunto de patrones de entrenamiento forman agrupamientos por cada clase existente en un problema dado. Esto da lugar a poder emplear una función de distancia para su clasificación. Cada clase involucrada en el problema es representada por un patrón llamado centro del agrupamiento, determinado por la media aritmética del conjunto de patrones de entrenamiento de cada clase. Este centro del agrupamiento permite al clasificador determinar una clase determinada a la cual pertenece un nuevo vector si la distancia es mínima con respecto de los otros centros de agrupamiento involucrados, representativos de las otras clases. Existen diversos clasificadores que emplean este método, entre los cuales los más conocidos son el clasificador euclidiano, el KNN y el c-means (Friedman, M, 1999). Se darán algunos conceptos y definiones que son necesarios para el mejor entendimiento de este tipo de metodología; también se presenta uno de los clasificadores básicos dentro de este enfoque, el clasificador euclideano. Métricas Si tenemos un conjunto de patrones clasificados, es decir, que de antemano sabemos a qué clase pertenecen cada uno de ellos, y también supongamos que tenemos

26 2. Antecedentes 16 otro conjunto de patrones, los cuales no han sido clasificados. Una forma "simple"de clasificar estos últimos patrones, es decir no clasificados, es encontrar una función que nos diga con qué clase tienen una mayor similaridad cada uno de ellos. Aunque casi todos los enfoques de reconocimiento de patrones se basan en esta idea, la función está representada por una métrica. Intuitivamente, y dado que los patrones con los que se trabaja tienen todos los rasgos numéricos, un patrón puede verse como un vector en un espacio en R n, para un n en particular. Ahora, una métrica es una forma de medir la distancia entre dos de estos vectores, así, diremos que un patrón tiene una mayor similaridad a otro cuando la distancia entre ellos sea menor. Usualmente, la forma más sencilla de encontrar esta distancia es con base en el famoso teorema de Pitágoras extendido a un espacio n-dimensional, que se conoce como distancia euclideana. Sin embargo, no es la única forma de medir la distancia entre dos puntos, por lo que en esta sección nos ocuparemos delasformasdemedir. Definición de métrica Aunque intuitivamente ya se tiene idea de que una métrica es una forma de medir una distancia, la definición formal es la siguiente: Definición 2.3 Sean x, y y z tres puntos en R n.unamétrica o norma denominada d(x, y), es una función d : R n R n R +, que cumple con las siguientes propiedades: 1. d(x, y) 0 y d(x, y) =0si y sólo si x = y. 2. d(x, y) =d(y, x) 3. d(x, y) d(x, z) +d(z, y) (Desigualdad del triángulo). En general, existe un número infinito de funciones que cumplen con la definición anterior, y por tanto, la distancia entre dos puntos calculada por una métrica puede ser completamente distinta a la calculada por otra. Pensando en función de que una métricanosserviráparadefinir la forma en cómo un patrón tienen una mayor similaridad a otro, podemos esperar un funcionamiento radicalmente distinto de un sistema de clasificación con base en la métrica seleccionada. LasmétricasdeMinkowski Unas de las métricas más utilizadas, son las llamadas métricas de Minkowski. Minkowski fue un brillante físico y matemático Ruso de fines del siglo XIX y principios del XX que fue maestro de Albert Einstein. Sus trabajos en el campo de la física se enfocaron principalmente a la relatividad, en el continuo espacio-tiempo y a la electrodinámica y muchos de sus resultados le son atribuidos al propio Einstein. Sus trabajos en matemáticas incluyen las formas cuadráticas, las fracciones continuas y en la forma en como una figura de una forma puede caber en otra figura de otra forma, que a la postre sería la base de la Morfología Matemática.

27 2. Antecedentes 17 La forma general de las métricas de Minkowski es la siguiente: d r (x, y) = " nx i=1 x i y i r # 1 r (2.11) Donde r es un número entero positivo. Dependiendo de r, es la forma en como se comporta la métrica. Existen 3 valores que son los más comunes y que definen tres distancias conocidas: 1. Distancia city-block. r =1. d 1 (x, y) = 2. Distancia euclideana. r =2. " nx i=1 x i y i 1 # 1 1 = nx x i y i (2.12) i=1 d 2 (x, y) = " nx i=1 x i y i 2 # 1 2 (2.13) 3. Distancia infinito. r. Ejemplo 2.4 Sean x = d (x, y) = lím r " nx i=1 y y = x i y i r # 1 r de acuerdo a las métricas city-block, euclideana e infinito. =máx x i y i (2.14) i, calcular la distancia entre ellos P d 1 (x, y) = 4 x i y i = ( 3) + 4 ( 1) 4P d 2 (x, y) = i=1 i=1 = =30 x i y i = h ( 3) ( 1) 2i 1 2 =[ ] 1 2 = d (x, y) =máx i x i y i =máx [ 2 1, 2 10, 9 ( 3), 4 ( 1) ] =máx [1, 12, 12, 5] = 12

28 2. Antecedentes 18 El Clasificador Euclideano El clasificador euclideano es un clasificador que toma precisamente la distancia euclideana para determinar cuándo un patrón es más similar a otro. La distancia euclideana es un caso especial de las métricas de Minkowski para el caso en que r =2. Esta norma es, intuitivamente, la que se utiliza para medir una distancia, ya que equivale a medir el tamaño del segmento de recta que une a dos puntos, y es la que normalmente se utiliza en geometría analítica y en análisis vectorial. Un patrón puede ser visto como un vector en R n, por lo que el análisis que haremos sobre él será puramente vectorial, y es conveniente expresar esta distancia en forma alterna. Definición 2.5 Sean x, y dos puntos en R n,esdecir,x = x 1 x 2... x n y y = La distancia euclideana entre x y y, denotadad 2 (x, y) secalculadelasiguienteforma: y 1 y 2... y n. o en forma vectorial: " nx # 1 2 d 2 (x, y) = (x i y i ) 2 i=1 (2.15) d 2 (x, y) = (x y) T (x y) 1 2 (2.16) donde (x y) T es el vector transpuesto del vector (x y). 2 1 Ejemplo 2.6 Sean x = 2 9 y y = Entonces la distancia euclideana 4 1 entre x y y deacuerdoalaecuación2.15es: " 4X # 1 2 d 2 (x, y) = (y i x i ) 2 i=1 = [314] 1 2 = = (1 2) 2 +(10 ( 2)) 2 +( 3 9) 2 +( 1 4) ydeacuerdoalaecuación2.16es: d 2 (x, y) = (y x) T (y x) 1 2 = = [ ] 1 2 = [314] 1 2 =

29 2. Antecedentes 19 Algoritmo 2.7 Algoritmo del clasificador euclideano. 1. Se escoge una muestra de patrones clasificada de antemano en n clases {C 1,C 2,..,C n } y la métrica d 2 será la distancia euclideana. 2. Con base en la muestra y para cada clase C i, calculamos el patrón representante µ i = k 1 P x j,dondek es el número de elementos en la muestra que pertenecen a C i. x j C i 3. Se generan funciones discriminantes d ij (x) para cada par de clases C i,c j,de forma que d ij (x) =(µ i µ j ) T x (µ i µ j )T (µ i +µ j ) En el momento de clasificar, el patrón x será clasificado en la clase i, sisecumple lo siguiente: j, j 6= i, d ij (x) 0 µ µ µ Ejemplo 2.8 Sean los vectores x 1 =,x =,x =, con x ,x 3 miembros de la clase C 1 µ y x 2 miembrodelaclasec 2.Determinarlaclasealaque 2. 7 pertenece el patrón x 4 = Como ya se tiene la muestra clasificada en 2 clases, comenzaremos por calcular los vectores medios de cada µ una de las clases. µ µ 1 = 1 2 (x 1 + x 3 )=.yµ = x 2 =. Ahora, como solamente 0. 7 tenemos dos clases, una función discriminante es suficiente, que sería: d 12 (x) =(µ 1 µ 2 ) T x (µ 1 µ 2 )T (µ 1 +µ 2 ) 2 = x Finalmente, probaremos el clasificador con todos los vectores: = /2 = d 12 (x 1 )= µ = = > 0 x 1 C 1 d 12 (x 2 )= µ = = < 0 x 2 C 2 d 12 (x 3 )= µ = = > 0 x 3 C 1 d 12 (x 4 )= µ = = < 0 x 4 C Enfoque neuronal En 1943 McCulloch & Pitts (McCulloch & Pitts, 1943) propusieron una teoría general del procesamiento de la información basado en redes de interrupción binaria, las cuales son llamadas eufemísticamente neuronas, aunque ellas estén lejos de sus

30 2. Antecedentes 20 contrapartes biológicas. Cada una de estas neuronas sólo puede tomar como valores de salida1o0,donde0representaunestadoinactivodelaneuronay1unestadoactivo. McCulloch & Pitts mostraron que tales redes podían, en principio, implementarse en sistemas de procesos de cómputo. Frank Rosemblatt presentó posteriormente en el año de 1958 un modelo neural llamado perceptron junto con su regla de aprendizaje, el cual está basado en el gradiente descendiente. El gradiente modifica una matriz, nombrada matriz de acoplamiento o pesos, dependiendo del comportamiento de las neuronas. Sin embargo, la simplicidad de este diseño fue también su punto débil; existen tareas en RP que un perceptron no es capaz de resolver, como lo mostraron Minsky & Paper (Minsky & Papert, 1969). Esto provocó que el interés en las redes neuronales decayera. No fue hasta la aparición del trabajo de Hopfield (Hopfield,.1982; Hopfield, 1984) que el interés renaciera en este tipo de algoritmos. Las redes neuronales pueden aplicarse a tareas de clasificación o regresión; utilizan tantoelenfoquedeentrenamientosupervisadocomoelnosupervisado.laarquitectura de la red incluye tres tipos de capas, la de entrada, la oculta y la de salida. Este tipo de redes pueden llegar a ser muy complejas, se caracterizan por tener un conjunto de pesos los cuales se van modificando, y funciones de activación con las cuales se determina cómo la información será transmitida a las capas siguientes (Marqués de Sá, 2001). En el enfoque generalmente existen dos etapas claras: la de entrenamiento, donde mediante un conjunto de patrones la red va ajustando el conjunto de pesos que tiene asociados, hasta obtener en la capa de salida una clasificación correcta de los patrones de entrenamiento; y la segunda etapa, donde se somete un conjunto de patrones mayor al conjunto de entrenamiento para probar su rendimiento. Una clara desventaja, ampliamente referida, es el grado de heurística implicada en el diseño de los clasificadores bajo este enfoque. Existen muchos tipos de redes neuronales que funcionan como clasificadores, desde el simple perceptron hasta las más avanzadas. Perceptron Minsky and Papper (Minsky, M. & Papert, S. (1969) describen al perceptron como un algoritmo estocástico de gradiente descendente, que intenta la separación lineal de un conjunto de datos de entrenamiento n-dimensional. El perceptron tiene una sola salida y n entradas. El valor que toma la salida esta determinada por un conjunto de valores, llamados pesos, y los valores de las entradas. Este valor que toma la salida determina la clase a la cual pertenece un patrón representado por un vector, cuyos componentes son los valores de las entradas del perceptron. Es un algoritmo que emplea aprendizaje supervisado. Un perceptron puede ser representado por un solo nodo que aplica una función escalón a la suma de los productos de pesos y entradas (Kishan, Chilukuri & Sanjay, 1997).