Clasificación de Frases del Lenguaje Natural usando Redes Neuronales Recurrentes. Sergio Roa Ovalle

Transcripción

1 Clasificación de Frases del Lenguaje Natural usando Redes Neuronales Recurrentes Sergio Roa Ovalle Universidad Nacional de Colombia Facultad de Ingeniería Departamento de Sistemas Bogotá 2002

2 Clasificación de Frases del Lenguaje Natural usando Redes Neuronales Recurrentes Proyecto Final de Trabajo de Grado para optar al título de Ingeniero de Sistemas Sergio Roa Ovalle Director Profesor Luis Fernando Niño, Ph.D. Universidad Nacional de Colombia Facultad de Ingeniería Departamento de Sistemas Bogotá 2002

3 NOTA DE ACEPTACIÓN Jurados I

4 A mi familia, especialmente mis padres, María Elvia y José D., y mis hermanos, Fernando y Liliana, por su motivación y apoyo incondicionales. II

5 AGRADECIMIENTOS El desarrollo de este trabajo se debe en gran medida a la motivación que he recibido de parte de muchos de mis profesores a lo largo de esta carrera, en especial, a Francisco Meluk por sus conocimientos y su interés por dejar sembrada una semilla de convicción y dedicación en todos sus alumnos; a Manuel Guillermo Forero, Germán Hernández y Luis Fernando Niño, por los conocimientos que adquirí en los últimos semestres y su apoyo y orientación en la conclusión de mis metas profesionales. Por último, quiero agradecer al Ingeniero Andrés Calderón por sus consejos, que constituyeron un valioso aporte para llevar a cabo este proyecto. III

6 CONTENIDO INTRODUCCIÓN 1 1. CONCEPTOS FUNDAMENTALES REDES NEURONALES ARTIFICIALES Breve reseña histórica Aplicaciones Características generales Perceptrón simple Perceptrones multicapa Algoritmo de retropropagación Ventajas de las redes neuronales recurrentes AUTÓMATAS, LENGUAJES Y GRAMÁTICAS Conceptos básicos Lenguajes regulares Autómatas finitos determinísticos Gramáticas regulares Teoría lingüística de Rección y Ligamiento CLASIFICACIÓN DE FRASES DEL LENGUAJE NATURAL USANDO RE- DES NEURONALES RECURRENTES ANTECEDENTES DISEÑO DEL SISTEMA CLASIFICADOR Entradas Salidas IV

7 2.3. TOPOLOGÍA DE LA RED NEURONAL RECURRENTE UTILIZADA ENTRENAMIENTO DE LA RED Medida de rendimiento de la red neuronal Algoritmo de retropropagación a través del tiempo (BPTT) Dinámica de la red neuronal RESULTADOS EXPERIMENTALES EXTRACCIÓN DE AUTÓMATAS COMPORTAMIENTO DE LA RED NEURONAL RECURRENTE EXTRACCIÓN DE AUTÓMATAS FINITOS Algoritmo de agrupamiento para la clasificación de estados del autómata Construcción del autómata RESULTADOS EXPERIMENTALES ANÁLISIS, DISEÑO E IMPLEMENTACIÓN DEL SOFTWARE Herramienta para Clasificación de Frases usando una Red neuronal Recurrente Herramienta para la Extracción de Autómatas finitos CONCLUSIONES Y RECOMENDACIONES 90 BIBLIOGRAFÍA 93 V

8 ÍNDICE DE FIGURAS 1.1. Clasificación de Patrones Agrupamiento Aproximación de funciones Dibujo de una neurona biológica Modelo no lineal de una neurona Función umbral Función lineal a trozos Función logística sigmoide Red de una sola capa con alimentación hacia adelante Red multicapa con alimentación hacia adelante Red recurrente Aprendizaje supervisado Aprendizaje no supervisado Red de aprendizaje competitivo Interpretación geométrica del proceso de aprendizaje competitivo Hiperplano en un problema de clasificación bidimensional Perceptrón multicapa Interpretación geométrica de la función de las neuronas ocultas Grafo que muestra detalles del algoritmo de retropropagación Retropropagación de las señales de error Diagrama de transición de un AFD Uso de la ventana en la Red Recurrente de Elman Red neuronal recurrente desplegada en el tiempo Propagación hacia adelante del algoritmo BPTT (paso 1) VI

9 2.25. Propagación hacia adelante del algoritmo BPTT Imagen de la aplicación para Clasificación de Frases Modelo de espacio de estados de una red neuronal recurrente Teselación de Voronoi y Triangulación de Delaunay Triangulación de Delaunay inducida Conjunto de datos de entrada y conjuntos de Voronoi Diagrama de transiciones del Autómata Finito Parámetros y métodos de la Clase RNNElman Parámetros de la Clase SubRed Parámetros de la Clase Frase Parámetros y Métodos de la Clase Palabra Parámetros y Funciones de la Clase TForm Parámetros y métodos de la Clase Autómata Parámetros de la Clase NeuronaEstado Parámetros y Funciones principales de la Clase Doc Función principal de la Clase View VII

10 ÍNDICE DE TABLAS 1.1. Tabla de transición de estados de un AFD Categorías asumidas en la Teoría RL Algunas frases codificadas y su clasificación gramatical Codificación de las subcategorías léxicas Correspondencia entre neuronas de entrada y categorías léxicas Porcentaje de correcta clasificación de los ejemplos de entrenamiento Porcentaje de correcta clasificación de los ejemplos de prueba Resultados de la Clasificación de algunos ejemplos de entrenamiento Resultados de la Clasificación de algunos ejemplos de prueba Rendimiento del autómata (transiciones de una palabra) Rendimiento del autómata (transiciones de dos palabras) Estructura de la Tabla para el conjunto completo de frases Estructura de la Tabla para las frases de entrenamiento o prueba VIII

11 ÍNDICE DE ANEXOS Anexo A. Herramienta para Clasificación de Frases del Lenguaje Natural. Manual del Usuario Anexo B. Herramienta para Extracción de Autómatas Finitos. Manual del Usuario 107 IX

12 GLOSARIO Red neuronal artificial: procesador distribuido masivamente paralelo constituido por unidades simples de procesamiento que tiene una característica natural de guardar conocimiento por experiencia y hacerlo disponible para su uso [Hay99]. Neurona artificial: unidad de procesamiento de información fundamental para la operación de una red neuronal [Hay99]. Sinapsis: conexión entre dos neuronas. Peso sináptico: valor ponderado de la sinapsis. Corresponde a un parámetro libre de una red neuronal. Patrón (ejemplo) de entrenamiento: vector de entrada aplicado a la red neuronal en el proceso de aprendizaje (entrenamiento). Potencial de activación: valor de entrada aplicado a una neurona artificial, dado por la suma de las señales de entrada que parten de las neuronas conectadas a ella (salidas de éstas), ponderada por las sinapsis de la neurona. Función de activación: función que determina la relación de entrada-salida para una neurona. Respuesta deseada: valor esperado de activación o salida de una neurona. X

13 Señal de error: diferencia entre la respuesta deseada y la señal obtenida (salida) de la neurona. Sistema dinámico: sistema cuyo estado varía con el tiempo [Hay99]. Retroalimentación: existe cuando la salida de un elemento en un sistema dinámico influye parcialmente en la entrada aplicada a ese elemento particular, dando lugar a uno o más ciclos en la transmisión de las señales en el sistema [Hay99]. Red neuronal recurrente: red neuronal con ciclos de retroalimentación entre sus neuronas. Grafo dirigido: sistema matemático abstracto formado por nodos unidos entre sí por aristas, en el que cada arista se corresponde con un par ordenado del conjunto de nodos [GT96]. Inteligencia artificial: sistemas que actúan o piensan como humanos (racionalmente) [RP95]. Aprendizaje: proceso mediante el cual los parámetros libres de una red neuronal se adaptan a través de un proceso de estimulación por el ambiente en que la red está incorporada [Hay99]. Algoritmo de aprendizaje: conjunto definido de reglas para la solución de un problema de aprendizaje [Hay99]. Lenguaje: conjunto de palabras o frases (finito o infinito) sobre algún alfabeto finito. Autómata finito: máquinas abstractas que procesan palabras (sobre un alfabeto dado). Gramática: conjunto finito de reglas o producciones (generalmente recursivas) que especifica la sintaxis de un lenguaje [GT96]. XI

14 RESUMEN En este informe se considera la tarea de la clasificación de frases del lenguaje natural, utilizando redes neuronales recurrentes. Se obtiene como resultado la clasificación de las frases por su estado gramatical (gramaticalmente correctas o incorrectas). En este trabajo se logra en un porcentaje aceptable esta clasificación, utilizando como ejemplos para entrenar a la red neuronal recurrente, frases codificadas del lenguaje natural, basándose esta codificación en la teoría lingüística de Rección y Ligamiento. A partir del comportamiento de la red neuronal recurrente como sistema dinámico se hace una extracción de un autómata finito que corresponda a la gramática del lenguaje en cuestión. Para llevar a cabo estas tareas se consideró el desarrollo de una aplicación del sistema clasificador usando el algoritmo de Retropropagación a Través del Tiempo para el entrenamiento de la red neuronal y se utilizó el algoritmo de agrupamiento Gas Neuronal Creciente para extraer el autómata. XII

15 INTRODUCCIÓN El trabajo en redes neuronales artificiales ha sido motivado desde sus comienzos por la evidencia de que el cómputo que el cerebro humano realiza se lleva a cabo de una manera diferente al computador digital convencional. El cerebro es un sistema de procesamiento de información altamente complejo, no lineal y paralelo. Tiene la capacidad de organizar sus constituyentes estructurales, conocidos como neuronas, para realizar ciertos cómputos, como el reconocimiento de patrones, la percepción y el control motor, muchas veces más rápido que el computador digital más rápido existente hoy en día [Hay99]. Las redes neuronales han sido utilizadas ampliamente en tareas de clasificación y, en particular, son de mayor uso y difusión las redes multicapa con alimentación hacia adelante. Sin embargo, en el caso de la clasificación de frases del lenguaje natural se puede verificar que las redes neuronales recurrentes poseen una habilidad inherente para simular autómatas de estado finito [Hay99], por medio de los cuales se puede llegar a inferir la gramática de un lenguaje regular [LGF00]. En este caso, a partir del comportamiento de una red neuronal recurrente como un sistema dinámico [Hay99] se puede llegar a construir un autómata finito determinístico [GMC + 92b, OG96a, OG96b, LGF00]. En cuanto al estudio del procesamiento del lenguaje natural se han trabajado algunas teorías lingüísticas, entre ellas la Teoría de Rección y Ligamiento o de Principios y Parámetros [Cho81, Cho82, Bla99], que asume que sólo los parámetros y el léxico del lenguaje son adquiridos por un ser humano, los principios no son aprendidos. Esta teoría estudia estos principios independientes del lenguaje [LGF00]. Con el entrenamiento 1

16 de la red neuronal, lo que se busca es producir los mismos juicios que un hablante de lengua nativa sobre datos gramatical y no gramaticalmente correctos e inferir del comportamiento de la red neuronal la gramática del lenguaje correspondiente sin tener mucho conocimiento de su estructura, en un intento por exhibir el mismo tipo de poder discriminatorio que se ha obtenido por los lingüistas con la Teoría de Rección y Ligamiento [LGF00]. Teniendo en cuenta estos antecedentes el trabajo se centró en la implementación y prueba de la capacidad computacional de las redes neuronales recurrentes en la tarea de clasificación de frases del lenguaje natural, y a partir del estudio del comportamiento de la red neuronal extraer de ésta el autómata finito correspondiente al lenguaje. Para tal fin, se llevó a cabo el diseño y la implementación de dos herramientas de software, una para la tarea de clasificación de frases y otra para la extracción de autómatas. El sistema clasificador está en capacidad de procesar un conjunto limitado de frases del lenguaje natural, con una cierta estructura gramatical dada por la codificación de las frases. Existe la limitación de encontrar ejemplos de entrenamiento especialmente para el lenguaje español. Sin embargo, se utilizaron herramientas disponibles en Internet para la obtención de tales patrones de entrenamiento, generalmente obtenidos de frases en inglés. La aplicación final se probó con ejemplos codificados que tienen sentido para la red neuronal utilizada. Se utilizó la codificación de frases asumida por la Teoría de Rección y Ligamiento. También se empleó una biblioteca de código fuente abierto llamada NNO (Neural Network Objects) con implementaciones de algoritmos de agrupamiento, específicamente de aprendizaje competitivo, para investigar la extracción del autómata. Se hizo un modelamiento del sistema clasificador a través de herramientas orientadas a objetos, que son una base para la implementación de la aplicación. Adicionalmente se realizó el modelamiento y estudio de la red neuronal a utilizar y los respectivos algoritmos para su entrenamiento, teniendo en cuenta la codificación de los ejemplos a usar. Se estudió la manera de extraer la información obtenida de la red neuronal para ser integrada con los algoritmos de agrupamiento con el objetivo de extraer el autó- 2

17 mata. Finalmente, se realizó un estudio y evaluación de los resultados obtenidos y se presentó el informe final. Este documento está organizado básicamente en cinco capítulos. El primer capítulo describe los conceptos fundamentales necesarios para la introducción y comprensión de los distintos temas tratados a lo largo del informe. El segundo capítulo trata de los algoritmos y procedimientos utilizados en la tarea de clasificación de frases, y al final se presentan los resultados que arroja la experimentación realizada y su respectivo análisis. El tercero comprende los distintos procesos que se llevan a cabo para extraer el autómata finito e igualmente los resultados obtenidos en este caso. En el cuarto capítulo se da una breve explicación del análisis, diseño e implementación del software usado en las distintas etapas de la investigación. Finalmente, se presentan las conclusiones y recomendaciones que se pudieron verificar luego del análisis de los resultados. 3

18 1. CONCEPTOS FUNDAMENTALES 1.1. REDES NEURONALES ARTIFICIALES Los conceptos presentados aquí se tomaron especialmente del libro de Redes Neuronales de Haykin [Hay99] y de un tutorial de Jain y otros sobre este tema [JMM96] Breve reseña histórica La investigación en redes neuronales artificiales ha experimentado tres periodos de extensa actividad. El primer pico en los años 1940s fue debido al trabajo iniciado por McCulloch y Pitts [JMM96]. McCulloch era un psiquiatra y neuroanatomista de formación; gastó unos 20 años pensando acerca de la representación de un evento en el sistema nervioso. Pitts era un prodigio matemático, quien se unió a McCulloch en En su artículo clásico [MP43], McCulloch y Pitts describen un cálculo lógico de las redes neuronales que reunían los estudios de neurofisiología y lógica matemática. Con un número suficiente de tales unidades simples y conexiones sinápticas ajustadas apropiadamente y operando sincronizadamente, McCulloch y Pitts mostraron que una red neuronal constituída así, computaría en principio cualquier función computable. Este fue un resultado muy significativo y a partir de su descubrimiento se ha acordado en general el nacimiento de las disciplinas en redes neuronales e inteligencia artificial [Hay99]. El segundo pico ocurrió en los 1960s con el Teorema de Convergencia del Perceptrón de Rosenblatt [Ros62] y el trabajo de Minsky y Papert mostrando las limitaciones de un perceptrón simple [MP69]. Los resultados de Minsky y Papert desalentaron el entu- 4

19 siasmo de la mayoría de los investigadores, especialmente aquellos de la comunidad de Ciencia de la Computación [JMM96]. El resultante estancamiento en la investigación en redes neuronales duró casi veinte años, aunque existió una actividad importante que emergió en los 1970s llamada mapas autoorganizativos usando aprendizaje competitivo. El trabajo de simulación por computador realizado por von der Malsburg (1973) fue tal vez el primero en demostrar la auto-organización [vdm73]. En 1976 Willshaw y von der Malsburg publicaron el primer artículo sobre la formación de mapas autoorganizativos, motivados por mapas ordenados topológicamente en el cerebro [WvdM76]. Desde comienzos de los 1980s las redes neuronales artificiales han recibido un interés considerable. Los mayores desarrollos tras este resurgimiento incluyeron el enfoque de energía de Hopfield en 1982 [Hop82] y el algoritmo de aprendizaje de retropropagación para perceptrones multicapa (redes multicapa con alimentación hacia adelante) propuesto inicialmente por Werbos [Wer74], reinventado varias veces, y después popularizado por Rumelhart y otros en 1986 [RM86]. Otro importante desarrollo en 1982 fue la publicación del artículo de Kohonen sobre mapas autoorganizativos usando una estructura de malla uni o bidimensional, que fue diferente en algunos aspectos al trabajo previo de Willshaw y von der Malsburg. El modelo de Kohonen ha recibido mucha mayor atención en un contexto analítico y con respecto a aplicaciones [Koh82]. En los 1990s, Vapnik y sus colaboradores inventaron una clase computacionalmente poderosa de redes de aprendizaje supervisado, llamadas máquinas con vector de soporte 1, para la solución de problemas de reconocimiento de patrones, regresión y estimación de densidad. Una característica novedosa de éstas es la forma natural en que la dimensión de Vapnik-Chervonenkis (VC) es incorporada en su diseño. La dimensión VC provee una medida de la capacidad de una red neuronal de aprender de un conjunto de ejemplos [Hay99]. 1 En inglés, support vector machines. 5

20 Aplicaciones Numerosos avances han sido obtenidos al desarrollar sistemas inteligentes, algunos inspirados por las redes neuronales biológicas. Los investigadores de muchas disciplinas científicas diseñan actualmente redes neuronales artificiales (RNAs) para resolver una variedad de problemas en tópicos como reconocimiento de patrones, predicción, optimización, memorias asociativas, y control. Diferentes enfoques convencionales han sido propuestos para resolver estos problemas. Aunque se pueden encontrar aplicaciones exitosas en ciertos ambientes bien delimitados, ninguno es lo suficientemente flexible para tener un rendimiento aceptable fuera de su dominio. Las RNAs proveen buenas alternativas, y muchas aplicaciones se pueden beneficiar al usarlas [JMM96]. Se consideran los siguientes problemas de interés para los científicos e ingenieros en computación [JMM96]: Clasificación de patrones. La tarea de la clasificación de patrones es la de asignar un patrón de entrada (como una señal de voz o símbolos escritos a mano), representado por un vector de características, a una de varias clases previamente especificadas (ver figura 1.1). Entre las aplicaciones más conocidas se incluyen reconocimiento de caracteres, reconocimiento de voz, clasificación de señales de Electroencefalogramas (EEG), clasificación de células sanguíneas, e inspección de tarjetas de circuitos impresos [dar88]. Figura 1.1: Clasificación de Patrones 6

21 Agrupamiento 2 o Categorización. En el proceso de agrupamiento, también llamado clasificación de patrones no supervisada, no existen datos de entrenamiento con etiquetas de clases conocidas. Un algoritmo de agrupamiento explora la similitud entre los patrones y ubica los patrones similares en un grupo 3 (ver figura 1.2). Entre las aplicaciones más conocidas al respecto se encuentran: minería de datos, compresión de datos y análisis de datos exploratorios [dar88]. Figura 1.2: Agrupamiento Aproximación de funciones. Supóngase que un conjunto de n patrones de entrada etiquetados (parejas entrada-salida), {( x 1, y 1 ), ( x 2, y 2 ),..., ( x n, y n )}, ha sido generado por una función desconocida µ( x) (sujeta a ruido). La tarea de la aproximación de funciones es encontrar un estimado, dígase ˆµ, de la función desconocida µ (ver figura 1.3). Diversos problemas de modelamiento en ingeniería y ciencias requieren aproximación de funciones [dar88]. Figura 1.3: Aproximación de funciones 2 En inglés, clustering. 3 En inglés, cluster. 7

22 Predicción o Pronóstico. Dado un conjunto de n muestras {y(t 1 ), y(t 2 ),..., y(t n )} en una secuencia de tiempo, t 1, t 2,..., t n la tarea es predecir la muestra y(t n+1 ) en algún tiempo futuro t n+1. El pronóstico o la predicción tienen un impacto significativo sobre la toma de decisiones en los negocios, en Ciencias e Ingeniería. La predicción en el mercado de valores y el pronóstico del tiempo son aplicaciones típicas de las técnicas de predicción/pronóstico [dar88]. Optimización. Una amplia variedad de problemas en Matemáticas, Estadística, Ingeniería, Ciencias, Medicina y Economía pueden ser planteados como problemas de optimización. El objetivo de un algoritmo de optimización es encontrar una solución que satisfaga un conjunto de restricciones tal que una función objetivo sea maximizada o minimizada. El Problema del Agente Viajero (TSP) 4, un problema NP-completo, es un ejemplo clásico [dar88]. Memoria asociativa. En el modelo de computación de von Neumann, una entrada en la memoria es accesible solamente a través de su dirección, que es independiente del contenido en la memoria. Además, si se comete un pequeño error al calcular la dirección, un ítem completamente diferente puede ser recuperado. La memoria asociativa o memoria direccionable por contenido, como lo da a entender su nombre, se puede acceder por su contenido. El contenido en la memoria puede ser recuperado aún por una entrada parcial o contenido distorsionado. La memoria asociativa es extremadamente importante en la construcción de bases de datos de información multimedial [dar88]. Control. Considérese un sistema dinámico definido por una tupla {u(t), y(t)}, donde u(t) es la entrada de control y y(t) es la salida resultante del sistema en el tiempo t. En el control adaptativo modelo-referencia, el fin es generar una entrada de control u(t) tal que el sistema siga una trayectoria deseada determinada por el modelo de referencia [dar88]. 4 En inglés, Traveling Salesman Problem. 8

23 Características generales El trabajo en redes neuronales artificiales se ha basado en la analogía entre diferentes tareas que el cerebro humano o animal realiza y diversos problemas como los expuestos en la sección El cerebro cumple rutinariamente tareas de reconocimiento perceptivo, por ejemplo, reconocer una cara familiar incrustada en una escena no familiar (visión humana), en aproximadamente ms, mientras que tareas de mucho menor complejidad pueden requerir de días en un computador convencional [Hay99]. El cerebro humano tiene una gran estructura y una habilidad para desarrollar sus propias reglas a través de lo que se conoce como experiencia. La flexibilidad o plasticidad en el sistema nervioso permite que éste se adapte al ambiente que lo rodea y esta característica es esencial en el funcionamiento de las neuronas como unidades de procesamiento de información en el cerebro humano, y así mismo en redes neuronales construidas con neuronas artificiales [Hay99]. En su forma más general, una red neuronal es una máquina que está diseñada para modelar la forma en que el cerebro realiza una tarea particular o una función de interés; la red es implementada usualmente usando componentes electrónicos o es simulada en software en un computador digital, y tal es el caso del presente trabajo, en el cual se implementan algunas clases de redes neuronales que realizan cálculos útiles a través de un proceso de aprendizaje. Para alcanzar un buen rendimiento, las redes neuronales emplean una interconexión masiva de células de cómputo simples, referidas como neuronas o unidades de procesamiento. En [Hay99] se da la siguiente definición de una red neuronal vista como una máquina adaptativa: Una red neuronal es un procesador masivamente paralelo y distribuido constituido por unidades simples de procesamiento que tiene una característica natural de guardar conocimiento por experiencia y hacerlo disponible para su uso. Una red neuronal se asemeja al cerebro en dos aspectos: 1. El conocimiento es adquirido por la red a partir de su ambiente a través de un proceso de aprendizaje. 9

24 2. Las fuerzas de conexión entre neuronas, conocidas como pesos sinápticos, son usadas para guardar el conocimiento adquirido. El procedimiento usado para realizar el proceso de aprendizaje es llamado algoritmo de aprendizaje, cuya función es modificar los pesos sinápticos de la red de una manera sistemática para alcanzar un objetivo de diseño deseado. La modificación de los pesos sinápticos es un método tradicional para el diseño de redes neuronales. Sin embargo, también es posible modificar la propia topología de la red neuronal, lo cual es motivado por el hecho de que las neuronas en el cerebro humano pueden morir y que las conexiones sinápticas pueden aumentar. En esta investigación se utilizaron ambos enfoques en cuanto al diseño de las redes implementadas, dependiendo de los problemas que se plantearon en diversas etapas del proyecto. Redes neuronales biológicas Una neurona (o célula nerviosa) es una célula biológica especial que procesa información (ver figura 1.4). Está compuesta de un cuerpo celular, o soma, y dos tipos de ramas que llegan al exterior: el axón y las dendritas. El cuerpo celular tiene un núcleo que contiene información acerca de rasgos hereditarios y un plasma que sostiene el equipo molecular para producir material necesario para la neurona. Una neurona recibe señales (impulsos) de otras neuronas a través de sus dendritas (receptores) y transmite señales generadas por su cuerpo celular a lo largo del axón (transmisor), el cual eventualmente se divide en ramales y subramales. En los extremos de estos ramales están las sinapsis. Una sinapsis es una estructura elemental y una unidad funcional entre dos neuronas (un ramal axón de una neurona y una dendrita de otra). Cuando el impulso alcanza el extremo de la sinapsis, ciertos químicos llamados neurotransmisores son liberados. Los neurotransmisores se difunden a través del espacio sináptico, para aumentar o inhibir, dependiendo del tipo de la sinapsis, la tendencia de la neurona receptora a emitir impulsos eléctricos. La efectividad de la sinapsis puede ser ajustada por las señales que pasan a través de ella de tal manera que las sinapsis pueden aprender de las actividades en las que participan. Esta dependencia de la historia actúa como una memoria, la cual es posiblemente responsable de la memoria humana 10

25 [JMM96]. Figura 1.4: Dibujo de una neurona biológica La corteza cerebral contiene cerca de neuronas, masivamente conectadas. Cada neurona está conectada con otras 10 3 a 10 4 neuronas. En total, el cerebro humano contiene aproximadamente a interconexiones. Las neuronas se comunican a través de un corto tren de pulsos, normalmente de milisegundos de duración, a una velocidad de conmutación mucho más lenta que en circuitos electrónicos. Sin embargo, las decisiones perceptivas complejas como el reconocimiento de caras son hechas más eficientemente por los humanos, puesto que se puede decir que el cerebro corre muchos procesos en paralelo para cumplir estas tareas perceptivas [JMM96]. Las neuronas artificiales usadas para construir RNAs son mucho menos complejas que las encontradas en el cerebro, pero mientras se busque la analogía neurobiológica como fuente de inspiración, junto con las herramientas teóricas y tecnológicas, se podrán obtener desarrollos más sofisticados [Hay99]. Modelos computacionales de neuronas Una neurona artificial es una unidad de procesamiento de información que es fundamental para la operación de una red neuronal. El diagrama de la figura 1.5 muestra el modelo de una neurona, que forma la base para el diseño de RNAs. En el modelo se identifican tres elementos básicos [Hay99]: 1. Un conjunto de sinapsis o enlaces de conexión, cada uno de los cuales está caracterizado por un peso propio. Específicamente, una señal x j en la entrada de la 11

26 sinapsis j conectada a la neurona k es multiplicada por el peso sináptico w k j. 2. La suma de las señales de entrada, ponderada por las respectivas sinapsis de la neurona; estas operaciones constituyen una combinación lineal. 3. Una función de activación para limitar la amplitud de la salida de una neurona en un rango permisible. Típicamente, el rango de amplitud normalizado de la salida de una neurona está dado por el intervalo unitario cerrado [0, 1] o alternativamente [ 1, 1]. Entrada fija x 0 = +1 w k0 w k0 = b k (sesgo) { x 1 w k1 Función de Entradas x 2. w k2. v k Combinación activación ϕ( ) Salida y k x m w km lineal Pesos sinápticos Figura 1.5: Modelo no lineal de una neurona Este modelo neuronal también incluye un sesgo 5, aplicado externamente, denotado por b k, que tiene el efecto de incrementar o reducir la entrada neta de la función de activación, dependiendo de si es positiva o negativa. En términos matemáticos, se puede describir la neurona k por el siguiente par de ecuaciones: u k = m w k j x j j=1 y k = ϕ(u k + b k ) donde x 1, x 2,..., x m son las señales de entrada; w k1, w k2,..., w km son los pesos sinápticos de la neurona k; u k es la salida de la combinación lineal obtenida; b k es el sesgo; 5 En inglés, bias. 12