Redes Neuronales Artificiales

Transcripción

1

2 Estructuras de las Los aspectos más característicos de las estructuras son: la conexión, el tamaño y la elección entre ACON y OCON. Dos posibles tipos de arquitectura son: All-Class-in-One-Network (ACON), esto es, todas las clases en una red. One-Class-in-One-Network (OCON), esto es, una red para cada clase. 2

3 ACON En la arquitectura ACON, todas las clases son reconocidas dentro de una única super red. 3

4 OCON En algunos casos es ventajoso descomponer la macro red en varias subredes más pequeñas. 4

5 Aproximaciones frente a ACON y OCON Cuántas redes son necesarias para la clasificación en multicategorías? Típicamente, cada nodo de salida se usa para representar una clase. Por ejemplo, en un problema de reconocimiento alfanumérico, hay 36 clases; así que en total habrá 36 nodos de salida. Dado un patrón de entrada en la fase de prueba, el ganador (i.e., la clase que gana) es normalmente el nodo que tiene el valor más alto a la salida. 5

6 Aproximaciones frente a ACON y OCON Por ejemplo, una red de 36 salidas se puede descomponer en 12 subredes, cada una responsable de tres salidas. La descomposición mas extrema es la llamada OCON, donde una subred se dedica para una sola clase. Aunque el número de subredes en la estructura OCON es relativamente largo, cada subred individual tiene un tamaño menor que la red ACON. Esto se puede explicar con las siguientes figuras 6

7 Aproximaciones frente a ACON y OCON Por conveniencia, supongamos que todas las redes tienen el mismo tamaño, por ejemplo k. El número de unidades ocultas de las macro-red ACON se denota por K. Obviamente, k << K. Las dos estructuras difieren claramente en tamaño y rapidez, esto es, en el número total de pesos sinápticos y en el tiempo de entrenamiento. 7

8 Aproximaciones frente a ACON y OCON Sean los vectores de entrada y salida de dimensiones n y N respectivamente. El número total de pesos sinápticos es para la estructura ACON (N+n) * K. De la misma forma, el número para la estructura OCON es N * (n+1) * k aprox. N*n * k. Los dos casos se analizan a continuación. Cuando N es relativamente pequeña (comparado con n), la estructura ACON podría tener el mismo número de pesos o algo menos que la OCON. 8

9 Aproximaciones frente a ACON y OCON Si N es muy grande, entonces la OCON podría tener una mayor ventaja en términos del tamaño de la red. Además, la OCON parece ser que aventaja a la ACON en la rapidez de reconocimiento y entrenamiento cuando el número de clases es grande. En la estructura ACON, la única macro-red tiene que "satisfacer" todas estas clases, así que el número de unidades ocultas K ha de ser muy grande. 9

10 Estructuras de conexión de atrás hacia delante Una red neuronal se determina por la neurona y la matriz de pesos. El comportamiento de la red depende en gran medida del comportamiento de la matriz de pesos. Hay tres tipos de capas de neuronas: la de entrada, las ocultas y las de salida. Entre dos capas de neuronas existe conexiones, que pueden ser de los siguientes tipos: hacia delante hacia atrás lateral 10

11 11

12 Conexiones hacia delante. Los datos de las neuronas de una capa inferior son propagados hacia las neuronas de la capa superior por medio de Conexiones conexiones hacia hacia adelante. atrás. Los datos de las neuronas de una capa superior se llevan a otras de la capa inferior. Conexiones laterales. Existe traspaso de datos entre neuronas del mismo nivel. Conexiones con retardo. Se incorporan retardos en las conexiones para implementar modelos dinámicos y temporales, es decir, modelos que precisan de memoria. 12

13 Las conexiones sinápticas pueden ser total o parcialmente interconectadas. También es posible que las redes sean de una capa con el modelo de pesos hacia atrás o bien el modelo multicapa hacia adelante. Es posible así mismo, el conectar varias redes de una sola capa para dar lugar a redes más grandes. 13

14 Tamaño de las Redes Neuronales En una red multicapa de propagación hacia delante, puede haber una o más capas ocultas entre las capas de entrada y salida. El tamaño de las redes depende del numero de capas y del número de neuronas ocultas por capa. 14

15 Número de capas. En una red multicapa, hay una o más capas de neuronas ocultas entre la entrada y la salida. El número de capas se cuenta a menudo a partir del número de conexiones (en vez de las capas de neuronas). Número de unidades ocultas. El número de unidades ocultas está directamente relacionado con las capacidades de la red. Para que el comportamiento de la red sea correcto, se tiene que determinar apropiadamente el número de neuronas de la capa oculta. 15

16 Taxonomía de las RNA Existen dos fases en toda aplicación de las redes neuronales: la fase de aprendizaje o entrenamiento y la fase de prueba. En la fase de entrenamiento, se usa un conjunto de datos o patrones de entrenamiento para determinar los pesos (parámetros de diseño) que definen el modelo neuronal. 16

17 Una vez entrenado el modelo, se pasa a la fase de prueba o funcionamiento directo, en la que se procesan los patrones de prueba que constituyen la entrada habitual de la red, analizándose de esta manera el desarrollo definitivo de la red. 17

18 Fase de prueba Los parámetros de diseño de la red neuronal se han obtenido a partir de unos patrones representativos de las entradas que se denominan patrones de entrenamiento. Los resultados pueden ser tanto calculados de una vez como adaptados iterativamente, según el tipo de red neuronal, y en función de las ecuaciones dinámicas de prueba. Una vez calculados los pesos de la red, los valores de las neuronas de la última capa, se comparan con la salida deseada para determinar la validez del diseño. 18

19 Fase de aprendizaje Una característica de las RNA es su capacidad de aprender. Aprenden por la actualización o cambio de los pesos sinápticos que caracterizan a las conexiones. Los pesos son adaptados de acuerdo a la información extraída de los patrones de entrenamiento nuevos que se van presentando. Normalmente, los pesos óptimos se obtienen optimizando (minimizando o maximizando) alguna "función de energía". Por ejemplo, un criterio popular en el entrenamiento supervisado es minimizar el error cuadrático medio entre el valor del maestro y el valor de salida actual. 19

20 Las aplicaciones del mundo real deben acometer dos tipos diferentes de requisitos en el procesado. 1. Se requiere la prueba en tiempo real pero el entrenamiento ha de realizarse "fuera de línea". 2. Se requieren las dos procesos, el de prueba y el de entrenamiento en tiempo real. Estos dos requisitos implican velocidades de proceso muy diferentes, que afectan a los algoritmos y hardware usados. 20

21 Metodos de Retropropagación Numéricos Primero se definen los conceptos de iteración y barrido. Una iteración es la entrada de un simple dato en el sistema. Un barrido cubre la presentación de un bloque entero de datos de entrenamiento. En la mayoría de las prácticas de entrenamiento, se realizan varios barridos y los patrones de entrenamiento se presentan reiteradamente de una manera cíclica. 21

22 Redes Neuronales Supervisadas y no Supervisadas Las redes neuronales se clasifican comúnmente en términos de sus correspondientes algoritmos o métodos de entrenamiento: redes de pesos fijos, redes no supervisadas, y redes de entrenamiento supervisado. Para las redes de pesos fijos no existe ningún tipo de entrenamiento. 22

23 Reglas de entrenamiento Supervisado Las redes de entrenamiento supervisado han sido los modelos de redes más desarrolladas desde inicios de estos diseños. Los datos para el entrenamiento están constituidos por varios pares de patrones de entrenamiento de entrada y de salida. El hecho de conocer la salida implica que el entrenamiento se beneficia la supervisión de un maestro. 23

24 Reglas de entrenamiento No Supervisado Para los modelos de entrenamiento No Supervisado, el conjunto de datos de entrenamiento consiste sólo en los patrones de entrada. Por lo tanto, la red es entrenada sin el beneficio de un maestro. La red aprende a adaptarse basada en las experiencias recogidas de los patrones de entrenamiento anteriores. 24

25 Como ejemplo de aprendizaje competitivo, si un patrón nuevo se determina que pertenece a una clase reconocida previamente, entonces la inclusión de este nuevo patrón a esta clase matizará la representación de la misma. Si el patrón de la entrada se determinó que no pertenece a ninguna de las clases reconocidas anteriormente, entonces la estructura y los pesos de la RNA serán ajustados para reconocer la nueva clase 25

26 Redes Neuronales para aplicaciones concretas Las RNA dirigidas a aplicación están en general poco ligadas a las redes neuronales biológicas. Ya que el conocimiento que se posee sobre el sistema nervioso en general no es completo, se han de definir otras funcionalidades y estructuras de conexión distintas a las vistas desde la perspectiva biológica. Las características principales de este tipo de RNA son los siguientes: Auto Organización y Adaptatividad: utilizan algoritmos de aprendizaje adaptativo y auto organización, por lo que ofrecen posibilidades de procesado robusto y adaptativo. Procesado No Lineal. Aumenta la capacidad de la red de aproximar, clasificar y su inmunidad frente al ruido. 26

27 Procesado paralelo. Normalmente se usa un gran número de células de procesado por el alto nivel de interconectividad. Estas características juegan un importante papel en las RNA aplicadas al procesado de señal e imagen. Una red para una determinada aplicación presenta una arquitectura muy concreta, que comprende elementos de procesado adaptativo masivo paralelo combinadas con estructuras de interconexión de red jerárquica. 27

28 Aprendizaje Aprendizaje supervisado. El aprendizaje se logra en base a la comparación directa del la salida de la red con la respuesta correcta ya conocida. Es llamado también "aprendizaje con maestro". Incluye un caso especial de reforzamiento del aprendizaje, donde el feedback se realiza a cada salida sin importar si es correcta o incorrecta. 28

29 Aprendizaje no supervisado. En algunas ocasiones el fin del aprendizaje no es definir en términos específicos de ejemplos correctos. La información disponible solo está en correlación de datos de entrada o señales. Se espera que la red forme categorías de estas correlaciones, y producir una señal correspondiente a cada categoría de entrada. 29

30 Aprendizaje supervisado Aprendizaje por corrección de error: Aprendizaje por refuerzo. Aprendizaje estocástico. Aprendizaje Hebbiano. Aprendizaje competitivo y cooperativo. 30

31 Aprendizaje por corrección de error Los pesos se ajustan en función de la diferencia entre los valores deseados y los obtenidos en la salida. Presenta algunas limitaciones al no considerar la magnitud del error global cometido durante el proceso completo de aprendizaje, considerando únicamente los errores individuales (locales) correspondientes al aprendizaje de cada información por separado. 31

32 Dw ij = a s i (d j -s j ) donde: Dw ij es la variación en el peso de la conexión entre el i-ésimo nodo y el j-ésimo. a Umbral en el aprendizaje que regula velocidad y precisión (0<a 1) s i Salida del i-ésimo nodo. s j Salida del j-ésimo nodo. d j Valor deseado de salida de j-ésima unidad de procesamiento. 32

33 Regla delta o regla de mínimo error cuadrado Widrow y Hoff definieron una función que permitía cuantificar el error global cometido en cualquier momento durante el proceso de entrenamiento, agilizando este proceso. n Número de nodos de salida p Número de tramas de entrenamiento 33

34 Error cometido en el aprendizaje de la k-ésima trama. Se trata de modificar los pesos para que las conexiones de la red minimicen esta función de error, se puede hacer en proporción a la variación relativa del error. w ij = k (ðerror global ) / ðw ij 34

35 Aprendizaje por refuerzo No se indica durante el entrenamiento la salida que se desea proporcione la red para una determinada entrada. En este caso, el supervisor indica mediante una señal de refuerzo si la salida obtenida se ajusta a la deseada (+1=éxito, -1=fracaso), y en función de ello se ajustan los pesos basándose en un mecanismo de probabilidades. 35

36 Aprendizaje por refuerzo Busca cómo hacer que un agente sea eficiente en un ambiente desconocido, con base sólo en sus percepciones y recompensas ocasionales. Esto es difícil porque el agente no conoce cuales son las acciones correctas o las que dan lugar a determinadas recompensas. 36

37 Aprendizaje estocástico Realiza cambios aleatorios a los valores de los pesos en las conexiones de la red y evalúa el efecto a partir del objetivo deseado y de distribuciones de probabilidad. Se realizan los cambios de los pesos y si el funcionamiento de la red mejoró, se acepta el cambio, si por el contrario no mejora, se aceptaría el cambio en función de una determinada y preestablecida distribución de probabilidades. Utiliza ruido para escapar de mínimos locales. 37

38 Aprendizaje Hebbiano Consiste en ajustar los pesos de las conexiones de acuerdo con la correlación (multiplicación de los elementos binarios +1 y -1) de los valores de activación (salidas) de los dos nodos conectados: D w ij = s i s j Con esta expresión se expresa la idea de Hebb, puesto que si las dos unidades son activas (positivas), se produce un reforzamiento de la conexión, y por el contrario, cuando una es activa y una pasiva, se produce el debilitamiento de la conexión. 38

39 Aprendizaje competitivo y cooperativo Las neurona compiten (y cooperan) unas con otras con el fin de llevar a cabo una tarea dada. Se pretende que cuando se le presenta a la red cierta trama de entrada, sólo una de las neuronas de salida de la red, o una por cierto grupo, se active (alcance su valor de respuesta máximo). Por tanto las neuronas compiten por activarse, quedando finalmente una, o una por grupo, como neurona vencedora, y el resto anuladas y forzadas a sus valores de respuesta mínimos. 39

40 Las redes con este aprendizaje se usan para categorizar (clusterizar) los datos que se introducen en la red. De esta manera las tramas similares son clasificadas formando parte de la misma categoría, y por tanto deben activar la misma neurona de salida. 40

41 El Cerebro computacional En el cerebro hay más neuronas que bits. El cerebro evoluciona más lentamente que la memoria del computador. Todas las neuronas y la sinapsis están en actividad simultáneamente. En un computador se necesitan cientos de ciclos para decidir activar una unidad, en el cerebro se hace en un sólo paso. 41

42 El computador es más rápido para hacer algo, el cerebro es más rápido en lo que hace. El cerebro es más tolerante con las fallas que el computador. Un programa de computador depende del cuidado con el cual el diseñador lo realice. 42

43 Problemas a resolver con RNA En los problemas de optimización, se trata de determinar una solución que sea óptima. Generalmente se aplican redes neuronales realimentadas, como el modelo de Hopfield. En la gestión empresarial, son decisiones de optimización encontrar los niveles de tesorería, de existencias, de producción, construcción de carteras óptimas, etc 43

44 En los problemas de reconocimiento, se entrena una red neuronal con entradas como sonidos, números, letras y se procede a la fase de test presentando esos mismos patrones con ruido. Este es uno de los campos más fructíferos en el desarrollo de redes neuronales y casi todos los modelos: Perceptrón, redes de Hopfield, mapas de Kohonen, etc, han sido aplicados con mayor o menor éxito. 44

45 En los problemas de generalización, la red neuronal se entrena con unos entradas y el test se realiza con otros casos diferentes. Problemas típicos de generalización son los de clasificación y predicción. 45

46 RNA en el manejo de información financiera En noviembre de 1993, se celebró en Londres la primera reunión internacional sobre aplicaciones de redes neuronales al tratamiento de la información financiera. Los trabajos desarrollados con información financiera se agrupan: análisis del fracaso empresarial y predicción en los mercados financieros. 46

47 Variaciones en el aprendizaje El ambiente puede o no ser accesible. El agente empieza con cierto conocimiento del ambiente y de los efectos de sus acciones Las recompensas pueden recibir en estados terminales o en cualquier estado. Las recompensas son parte de la utilidad real que el agente se esfuerza por maximizar o también pueden ser sugerencias de la utilidad real. El agente en un aprendiz pasivo o activo. 47

48 Aprendizaje pasivo en ambientes conocidos En el aprendizaje pasivo el ambiente genera las transiciones de estado y el agente las percibe. Teniendo como objetivo utilizar la información sobre las recompensas para aprender la utilidad esperada. La función de utilidad es aditiva. La utilidad esperada de un estado es la recompensa esperada por la ejecución de dicho estado. 48

49 Aprendizaje activo en ambiente desconocido Las acciones que emprenderá el agente son: El modelo del ambiente debe reflejar las probabilidad correspondientes a las transiciones a otros estados. En las restricciones impuestas a cada uno de los estados se debe tener en cuenta que el agente puede elegir entre varias acciones El agente debe elegir una acción cada vez que de un paso y para ello necesitará de un elemento de ejecución. 49

50 Generalización para adquirir Conocimiento Aprendizaje basado en la explicación o ABE, en donde se deduce de manera lógica conocimiento previo con el que se cuenta, el agente no esta adquiriendo uno nuevo. Aprendizaje basado en la relevancia o ABR, utiliza el conocimiento previo que adopta la forma de determinaciones que sirven para identificar atributos relevantes, generando así un reducido espacio de hipótesis acelerando el conocimiento. 50

51 La programación lógica inductiva Resolución inversa, basado en el hecho de que si es posible deducir el ejemplo también es posible hallar una hipótesis de manera que se obtenga una demostración en sentido inverso (retrocediendo). Método de aprendizaje de arriba hacia abajo, se parte por una regla muy general que va especializándose gradualmente hasta que coincida con las observaciones. 51

52 Conclusiones Existen limitantes en la capacidad de procesamiento del computador, ya que la funcionalidad del cerebro se hace de forma paralela mientras que la computacional está limitada a ser serial. El cerebro tiene la capacidad de tener un conjunto de percepciones al mismo tiempo, cosa que no ocurre con los computadores. Existen diferentes métodos de aprendizaje con redes neuronales, perceptrones, propagación posterior, aprendizaje bayesiano y los deductivos, que se diferencia de acuerdo al método que utilizan para la obtención de los estados finales o de salida. 52