Aprendizaje Automatizado. Redes Neuronales Artificiales

Transcripción

1 Aprendizaje Automatizado Redes Neuronales Artificiales

2 Introducción Otra forma de emular características propias de los humanos: memorizar y asociar hechos. Se aprende de la experiencia. El cerebro humano es el ejemplo más perfecto de sistema capaz de adquirir conocimiento. Se modela artificialmente ese sistema.

3 Definición Una red neuronal es "un nuevo sistema para el tratamiento de la información, cuya unidad básica de procesamiento está inspirada en la célula fundamental del sistema nervioso humano: la neurona". Las neuronas son un componente relativamente simple pero conectadas de a miles forman un poderoso sistema.

4 Descripción Unidades de procesamiento que intercambian datos o información. Se utilizan para reconocer patrones, incluyendo imágenes, manuscritos, tendencias financieras, etc. Tienen la capacidad de aprender y mejorar su funcionamiento.

5 Fundamentos - El modelo biológico El cerebro humano contiene más de cien mil millones de neuronas. La clave para el procesamiento de la información son las conecciones entre ellas llamadas sinápsis.

6 Estructura biológica Las dendritas son la vía de entrada de las señales que se combinan en el cuerpo de la neurona. El axón es el camino de salida de la señal generada por la neurona. En las terminaciones de las sinápsis se encuentran unas vesículas que contienen unas sustancias químicas llamadas neurotransmisores, que propagan señales electroquímicas de una neurona a otra. La neurona es estimulada por sus entradas y cuando alcanza cierto umbral, se dispara o activa pasando una señal hacia el axón.

7 Estructura artificial Están inspiradas en el cerebro humano.

8 Elementos de una red neuronal Se interconectan neuronas en tres tipos de capas: De entrada: reciben estímulos externos. Oculta: elementos internos de procesamiento (se pueden estructurar en varias capas). De salida: reciben la información procesada y retornan la respuesta del sistema al exterior.

9 Elementos de una red neuronal

10 Elementos de una red neuronal Las neuronas están conectadas por canales unidireccionales con peso. El peso wij está asociado al canal que conecta la neurona j con la neurona i. La entrada total de la neurona j es net j = Σw ij y i. La salida de la neurona j es y j = f(net j ). f es la función de activación

11 Elementos de una red neuronal θ i representa un desplazamiento o umbral de activación (sesgo o bias). Se puede pensar θ i como el peso w 0i que conecta una neurona imaginaria x 0 con a 0 (t) = 1.

12 Funciones de activación escalón y signo

13 Funciones de activación identidad y lineal-mixta

14 Función de activación sigmoidal

15 Regla de aprendizaje Biológicamente se acepta que la información memorizada en el cerebro se relaciona con los valores sinápticos de las conexiones. En las RNA se considera que el conocimiento se encuentra representado en los pesos de las conexiones. El proceso de aprendizaje se basa en cambios en estos pesos.

16 Formas de conexión entre neuronas Las salidas de las neuronas se convierten en entradas de otras neuronas. Cuando ninguna salida de las neuronas es entrada de neuronas del mismo nivel o de niveles precedentes, la red se describe como propagación hacia adelante (feedforward) o unidireccional. En caso contrario la red se describe como propagación hacia atrás (feedback).

17 Características de las RNA Topología. Número de capas. Número de neuronas por capa. Tipo de conexiones. Normalmente, todas las neuronas de una capa reciben señales de la capa anterior (más cercana a la entrada) y envían su salida a las neuronas de la capa posterior (más cercana a la salida de la red). Tipo de aprendizaje.

18 Redes feedforward Cada círculo representa una neurona. Cada neurona recibe señales desde las neuronas situadas a su izquierda y envía señales a las neuronas situadas a la derecha.

19 Redes feedforward Las más conocidas son: Perceptrón Adaline Madaline Backpropagation Son útiles en aplicaciones de reconocimiento o clasificación de patrones.

20 Mecanismo de Aprendizaje Los cambios en el proceso de aprendizaje se reducen a destrucción, modificación y creación de conexiones entre las neuronas. La creación de una conexión implica que el peso de la misma pasa a tener un valor distinto de cero. Una conexión se destruye cuando su valor pasa a ser cero.

21 Redes con aprendizaje supervisado El tipo de aprendizaje puede ser supervisado o no supervisado. El proceso de aprendizaje supervisado se realiza mediante el control de un agente externo (supervisor) que determina la respuesta que debería generar la red a partir de una entrada determinada. En el caso de no coincidir se modifican los pesos con el fin de aproximarse al valor deseado.

22 Aprendizaje por corrección del error. Algoritmo Paso 1: Asignar valores aleatorios a los pesos de la red. Paso 2: Mientras no se alcance un nivel deseado de predicción: Tomar un dato de entrenamiento x y obtener una salida y. Si y no es el valor deseado para x entonces actualizar los pesos.

23 Regla de aprendizaje delta o MEC Los algoritmos actualizan los pesos mediante: w = w + w La variación entre los distintos métodos está en la forma de calcular w. Se define una medida de error para cada patrón de entrenamiento p: E p = 1 p p 2 2 ( d y )

24 Regla de aprendizaje delta o MEC Se deben encontrar los w i que minimicen el error cuadrático: = = ) ( p p D p p y d E E Para esta regla de aprendizaje, i i w E w = η La idea es definir un vector gradiente w m E w E w E E =,...,, 2 1

25 Regla de aprendizaje delta o MEC El error es una función vectorial (vector w de pesos)

26 Regla de aprendizaje delta o MEC Se debe encontrar la dirección que más rápidamente hace disminuir el error E. Algunas fórmulas útiles (función lineal): E w = E y y i w i y = w i x i E y = ( d p y p ) Las redes Adaline y Madaline utilizan esta regla de aprendizaje.

27 Regla delta generalizada La regla delta se puede aplicar a una capa de neuronas. Se puede generalizar a más capas. La idea central es que los errores de las unidades ocultas se propagan hacia atrás. Se aplica en la red Backpropagation.

28 Redes Neuronales - Resumen (I) Capacidad de representación: muy alta. Fronteras de representación no lineales. Legibilidad: ninguna. El modelo resultante consiste en vectores de pesos para las conexiones entre neuronas. Tiempo de cómputo on-line: Rápido. Las operaciones son sumas y multiplicaciones.

29 Redes Neuronales - Resumen (II) Tiempo de cómputo off-line: muy lento. Gran cantidad de pesos a ajustar iterativamente. Parámetros a ajustar: complicado. Se debe ajustar la estructura de la red, el tamaño del paso (learning rate), condiciones de terminación, etc. Robustez ante ejemplos de entrenamiento ruidosos: alta. Sobreajuste: puede ocurrir. Se debe controlar.

30 Neural Network Toolbox (I) >> load house_dataset La red backpropagation más comunmente utilizada posee una capa oculta con 20 neuronas. >> newff(houseinputs, housetargets, 20); La cantidad de neuronas de entrada tanto como la de salida quedan determinadas por las características del dataset. >> net = train(net, houseinput, housetargets)

31 Neural Network Toolbox (II)

32 Neural Network Toolbox (III) El dataset es dividido aleatoriamente en tres conjuntos: 60% de los datos se utilizan para entrenamiento. 20% de los datos se utilizan para validación. 20% de los datos se utilizan para test. El entrenamiento continúa mientras se reduce el error de validación. Esta es una técnica muy utilizada para evitar el sobreentrenamiento.

33 Neural Network Toolbox (IV) Una vez entrenada la red, se la puede utilizar: >> y = sim(net, p); Para un conjunto de nuevos datos se espera un error similar al calculado para el conjunto de test. Se puede mejorar la precisión de una red.

34 Neural Network Toolbox (V) Se puede inicializar nuevamente la red para volver a entrenar: >> net.iw{1, 1}(1:2, 1:2) >> net = init(net); >> net.iw{1, 1}(1:2, 1:2)

35 Neural Network Toolbox (VI) Una segunda estrategia es cambiar el número de capas y neuronas internas. Se puede agregar como cuarto argumento un arreglo con los nombres de las funciones transferencia a usar en cada capa. Por último, usar datos adicionales generalmente mejora el aprendizaje.

36 Bibliografía Machine Learning - Tom Mitchell McGrawHill Neural Network Toolbox (For Use with MATLAB ) - Howard Demuth, Mark Beale, Martin Hagan ( doc/nnet/nnet.pdf). Curso de doctorado "Aprendizaje Automatizado y Data Mining" Grupo de Ingeniería de Sistemas y Automática (Universidad Miguel Hernández)