Primer Hackathon Reto de IA de Google en la UGR Redes neuronales. El perceptrón. Pedro A. Castillo Valdivieso

Transcripción

1 Primer Hackathon Reto de IA de Google en la UGR Redes neuronales. El perceptrón Pedro A. Castillo Valdivieso Depto. Arquitectura y Tecnología de Computadores Universidad de Granada 1

2 Índice Redes neuronales artificiales El perceptrón El perceptrón multicapa Ejemplos de implementación Aplicación a la clasificación de patrones Índice 2

3 Redes Neuronales Artificiales Paradigma de aprendizaje y procesamiento automático inspirado en la forma en que funciona el sistema nervioso de los animales Sistema de interconexión de neuronas en una red que colabora para producir una salida Modelos muy adecuados para aproximar funciones o para clasificar patrones Redes Neuronales Artificiales 3

4 Redes Neuronales Artificiales Consisten en un conjunto de unidades de entrada, conectadas con varias capas de neuronas y una capa de salida. La señal de entrada se propaga hacia delante. Redes Neuronales Artificiales 4

5 Redes Neuronales Artificiales Características del modelo: habilidad para aprender a partir de ejemplos auto-organización: crea su propia representación de la información tolerancia a fallos: almacenan la información de forma redundante y sigue respondiendo de manera aceptable aún si se daña algún nodo flexibilidad: pueden manejar cambios poco importantes en la información de entrada (ruido) estructura paralela Redes Neuronales Artificiales 5

6 Índice Redes neuronales artificiales El perceptrón El perceptrón multicapa Ejemplos de implementación Aplicación a la clasificación de patrones Índice 6

7 El Perceptrón El perceptrón es un discriminador que traza su entrada a un único valor de salida: Desarrollado por Rosenblatt (1957) El Perceptrón 7

8 El Perceptrón Tiene un vector de pesos reales con el que se calcula una suma ponderada y usa un umbral para representar el grado de inhibición de la neurona El valor de salida se usa para clasificar el patrón (x) como un caso positivo o un caso negativo, en el caso de un problema de clasificación binario El Perceptrón 8

9 El Perceptrón El algoritmo de aprendizaje es de tipo supervisado: 1. Inicializar los pesos con valores aleatorios pequeños 2. Presentar un ejemplo (x) de entrada 3. Calcular la salida para dicho ejemplo: 4. Modificar los pesos para minimizar el error: El Perceptrón 9

10 El Perceptrón. Limitaciones Sólo puede discriminar patrones que pertenezcan a clases linealmente separables Una función no separable no se puede aproximar con un solo plano de separación: El Perceptrón 10

11 Índice Redes neuronales artificiales El perceptrón El perceptrón multicapa Ejemplos de implementación Aplicación a la clasificación de patrones Índice 11

12 El Perceptrón Multicapa El perceptrón multicapa es una red neuronal artificial formada por múltiples capas, esto le permite resolver problemas que no son linealmente separables La salida de una neurona está determinada por la suma ponderada con las salidas de las neuronas de la capa anterior y una función de activación. El Perceptrón Multicapa 12

13 Capacidad de Representación Clasificación: Entrada - Salida: clases linealmente separables 1 Capa Oculta: regiones convexas 2 Capas Ocultas: regiones de cualquier tipo [Lippmann 87] Aproximación: Una sola capa oculta es suficiente para llevar a cabo una aproximación universal [Cybenko 88,89]. El Perceptrón Multicapa 13

14 Entrenamiento de la red El proceso de aprendizaje tiene por objeto ajustar los pesos del MLP de forma que se minimice el error cometido ante un conjunto de patrones de entrada. El algoritmo más utilizado en el entrenamiento de estas redes es el de retropropagación: Evaluación de la red ε ( p) = 1 2 N m i ( d i ( p) y ( p)) i 2 Cálculo de los gradientes Actualización de los pesos El Perceptrón Multicapa δε δε ( p) δε ( p) δz = m = δw δw δz δw ( w m ij m ij ) = ( w ) ij k δε η( ) m δw m k m k m ij + β (( w ) 14 ( w t+1 m t t m t m t 1 ij ij ij ij ) )

15 Entrenamiento de la red Variantes del algoritmo de retropropagación: Regla Delta-Bar-Delta [Jacobs 88] RPROP [Riedmiller 93] Quick-Propagation [Fahlman 88] Silva - Almeida [Silva y Almeida 90] SuperSab [Tollenaere 90] El Perceptrón Multicapa 15

16 Índice Redes neuronales artificiales El perceptrón El perceptrón multicapa Ejemplos de implementación Aplicación a la clasificación de patrones Índice 16

17 Ejemplos de implementación Podemos encontrar muchas implementaciones libres de redes neuronales Implementaciones del MLP en diversos lenguajes: MATLAB, C#, C++, C, Fortran, Perl, Java, PHP y VBA Veamos implementaciones en - C++ - Java - Matlab - Perl - Excel Ejemplos de implementación 17

18 Implementando en C/C C/dp/ Ejemplos de implementación 18

19 Implementando en Java Ejemplos de implementación 19

20 Implementando en Matlab Ejemplos de implementación 20

21 Implementando en Perl Simple/lib/AI/NeuralNet/Simple.pm Ejemplos de implementación 21

22 Implementando en Excel Ejemplos de implementación 22

23 Ejemplo en C++ Librería qpperceptron Ejemplos 23

24 Ejemplo en C++ Cómo programar con la librería qpperceptron: #include <qpperceptron.h> ifstream streamtrn(filetrn.c_str()); qpts<vector<double>, unsigned> trnset(streamtrn); qpperceptron<unsigned> net( NI, NH, NO, initweightrange ); net.inittrain(epocas, error, tolerancia, aprend, verbose); net.train(trnset); obtenido = net.apply( tstset.exampleat(i) ); Ejemplos de implementación 24

25 Ejemplo en C++ Compilar. Ejemplo XOR. Ejecutar programa: Ejemplos de implementación 25

26 Índice Redes neuronales artificiales El perceptrón El perceptrón multicapa Ejemplos de implementación Aplicación a la clasificación de patrones Índice 26

27 Un problema de clasificación Helicasas del ADN Encimas usadas en el metabolismo del ADN. Las partículas se observan a través de un microscopio electrónico, y se clasifican para determinar su estructura circular con una mancha en el centro (vista superior) estructura rectangular (vista lateral) Cada imagen se preprocesa para obtener una de 10x10 pixels. Cada patrón tiene 25 entradas y la clase (superior/lateral) Clasificación de patrones 27

28 Un problema de clasificación Usaremos el ejemplo de programación en C++ para clasificar las Helicasas del ADN Clasificación de patrones 28

29 Evolving Objects Librería para desarrollar en C++ algoritmos evolutivos y MLPs (posibilidad de evolucionar las redes): EO 29

30 Otras aplicaciones Podemos entrenar una red para que ordene una acción en función de los valores recogidos con sensores: Clasificación de patrones 30

31 Índice Redes neuronales artificiales El perceptrón El perceptrón multicapa Ejemplos de implementación Aplicación a la clasificación de patrones Índice 31

32 Completar la información

33 muchas gracias! Pedro A. Castillo Valdivieso 33