Perceptrón Simple. Aspectos Prácticos y Algoritmos Redes Neuronales, DC-FCEyN-UBA. Rosana Matuk Primer Cuatrimestre 2018

Transcripción

1 Perceptrón Simple Aspectos Prácticos y Algoritmos Redes Neuronales, DC-FCEyN-UBA Rosana Matuk Primer Cuatrimestre 2018 Rosana Matuk (DC-FCEyN-UBA) Perceptrón simple Primer Cuatrimestre / 29

2 Objetivo en machine learning: Aprender de los datos La curva verde muestra la función sin(2πx). Nuestro objetivo es predecir el valor de t para un nuevo valor de x, sin tener conocimiento de la curva verde. Rosana Matuk (DC-FCEyN-UBA) Perceptrón simple Primer Cuatrimestre / 29

3 Overfitting y generalización La habilidad de clasificar correctamente nuevas entradas que difieren de las de entrenamiento, es conocida como generalización. Rosana Matuk (DC-FCEyN-UBA) Perceptrón simple Primer Cuatrimestre / 29

4 Paradigma de aprendizaje en perceptrón simple Aprendizaje supervisado Dado un conjunto de datos de entrenamiento consistente de pares entrada-salida, encontrar una función que dada una nueva entrada prediga la salida esperada. Rosana Matuk (DC-FCEyN-UBA) Perceptrón simple Primer Cuatrimestre / 29

5 Neurona biológica Rosana Matuk (DC-FCEyN-UBA) Perceptrón simple Primer Cuatrimestre / 29

6 Red Neuronal Artificial Perceptrón Simple Red neuronal feed-forward de una sola capa. Rosana Matuk (DC-FCEyN-UBA) Perceptrón simple Primer Cuatrimestre / 29

7 Funciones de activación Algunas funciones de activación comúnmente usadas en redes neuronales: Escalón Lineal No lineal: Sigmoidea Rosana Matuk (DC-FCEyN-UBA) Perceptrón simple Primer Cuatrimestre / 29

8 Función escalón El output es establecido a alguno de dos niveles, dependendiendo de si el input total es mayor que o menor que cierto valor umbral. Rosana Matuk (DC-FCEyN-UBA) Perceptrón simple Primer Cuatrimestre / 29

9 Función lineal de a tramos El output es lineal entre ciertos umbrales superior e inferior. Rosana Matuk (DC-FCEyN-UBA) Perceptrón simple Primer Cuatrimestre / 29

10 Función sigmoidea La función sigmoidea tiene forma de S. Trabajaremos con funciones sigmoideas logísticas y tangenciales. Rosana Matuk (DC-FCEyN-UBA) Perceptrón simple Primer Cuatrimestre / 29

11 Función sigmoidea logística Función logística: ϕ(x) = 1 1+e ( ax) Los valores de las logísticas van entre 0 y 1. A medida que aumenta a, se va asemejando a la escalón. Rosana Matuk (DC-FCEyN-UBA) Perceptrón simple Primer Cuatrimestre / 29

12 Función sigmoidea tangente hiperbólica Función tangente hiperbólica: ϕ(x) = tanh (x) Los valores de estas funciones van entre -1 y 1. Rosana Matuk (DC-FCEyN-UBA) Perceptrón simple Primer Cuatrimestre / 29

13 Función sigmoidea La función de activación sigmoidea es la más comúnmente usada porque: Ajustando sus parámetros, puede modelar funciones lineales y escalón con la precisión deseada. Con un parámetro pequeño es casi lineal cerca del origen, y con un parámetro grande es prácticamente la unidad escalón. La función sigmoidea es diferenciable, lo que es importante para los algoritmos de aprendizaje de las redes neuronales artificiales. Rosana Matuk (DC-FCEyN-UBA) Perceptrón simple Primer Cuatrimestre / 29

14 Limitaciones del perceptrón simple (general) Los datos deben ser linealmente separables. Geométricamente, esta condición describe la situación en la cual existe un hiperplano en grado de separar, en el espacio vectorial de los inputs, las entradas con salidas positivas de las entradas con salidas negativas. Rosana Matuk (DC-FCEyN-UBA) Perceptrón simple Primer Cuatrimestre / 29

15 Separabilidad lineal (a) Datos linealmente separables (b) Datos no linealmente separables Rosana Matuk (DC-FCEyN-UBA) Perceptrón simple Primer Cuatrimestre / 29

16 Ejemplo de Separabilidad lineal: AND Rosana Matuk (DC-FCEyN-UBA) Perceptrón simple Primer Cuatrimestre / 29

17 Ejemplos de No Separabilidad lineal Rosana Matuk (DC-FCEyN-UBA) Perceptrón simple Primer Cuatrimestre / 29

18 Pseudocódigo del perceptrón simple escalón Rosana Matuk (DC-FCEyN-UBA) Perceptrón simple Primer Cuatrimestre / 29

19 Regla de aprendizaje del Perceptrón Simple Escalón Rosana Matuk (DC-FCEyN-UBA) Perceptrón simple Primer Cuatrimestre / 29

20 Regla de aprendizaje del Perceptrón Simple Continuo Rosana Matuk (DC-FCEyN-UBA) Perceptrón simple Primer Cuatrimestre / 29

21 Datasets El conjunto de datos, se particiona usualmente en los siguientes conjuntos disjuntos: Training set: Datos que se usan para entrenar la red (ajustan los pesos). Test set: Datos que se usan para medir la performance de la red. Validation set: Datos que se usan para mejorar la performance de la red. Rosana Matuk (DC-FCEyN-UBA) Perceptrón simple Primer Cuatrimestre / 29

22 Entrenamiento: épocas Se denomina época a pasar por la red neuronal todos los patrones del training set (uno a la vez). Tip: Conviene cambiar en forma random en cada época el orden en el cual se pasan los patrones de entrenamiento, ya que esto acelera el aprendizaje. Rosana Matuk (DC-FCEyN-UBA) Perceptrón simple Primer Cuatrimestre / 29

23 Ejemplo: usando los datasets Rosana Matuk (DC-FCEyN-UBA) Perceptrón simple Primer Cuatrimestre / 29

24 Factor de aprendizaje: η Rosana Matuk (DC-FCEyN-UBA) Perceptrón simple Primer Cuatrimestre / 29

25 Ejemplo perceptrón de 3 categorías Rosana Matuk (DC-FCEyN-UBA) Perceptrón simple Primer Cuatrimestre / 29

26 Regiones de decisión perceptrón 3 categorías Rosana Matuk (DC-FCEyN-UBA) Perceptrón simple Primer Cuatrimestre / 29

27 Patrones de entrada bipolares En una codificación bipolar, el valor 0 de la codificación binaria, es reemplazado por -1. Este cambio no afecta las propiedades esenciales del perceptrón, pero cambia la simetría de las regiones de decisión. Como los tamaños relativos de las regiones de decisión representan cuán difícil es aprenderlas, la mejor estrategia es intentar tener regiones de decisión de aproximadamente el mismo tamaño. Con la codificación bipolar la máxima variación en los tamaños relativos de las regiones de decisión es mucho menor que usando codificación unipolar. Rosana Matuk (DC-FCEyN-UBA) Perceptrón simple Primer Cuatrimestre / 29

28 Bipolar vs. Unipolar Figura izquierda: Bipolar. Figura derecha: Unipolar Rosana Matuk (DC-FCEyN-UBA) Perceptrón simple Primer Cuatrimestre / 29

29 Bipolar vs. Unipolar Bipolar Unipolar Rosana Matuk (DC-FCEyN-UBA) Perceptrón simple Primer Cuatrimestre / 29