Redes Neuronales. Introducción. José Manuel Quero Reboul Dpto. Ingeniería Electrónica Universidad de Sevilla

Transcripción

1 Redes Neuronales Introducción José Manuel Quero Reboul Dpto. Ingeniería Electrónica Universidad de Sevilla

2 Indice Motivación Arquitectura Leyes de Aprendizae Aplicaciones

3 DILEMA MEMORIA CALCULO Aritmética Visión Datos Direccionada por contenido cerebro=/0 calculadora de bolsillo cerebro=000 supercomputadores cerebro mucho peor cerebro mucho meor

4 Arquitectura Von Newman BUS BUS CPU MEM E/S E/S Unico nodo de procesamiento (800Mhz) Memoria pasiva Bus de de datos: Cuello de de Botella (Secuencialidad) Baa conectividad

5 Cerebro 0 0 neuronas (0ms) 0 4 dendritas 0 4 pesos de conexión Los pesos almacenan y procesan

6 Definición Computación neuronal: Computación en redes masivas paralelas de procesadores simples y no lineales, que almacenan todo su su contenido en los pesos de conexión Propiedades: Eliminación del cuello de botella Inteligencia artificial llevada al límite

7 Indice Motivación Arquitectura Leyes de Aprendizae Aplicaciones

8 Neurona Artificial Ley de Propagación neti = ii Ley de Activación W a ( t + ) = F( a( t), net( t), net2( t),...) Función de Salida o = f (a) Patrón de Conectividad Entorno w Ley de Aprendizae ( t + ) g( w ( t), net ( t), a( t), o( t)) i = i i

9 Función de activación σ(s) s Función sigmoidal: σ(x) = + e - x

10 Red neuronal neuronas capas pesos salidas entradas Topologías: Monocapa Multicapa Redes forward Redes recurrentes Redes realimentadas Redes de funciones radiales

11 Indice Motivación Arquitectura Clasificación Leyes de Aprendizae Aplicaciones

12 Aprendizae El conocimiento es obtenido a partir de la experiencia y almacenado en los pesos Tipos de aprendizaes: Preprogramadas Ley de Hebbs Aprendizae competitivo Aprendizae supervisado La red extrae y copia la estructura interna del conocimiento del entorno

13 Leyes de Aprendizae o = f T ( W I) dw dt = W& = φ( ) I γ ( ) W W I :Vector de pesos : Señales de entrada φ( ), γ ( ) o :Funciones escalares (W,I,o) :salida Función de Tranferencia no lineal

14 Leyes de Aprendizae Justificación ) Ley de Hebb: Cuanto mayor sea la excitación, mayor será el refuerzo de la conexión 2) Factor de Olvido: Proporcional a la propia magnitud Condiciones (estabilidad dinámica) ) 2) si o( t) acotada W ( t) finita si I 0 W ( t) / 0 t t φ( )I γ ( )W

15 Indice Motivación Arquitectura Clasificación Leyes de Aprendizae Aplicaciones

16 Propiedades de las RN Procesamiento de un gran conunto de datos Baa densidad de información Robustez ante fallo en estructura Robustez ante inconsistencia en los datos de entrada Datos y reglas de procesamiento confundidos en las conexiones Procesamiento altamente paralelo Capacidad de Autoorganización. Adaptabilidad

17 Cuando usar Redes Neuronales? Cuando se quiere desarrollar un modelo (funcional, clasificador, predicción de serie temporal,...) Eemplos Finanzas: Modelos de mercado Ingeniería: Modelado de procesos y control adaptativo Medicina: Diagnosis

18 Cuando usar Redes Neuronales? En análisis de datos con baa densidad de información Eemplos: Reconocimiento de imágenes Reconocimiento de firmas Análisis de encuestas Predicción meteorológica

19 Redes Neuronales Aprendizae Supervisado

20 Indice Perceptrón Regla delta Perceptrón Multicapa Retropropagación Eemplos

21 Perceptrón Memoria Asociativa i i 2 w w2 Σ + θ - n o = f h w i = θ i n wn i A Interpretación Geométrica i w = w 0 i 0 θ + w A A A A B B i 0 Recta de Decisión B B

22 Perceptrón Aprendizae Supervisado: Regla δ dw dt i = α[ d( t) o( t)] i ( t) i i d( t), o( t) {, } 0 n Aprendizae a partir de w i aleatorios Problema: Oscilación ante entradas no separables Eemplo: función XOR Patron de Entrada Patron de Salida

23 Perceptrón Solución: Añadir una dimensión adicional Patron de Entrada Patron Intermedio Patron de Salida Nodos de representación interna 0

24 Indice Perceptrón Regla delta Perceptrón Multicapa Retropropagación Eemplos

25 Perceptrón Multicapa Estructura Una capa Regiones de Decisión Semiespacios limitados por hiperplanos Problema XOR A B B A Clases Compleas A B Regiones de Decisión Generales Dos capas Regiones convexas abiertas o cerradas A B B A A B Tres capas Arbitrarias. Compleidad limitada por el número de nodos A B B A A B

26 Perceptrón Multicapa Capa de Salida OR o i = i f ( net θ ) o = i f ( neti ) net i = n w i = i Capas Ocultas AND f ( x) = + e x 0 θ HIPERPLANOS Capa de Entrada f ( x) = + e e x x - θ

27 Indice Perceptrón Regla delta Perceptrón Multicapa Retropropagación Eemplos

28 Perceptrón Multicapa Capa de Salida OR Retropropagación (Regla δ generalizada) Δ p w i ( t + ) = ηδ ii capa i previa a Capas Ocultas AND f ( net δ = f ( net )( d ) k o k δ w i ) Capa de Salida Capas Ocultas Capa de Entrada HIPERPLANOS

29 Perceptrón Multicapa Retropropagación: Demostración Error Cuadrático Médio E Regla de la cadena p p = () w i net w i E E p E p net = 2 p ( d o ) 2 Cambio de la excitación la variar el peso de conexión Segundo Término net w i = w = ( w iopi ) opi (2) i i Cambio del error al variar la excitación en Primer Término Definamos δ E net p (3) Sustituyendo (2) y (3)en () Δ p w i = ηδ o Queda determinar qué es para cada neurona δ

30 Perceptrón Multicapa Regla de la cadena δ E = net p E = o p o net pi Cambio de la salida por cambiar la excitación Segundo Término o Dado que o = f ( net ) = f ( net ) net Cambio del error al variar la salida Derivada de la función de salida Primer Término 2 p Para neurona de salida. Dado que E p = ( d o ) = ( d o ) 2 o E δ = f ( net ) ( d o )

31 Perceptrón Multicapa Para neurona oculta. E o p = k E p net pk net o pk E p = w k net pk o i ki o pi E = net k p pk w k = δ w pk k k Cómo afecta a la capa previa δ = f ( net ) k δ pk w k δ de la capa previa Conexión con la neurona previa Particularizando o = + e net o = net e f ( net ) = = o ( ) 2 o net ( + e ) o δ = i ( o ( i )( d ) k o δ w k i ) Capa de Salida Capas Ocultas

32 Indice Perceptrón Regla delta Perceptrón Multicapa Retropropagación Eemplos