Tema 3: Ðreas de la IA: Ejemplos de Investigaci n Actual (III) Redes Neuronales

Transcripción

1 Tema 3: Ðreas de la IA: Ejemplos de Investigaci n Actual (III) Redes Neuronales SRP Carlos Carrascosa Casamayor Vicente J. Julián Inglada Tema 3: Ðreas de La IA: Ejemplos de Investigaci n Actual (II) Redes Neuronales Historia Aplicaciones Modelo Natural Computación Neuronal Elementos de una Red Neuronal Artificial Ventajas de las Redes Neuronales Realización de Redes Neuronales. Bibliografía: Hilera, J.R., Martínez, V.J., Redes Neuronales Artificiales: Fundamentos, modelos y aplicaciones, ra-ma, (1995). S. Russel,, Inteligencia Artificial: Un enfoque moderno, Prentice Hall(1996). 1

2 Historia (I) 1943: Walter Pitts y Warren McCulloch: Funcionamiento del cerebro humano: Red de células conectadas entre sí que ejecutan operaciones lógicas. Menor suceso psíquico (según ellos): el impulso todo/nada, generado por una célula nerviosa. 1951: Primera Red Neuronal << Sharc >>: Marvin Minsky y Dean Edmonds. Compuesta de 300 tubos de vacío y un piloto automático de un bombardero B-24 B (en desuso por supuesto). Red de 40 neuronas artificiales que imitaban el cerebro de una rata. No tenía mucho futuro, pues no llegaba a trazar planes. No era inteligente Historia (II) 1957: El Perceptrón (Frank Rosenblatt): Red neuronal capaz de generalizar (reconocer patrones similares a los que ya conocía). Limitación: No es capaz de clasificar clases no separables linealmente. 1959: Bernard Widrow y Marcial Hoff: Modelo ADALINE (ADAptative( LINear Elements): RNA: filtros adaptativos que eliminan ecos en las líneas telefónicas. 1969: Perceptrons (Marvin Minsky y Seymour Papert) Definen a los Perceptrones como caminos sin salida. La mayor parte de las investigaciones sobre Perceptrones se paralizaron y anularon 2

3 Historia (III) 1977: Asociador Lineal (James Anderson): Las conexiones entre neuronas se refuerzan cada vez que están activas. Extensión: Brain-State State-in-a-Box (BSB). 1977: 1977: Mapas Autoorganizativos (Teuvo Kohonen): Modelo para reconocimiento de patrones visuales. 1980: Neocognitrón (Kunihiko Fukushima): 1982: John Hopfield: Variación del Asociador Lineal 1982: US US-Japan Joint Conference on Cooperative / Competitive Neural Networks Mostró como tales redes pueden trabajar y qué pueden hacer Aplicaciones Área de defensa. Clasificación de Patrones. Robótica (esp. control de trayectorias). Visión Artificial. Procesamiento de Señales. Aplicaciones al habla. 3

4 Modelo Natural Neurona Natural: Entradas: Dendritas (tantas como necesite). Salida: Axón. Estado condicionado por el de las Dendritas Computaci n Neuronal (I) Redes Neuronales Artificiales son redes interconectadas masivamente en paralelo de elementos simples (usualmente adaptativos) y con organización jerárquica, las cuales intentan interactuar con los objetos del mundo real del mismo modo que lo hace el sistema nervioso biológico. (Kohonen). Operación de proceso básico de los procesadores elementales: Transformación de sus señales de entrada. 4

5 Computaci n Neuronal (II) Cálculo realizado por arquitects.. modulares. Organización: Redes multicapa: Gran nº de procesadores elementales. Alto grado de interconectividad. Realizan localmente una función analógica no lineal. Eliminación parcial de la necesidad de programación Sustituir por Algoritmos de Aprendizaje Procedimientos Supervisados Procedimientos No Supervisados modifican el valor de los parámetros que definen la computación Elementos de una Red Neuronal a Artificial (I) (t) i Elementos de una Neurona: Valor o Estado de Activación a i (t). Señal de salida (y( i (t)). Peso de una sinapsis (w( ij ): factor asignado a cada sinapsis. Entrada Total (Net( i ) Neti = y jwij j Función de salida (f( i ): y i (t) = f i (a i (t)) Función Escalón Función Lineal y Mixta Función Sigmoidal Función Gaussiana Función de Activación (F): a i (t+1) = F(a i (t), Net i ) Regla de Aprendizaje: modificar los pesos de la red (w( ij f i ij ) 5

6 Capa o Nivel: Elementos de una Red Neuronal Artificial (II) Cjto.. de neuronas cuyas entradas provienen de la misma fuente y cuyas salidas se dirigen al mismo destino. Tipos de Capas: Entrada: Reciben estímulos externos. Ocultas: Se genera la representación interna de la información. Salida. Elementos de una Red Neuronal Artificial (III) Formas de Conexión entre Neuronas: Propagación hacia delante: ninguna salida de las neuronas es entrada del mismo nivel o niveles anteriores. Propagación hacia atrás: las salidas de las neuronas pueden ser entradas del mismo nivel o niveles anteriores (incluyéndose ellas mismas). 6

7 Dinámica: Elementos de una Red Neuronal Artificial (IV) Asíncrona: las neuronas evalúan su estado contínuamente según les va llegando la información. Síncrona: : los cambios se realizan a la vez en todas las neuronas. Ventajas de las Redes Neuronales (I) Similares al cerebro: Capaces de aprender de la experiencia. Generalizar de casos anteriores a nuevos casos. Abstraer características esenciales a partir de entradas que representan información relevante. Aprendizaje Adaptativo: Basado en un entrenamiento o experiencia inicial. Aprende a llevar a cabo ciertas tareas mediante un entrenamiento con ejemplos ilustrativos. Capacidad de autoajustarse de las neuronas. Adaptarse a las nuevas condiciones. Algoritmo de aprendizaje Proporciona la capacidad de discriminar mediante un entrenamiento con patrones 7

8 Autoorganización: Ventajas de las Redes Neuronales (II) Modificación de la red neuronal completa para llevar a cabo un objetivo específico. Generalización Permite incluso responder ante información incompleta Tolerancia a fallos: Respecto a los datos Reconocer patrones con ruido, distorsionados o incompletos Seguir realizando su función (+ ó -)) aunque se destruya parte de la red. Información distribuida en las conexiones entre neuronas redundancia Ventajas de las Redes Neuronales (III) Operación en Tiempo Real: Posibilitada por su implementación paralela. Entorno de Tiempo Real Mínima necesidad de cambio en los pesos de las conexiones o entrenamiento Fácil inserción dentro de la tecnología existente: Una red puede ser rápidamente entrenada, comprobada, verificada y trasladada a una implementación hw de bajo coste Es fácil f insertar redes neuronales para aplicaciones específicas dentro de sistemas existentes 8

9 Realizaci n de Redes Neuronales Simulación en un ordenador normal mediante sw específico Principal Uso: Para entrenamiento y evaluación. Desventaja: Simulación de redes con un gran paralelismo mediante máquinas secuenciales. Mediante arquitects.. orientadas a la ejecución de procesos con un alto grado de paralelismo (redes de transputers,,...) Más rápido, pero sigue siendo una simulación. Neurocomputador: Cjto.. de procesadores conectados que operan concurrentemente (Mark( III y IV, el ANZA y ANZA Plus o el Delta-Sigma). Implementación por circuitos integrados específicos (Chips Neuronales): N64 de Intel (chip con 64 neuronas y 1000 sinapsis, capaz de procesar 2500 conexiones por segundo) Mucho más rápidos. Problema: Pérdida de flexibilidad (no se pueden conseguir sinapsis con pesos variables -necesario para el aprendizaje-). 9