Introducción a las Redes Neuronales y su aplicación a la Investigación Astrofísica

Transcripción

1 Introducción a las Redes Neuronales y su aplicación a la Investigación Astrofísica pgarcia@ull.es 1

2 Sumario Introducción Inspiración biológica Modelado Neuronal Implementaciones Aplicaciones Grupo de trabajo Futuro de las RNAs 2

3 Redes Neuronales en la IA Ramas de la Inteligencia Artificial en sus inicios: Simbólica-deductiva: Sistemas formales de reglas y manipulación simbólica Rama más conocida de la IA Conexionista: Inspirada en las redes neuronales biológicas Métodos Inductivos: a partir de ejemplos Ambas tratan de resolver problemas no algoritmicos a partir de la experiencia almacenada como conocimiento 3

4 RNA como Modelo de Computación Conexionista vs. Von Neumann Masivamente paralelo Datos y programa indiferenciable en las conexiones Solución inducida por aprendizaje Impredicibilidad de resultados Gran tolerancia a fallos Arquitectura secuencial Separa claramente datos del programa en la memoria Solución como algoritmo o programa introducido Resultados totalmente predecibles No tolera errores 4

5 Áreas de Trabajo Procesamiento de Señales Análisis de Datos Reconocimiento de Patrones Control Inteligencia Artificial Aplicaciones Desarrollo de aplicaciones basadas en técnicas conexionistas Informática Sicología Matemáticas Implementaciones Arquitectura y Teoría de RN Física Construcción de modelos neuronales Neurofisiología Proponer y validar modelos de funcionamiento de arquitecturas neuronales 5

6 Inspiración biológica Entender el cerebro y emular su potencia Cerebro: Gran velocidad de proceso Tratamiento de grandes cantidades de información procedentes de: Los sentidos Memoria almacenada Capacidad de tratar situaciones nuevas Capacidad de aprendizaje 6

7 Neuronas: Inspiración biológica Árbol dendrítico de entradas Un axón de salida Sobre de10 4 sinapsis Comunicación mediante Potenciales de Acción (PA) Periodo refractario de 10-3 segundos entre PAs 7

8 Transmisión neuronal: Inspiración biológica Impulso eléctrico que viaja por el axón Liberación de neurotransmisores Apertura/cierre de canales iónicos Variación potencial en dendrita Integración de entradas en soma Si se supera umbral de disparo se genera un PA 8

9 Inspiración biológica Red Neuronal Biológica: de a neuronas sinapsis Organización por capas Organización por niveles: Sistema Nervioso Central (SNC) Circuitos entre regiones Circuitos locales Neuronas Árboles dendríticos Microcircuitos neuronales Sinapsis Canales iónicos Moléculas 9

10 Características SNC: Inspiración biológica Inclinación a adquirir conocimiento desde la experiencia Conocimiento almacenado en conexiones sinápticas Gran plasticidad neuronal Comportamiento altamente no-lineal Alta tolerancia a fallos (muerte neuronal) Apto para reconocimiento, percepción y control 10

11 Modelado Neuronal Una red neuronal artificial (RNA) es un sistema de procesamiento de información que tiene ciertas aptitudes en común con las redes neuronales biológicas: El procesamiento de información ocurre en muchos elementos simples llamados neuronas. Las señales son transferidas entre neuronas a través de enlaces de conexión. Cada conexión tiene un peso asociado, el cual, típicamente, multiplica a la señal transmitida. Cada neurona aplica una función de activación (usualmente no lineal) a su entrada de red (suma de entradas pesadas) para determinar su salida. Laurene Fausett 11

12 Enfoques: Computacional: Modelado Neuronal Modelos eficientes, potentes y simples Áreas de aprendizaje inductivo y reconocimiento de patrones Cognitivo: Interesado por capacidades cognitivas de los modelos Centrados en representación del conocimiento Biocognitivo: Premisa la plausibilidad biológica Psicofisiológico: Mecanismos naturales de procesos cognitivos reales 12

13 Modelado Neuronal Neurona Artificial: Grupo de entradas (x)( Pesos sinápticos (w)( Función suma (net( net) Función de activación (act) Una única salida (y)( Funcionamiento en modo aprendizaje o ejecución x 1 x 2 x n w 1,j w 2,j w n,j función suma net j (t) función de activación j umbral (bias) x j (t) 13

14 Modelado Neuronal Neurona Natural vs. Artificial: Neurona = Unidad de proceso Conexiones sinápticas = Conexiones Pesadas Efectividad sináptica = Peso sináptico Exitatorio/Inhibitorio = Pesos + ó - Efecto combinado de sinapsis = Función suma Activación-> Ratio disparo = Función activación -> salida 14

15 Modelado Neuronal Arquitecturas Neuronales: Según e/o/s Número y tipo de entradas Elementos ocultos Elementos de salida Según conectividad entre capas Monocapa feedforward Capa de entrada Capa de salida Multicapa feedforward Feedforward (hacia adelante) Redes Recurrentes Estructuras Enrejadas (Lattice) Capa de entrada Capa de salida Multicapa feedforward parcialmente conectada Capa oculta Capa oculta Capa de salida 15

16 Modelado Neuronal Arquitecturas Neuronales: Según conexión entre capas Totalmente conectados (full-conexión) Parcialmente conectados Conexión uno a uno Sincronía (actualización de valores) Simultánea Aleatoria Según orden topológico Recurrente con interconexiones laterales Salidas Recurrente con neuronas ocultas Entradas 16

17 Aprendizaje: Modelado Neuronal Estimulación de la RN por el entorno Cambios en la RN debido a estimulación Nueva forma de responder debido a cambios de la estructura interna de la RN 17

18 Modelado Neuronal Paradigmas de aprendizaje: Aprendizaje Supervizado Aprendizaje por Reforzamiento Aprendizaje Auto-organizado (No Supervizado) Precalculado o prefijado 18

19 Modelado Neuronal Aprendizaje supervizado: Se presentan pares de patrones de entrada y salida deseada Pasos: Fijar pesos aleatorios las conexiones Seleccionar par de entrenamiento Presentar patrón de entrada y calcular salida Calcular error o discrepancia con la salida deseada Aplicar regla de aprendizaje Dudosa plausibilidad biológica: Requiere propagar información hacia atrás Requiere de instructor 19

20 Modelado Neuronal Aprendizaje no supervizado: Se presentan sólo patrones de entrada Basado en la redundancia en las entradas Aprendizaje extrae de los patrones: Familiaridad con patrones típicos o promedios del pasado Análisis de las Componentes Principales Clustering Prototipos, correspondientes a las categorias existentes Codificación Mapa de Características Grandes plausibilidades biológicas 20

21 Modelado Neuronal Algoritmos de aprendizaje más comunes: Perceptrón multicapa o Backpropagation (BPN) Aprendizajes supervizados bajo corrección de error Mapas Auto-organizados (SOM) Aprendizajes competitivo no supervizados Extractores de características (GHA ó ICA) Aprendizajes hebbianos no supervizados 21

22 Modelado Neuronal Propiedades y Capacidades Generalización Estructura altamente paralela No linealidad Mapeo de Entrada- Salida Adaptabilidad Respuesta graduada Información Contextual Tolerancia a fallos Implementación VLSI Uniformidad en el Análisis y Diseño Analogía Neurobiológica 22

23 Implementaciones Medio biológico vs. medio silicio Velocidad: Neuronas: 10-3 s., Puertas lógicas: 10-9 s. Tamaño: Neuronas 5 ó 6 órdenes de magnitud menores Eficiencia energética: Cerebro: J/op./s., mejores ordenadores: 10-6 Fan-In: Promedio de sinapsis por neurona, mucho mayor que en silicio 23

24 Neurosimuladores: Software: Flexibles Económicos Hardware: Eficientes Implementaciones 24

25 Tipos Neurosoftware: Programación directa Librerías Entornos de desarrollo Implementaciones Características deseables: Facilidad de uso Potencia Eficiente Extensibilidad 25

26 Neurohardware: Implementaciones VLSI analógico Opto-Electrónicos FPGAs Neuro-Chips (VLSI Digital) Neuro-Tarjetas Máquinas paralelas de propósito general Biochips Objetivo: Acelerar fases de aprendizaje y ejecución 26

27 Implementaciones Biochips 27

28 Fases de desarrollo: Aplicaciones Selección de la arquitectura neuronal Selección del conjunto de aprendizaje Fase de aprendizaje Fase de validación OK? Selección del conjunto de validación Implantar en aplicación 28

29 Aplicaciones Tipos de problemas abordables: Asociación Clasificación de Patrones Predicción Control Aproximación Optimización En general: Difícil describir conocimiento/forma de resolverlos Se dispone de una gran cantidad de datos 29

30 Problemas de Asociación NETalk (Sejnowski & Rosemberg): A partir de textos escritos genera gonemas correspondientes. Mejoras durante aprendizaje Tratamiento de imágenes: Ruido placas matrículas Restitución Compresión de Imágenes: 30

31 Problemas de Clasificación de Patrones Conteo de células: Clasificación de glóbulos blancos Inspección visual: Seguimiento de pupila 31

32 Problemas de Predicción Airline Marketing Tactician (AMT): Monitoriza y recomienda la reserva de plazas Neuralstocks: Servico de predicciones financieras a corto plazo 32

33 Problemas de Control Control de robots: Cinemática inversa Dinámica ALVINN: Conducción de vehículo 33

34 Problemas de Aproximación Aproximación de funciones utilizando RBFs Problemas de Optimización Optimización de rutas: TSP 34

35 Aplicaciones en Astronomía/Astrofísica Reconocimiento de estrellas/galaxias Clasificación espectral y morfológica de estrellas/galaxias Estudios de superficies planetarias Estudio del campo magnético interplanetario Determinación de parámetros en atmósferas estelares Clasificación de poblaciones de enanas blancas Neural Networks, 16 (2003) 35

36 Aplicaciones en Astronomía/Astrofísica Identificación y caracterización de objetos: QSO's, galaxias IR ultraluminosas, fuente de Rayos Gamma Determinación de desplazamientos fotométricos al rojo Eliminación de ruido en pixels Descomposición de datos simulados multi- frecuencia para la misión Planck Búsqueda de cúmulos de galaxias Neural Networks, 16 (2003) 36

37 Aplicaciones en Astronomía/Astrofísica Análisis de datos recogidos por instrumentos de nueva generación para astrofísica de alta energía: Telescopio de neutrinos AUGER y ARGO Telescopio de rayos gamma Cherenkhov Interferómetro de ondas gravitacionales VIRGO Búsqueda de bosones Higgs AstroNeural, paquete AstroMinnig: reducción y análisis de datos Neural Networks, 16 (2003) 37

38 Grupo de Trabajo Grupo de Computación Neuronal y Adaptativa y Neurociencia Computacional Departamento de Estadística, I. O. y Computación, ULL I. U. de Ciencias y Tecnologías Cibernética, ULPGC Área de Conocimiento: Ciencias de la Computación e Inteligencia Artificial Líneas de trabajo Neurociencia Computacional y Cognición Computacional: Comunicación Neuronal;Aprendizaje y Memoria.Procesos y Estructuras Cognitivas/Perceptivas Teorías y Modelos Redes Neuronales Naturales y Artificiales: Diseño de Nuevos Modelos de RNAs Aplicación de la Computación Neuronal en Dominios Biomédicos, Clínicos y Medioambientales 38

39 Grupo de Trabajo Campos aplicativos estudiados Procesamiento de Señales Neurofisiológicas Identificación de Espectros Luminescentes Agente de Catalogación Automática de Webs Sistema Automático de Detección de Ataques Informáticos Diagnóstico de Enfermedades Neurodegenerativas... xi... Entradas mli... dl... Capa SOM hl... zl... Capa de Holguras upl gpq Capa de Etiquetado... vp Mezcla Espectrofotómetro de Luminescencia Analysis Mapa de Rechazo Capa de Tolerancias 2 1 Espectro Preprocesado 2 1 Características Espectrales Identificador de Espectros (Capa de Etiquetado) Etiquetado Mapa de SOM Comparación de Espectros (Capa SOM) Comp. 1 Comp. 2 Comp. 3 39

40 Grupo de Trabajo Docencia Impartida en la ULL Introducción a los Modelos de Computación Conexionista 3er curso, Ing. Técnica en Informática de Sistemas, ETSII 30 a 40 alumnos Introducción a la Inteligencia Artificial 3er curso, ITI de Gestión/Sistemas 50 a 60 alumnos Modelos Conexionistas y Autómatas 5º curso, Ing. Informática, ETSII 10 a 20 alumnos 40

41 Futuro de las RNAs Futuro prometedor, si nos seguimos acercando a las característicias de los organismos vivos: Evolución, Computación Colectiva, Manejo del Conocimiento,... Natural Computing => Soft Computing Presente problemático: dificultades de escalabilidad Tal vez algunos parámetros de nuestros modelos son erroneos? Tal vez no disponemos de la suficiente potencia informática? Tal vez nuestros modelos no han alcanzado la suficiente complejidad? Tal vez nos falta en nuestros modelos algún concepto fundamental? 41