Red Neuronal Modelo de Hopfield

Transcripción

1 Red Neuronal Modelo de Hopfield Introducción Dentro de este articulo conocerá lo que es una red neuronal dentro de la I.A. Comprenderá como funciona y como se programa una red neuronal de acuerdo al modelo básico de Hopfield. Se mostrara la información básica sobre las partes de un cerebro y como es que funcionan las neuronas para comprender como implementarlo dentro de un algoritmo. Además se mostrara un ejemplo de una red neuronal artificial programada en C Posix de acuerdo el modelo de Hopfield implementado en Linux. Espero este manual sea de utilidad a muchas personas, recuerden no robarse solamente el código, siempre es mejor comprender y hacerlo por uno mismo. By: John Michel Rivera De León. lionheart815@hotmail.com

2 Red Neuronal Modelo de Hopfield By: John Michel Rivera De León Red Neuronal Modelo de Hopfield Conceptos ba sicos Una red neuronal intenta simular la forma como opera el cerebro. El cerebro es el sistema con mayor complejidad, no por su tamaño, sino por el números de elementos que lo conformas y por sus interrelaciones. Recordemos que un sistema es un conjunto de elementos que interactúan entre sí para alcanzar un objetivo. Los elementos básicos del cerebro son las neuronas, estas son células especializadas. En general: Informacio n El presente documento pretende ser una guía para comprender como funciona una red neuronal básica y como poder representarla en forma de algoritmo para poder programarlo. Se recomiendo leer completamente el artículo para al menos tener una noción sobre qué es lo que realiza una red neuronal. Dentro de la parte final encontrara un ejemplo de un programa realizado en C, para simular una red neuronal. Este ejemplo cuenta con capturas de pantalla para comprenderse mejor. 1

3 [Escriba el nombre de la compañía] Una neurona por sí sola no posee inteligencia alguna, la inteligencia radica en el número de conexiones entre neuronas. Tal vez te preguntes donde se localiza la inteligencia en el cerebro. La respuesta es en la sinapsis, es decir, aquel nodo donde se conectan dos neuronas, en la sinapsis es donde se dan reacciones bioquímicas. Un modelo para la configuración neuronal es el siguiente: RNA: Red Neuronal Artificial Una vez comprendidos los elementos básicos para conocer como está compuesta una red neuronal, podemos pasar a estudiar el modelo de Hopfield. 2

4 Red Neuronal Modelo de Hopfield By: John Michel Rivera De León Modelo de Hopfield Este modelo consiste en una red monocapa de neuronas cuyas salidas son números binarios. Cada neurona de la red se encuentra conectada con todas las demás, pero no consigo mismo. Existen pesos asociados para cada conexión entre neuronas (aristas), los cuales son simétricos. El peso representa el valor de la sinapsis w ij. W es únicamente por que en idioma ingles el peso es wheigth. Gráficamente una red así tiene la siguiente configuración: El conocimiento se almacena en los pesos. 3

5 [Escriba el nombre de la compañía] La función de activación tiene que ver con la naturaleza bioelectrica de la neurona, es decir, esta señal es de naturaleza eléctrica y química. La señal generada por la neurona viaja a través del axón y es de naturaleza eléctrica La señal que se transmite entre las terminales axomicas de una neurona y las dentritas de la neurona es de origen químico. Las dentritas acarrean señales químicas. 4 Existe una relación de las señales eléctricas con la composición de la membrana de la neurona.

6 Red Neuronal Modelo de Hopfield By: John Michel Rivera De León El precursor de las redes neuronales se llama perceptron. El perceptron es la primera aproximación que se dio alrededor de los años 50 s y 60 s, esto fue por Marvin Minsky. El perceptron es una sola neurona dividida en 2 partes, posee varias entradas, y solo una salida, esa salida es como el axón. Ejemplo entrenamiento de la red Entrenaremos una red para que aprenda 2 patrones que corresponden a las siguientes figuras: Estos patrones son: 1. Dos vectores 2. Cada vector posee 4 componentes, es decir una por pixel. 3. La red neuronal constara por lo tanto de 4 neuronas. Los vectores de entrada son: E1 = (1, 1, -1, -1) E2= (-1, -1, 1, 1 ) El aprendizaje consta en encontrar el valor de los pesos, w ij, que representa la unión sináptica entre dos neuronas. 5

7 [Escriba el nombre de la compañía]. 6

8 Red Neuronal Modelo de Hopfield By: John Michel Rivera De León Los pesos se definen: Termina el proceso de aprendizaje. Red Neuronal Artificial (Continuacio n del ejemplo) Ya entrenamos la red, esto significa el aprendizaje (patrones), se manifiesta eligiendo el conjunto de pesos correcto. Debemos utilizar el conocimiento, esto es que dada una entrada a la red esta debe dar un respuesta en función de lo que ella sabe. Supongamos que tenemos la siguiente entrada para la red Neuronal: E =( 1, -1, -1, -1 ) Gráficamente esto es: 7

9 [Escriba el nombre de la compañía] Qué responde la red? Se realiza el proceso; Iteración # 1 Ejecutamos la función de activación F( β )= 1 si β > 0-1 si β<=0 8

10 Red Neuronal Modelo de Hopfield By: John Michel Rivera De León Aplicando f a cada componente: E *W = ( ) E *W = ( f(2) f(6) f(-2) f(-2) ) = ( ) Iteración # 2: Aplicamos la función de activación: W2 = ( ) W1 = W2? en caso de que no, se hace una tercera iteración se compara 2 con 3, sino son iguales se vuelve a hacer otra cuarta iteración y se compara 3 con 4. En esta caso como si son iguales entonces ya terminamos, es decir, que la red W2= ( ) Esto quiere decir que de acuerdo a la entrada: ( ) La red responde ( ), 9 Ya que es el más parecido que la red conoce. Recordemos que entrenamos a la red solo con 2 patrones.

11 [Escriba el nombre de la compañía] Programacio n de una RNA de acuerdo al modelo de Hopfield En esta sección mostrare un ejemplo de un programa realizado en C Posix en la que se muestra una RNA según el modelo de hopfield. Primero mostraremos como se ve y se maneja el programa y al final se anexara el código fuente para que lo analicen o les sirva de ejemplo. No hagan el copy paste de mi código porque de lo contrario nunca aprenderán a hacer nada por ustedes mismos, además les caerá una maldición xd. Bueno empecemos: Aquí podemos observar el menú principal que ofrece el programa; Elegimos la opción número 1 para entrenar la red. Ingresamos cuantos vectores aprenderá la red, en este caso 2 vectores. Ingresamos ahora el número de componentes en los vectores, en este caso 4 pixeles para cada vector: 10 Ingresamos ahora el valor para cada pixel de los vectores, en este caso ingresamos para el vector 0 los valores [0,0]=1, [0,1]=1, [0,2]=-1, [0,3]=-1, y para el vector 1 los valores [1,0]=-1, [1,1]=-1, [1,1]=1, [1,1]=1.

12 Red Neuronal Modelo de Hopfield By: John Michel Rivera De León Una vez entrenada la red nos retornara al menú principal, podemos ver la información de la red eligiendo la opción número 2, esta muestra información que podemos visualizar página por página pulsando la tecla Q, muestra información sobre la matriz identidad, resultados de las operaciones E T *Ei I, y la matriz de pesos. Presionamos Q para regresar al menú principal, ahora elegimos la opción 3 para ingresar un patrón que la red no conoce, esto con el fin de que la red de acuerdo a lo que aprendió nos responda lo que sabe. 11

13 [Escriba el nombre de la compañía] Para esto ingresamos el patrón 1, -1, -1, -1: Entonces la red responde que ella conoce algo parecido y el resultado es : La red nos dice en que numero de iteración encuentra el resultado por si queremos corroborarlo a manita ya cabemos cuantas iteraciones tendremos que hacer xd. Presionamos Q para regresar al menú. Salimos de la aplicación con Ctrl+C. Fin del programa. 12

14 Red Neuronal Modelo de Hopfield By: John Michel Rivera De León Co digo fuente completo Lo que casi todos únicamente quieren #include <string.h> #include <stdio.h> #include <stdlib.h> #include <math.h> #include<sys/types.h> #include<unistd.h> int vectores=0,componentes=0,check1=0; void submenu(int pesos[]); void info(); void entrada(); void Reconocimiento(int pesos[]); void activacion(int wi[],int pesos[]); bool compara(int wbefore[],int wafter[]); void learning(int numeritos[]); //Creado por John Michel Rivera de Leon void entrada(){ system("clear"); printf("ingrese el Numero de Vectores a Utilizar:"); scanf("%d",&vectores); printf("\ningrese El numero de Componentes en los Vectores:"); scanf("%d",&componentes); int Numeritos[componentes*vectores]; int i=0,c=0; for(int j=0;j<componentes*vectores;j++){ system("clear"); int valtemp=0; printf("introdusca los valores para el vector[%d][%d]:",i,c); scanf("%d",&valtemp); if((c+1)%componentes==0){c=-1; i=i+1;} 13 c=c+1;

15 [Escriba el nombre de la compañía] Numeritos[j]=valtemp;}//for check1=1; learning(numeritos); } void learning(int numeritos[]){ FILE *ident,*w,*wsum; w=fopen("etei_i.txt","w"); ident= fopen("identidad.txt","w"); wsum=fopen("peso.txt","w"); fprintf(ident,"matriz IDENTIDAD PARA CADA VECTOR:\n"); fprintf(w,"resultados de EtEi-I:\n"); fprintf(wsum,"matriz DE PESOS:\n"); int ETEI[componentes][componentes]; int resul[componentes][componentes]; int identidad[componentes][componentes]; int Peso[componentes][componentes]; for(int g=0;g<componentes;g++){ for(int r=0;r<componentes;r++){ Peso[g][r]=0;}} int cont=0,cx=0,cy=0,tem=0; for(int x=0;x<vectores;x++){ for(int i=0;i<componentes;i++){ for(int j=0;j<componentes;j++){ ETEI[i][j]=(numeritos[i+tem]*numeritos[j+tem]); if(j==i){identidad[i][j]=1; }else{ identidad[i][j]=0;} resul[i][j]=etei[i][j]-identidad[i][j]; fprintf(ident,"\t%d",identidad[i][j]); fprintf(w,"\t%d",resul[i][j]); Peso[cx][cy]=Peso[cx][cy]+resul[i][j]; 14 cy=cy+1;}//j fprintf(ident,"\n"); fprintf(w,"\n"); cy=0;

16 Red Neuronal Modelo de Hopfield By: John Michel Rivera De León cx=cx+1;}//i cy=0; cx=0; tem=tem+componentes; fprintf(ident,"\n\n"); fprintf(w,"\n\n"); }fclose(ident); fclose(w); tem=0; for(int s=0;s<componentes;s++){ for(int d=0;d<componentes;d++){ fprintf(wsum,"\t%d",peso[s][d]); numeritos[d+tem]=peso[s][d];} tem=tem+componentes; fprintf(wsum,"\n");} fclose(wsum); while(true){submenu(numeritos);} } void info(){ system("cat identidad.txt more less"); system("cat ETEI_I.txt more less"); system("cat Peso.txt more less");} void Reconocimiento(int pesos[]){ FILE *activa; activa=fopen("activatexd.txt","w"); int in[componentes]; int enter=0; int wi[componentes]; printf("\ningrese vector a reconocer:\n"); fprintf(activa,"vector de Entrada: "); for(int i=0;i<componentes;i++){ 15 printf("ingrese la entrada[%d]",i); scanf("%d",&enter);

17 [Escriba el nombre de la compañía] in[i]=enter; fprintf(activa,"\t%d",enter); wi[i]=0;} fprintf(activa,"\ne*w="); for(int j=0;j<componentes;j++){ for(int k=0;k<componentes;k++){ wi[j]+=in[k]*pesos[(k*componentes)+j];}} fclose(activa); /// activacion(wi,pesos); } void activacion(int wi[],int pesos[]){ system("clear"); FILE *activa2,*activa3,*coms; activa2=fopen("activate2xd.txt","w"); activa3=fopen("activate3xd.txt","w"); coms=fopen("comxd.txt","w"); bool checa; int wiafter[componentes]; for(int i=0;i<componentes;i++){ fprintf(activa2,"\t%d",wi[i]); if(wi[i]>0){wi[i]=1;} else{wi[i]=-1;} fprintf(activa3,"\t%d",wi[i]);} int iteracion=2; do{ fprintf(coms,"iteracion %d:\n",iteracion); for(int t=0;t<componentes;t++){wiafter[t]=0;} for(int j=0;j<componentes;j++){ for(int k=0;k<componentes;k++){ 16 wiafter[j]+=wi[k]*pesos[(k*componentes)+j]; }} for(int i=0;i<componentes;i++){

18 Red Neuronal Modelo de Hopfield By: John Michel Rivera De León fprintf(coms,"\t%d",wiafter[i]); if(wiafter[i]>0){wiafter[i]=1;} else{wiafter[i]=-1;}} checa=compara(wi,wiafter); if(checa==false){ for(int gg=0;gg<componentes;gg++){ wi[gg]=wiafter[gg];} fprintf(coms,"\n NO SON IGUALES\n");} iteracion=iteracion+1; }while(checa==false); fprintf(coms,"\nson IGUALES\n RESPUESTA DE LA RED:"); for(int fin=0;fin<componentes;fin++){ fprintf(coms,"\t%d",wiafter[fin]);} fclose(activa2); fclose(activa3); fclose(coms); system("cat comxd.txt more less"); } bool compara(int wbefore[],int wafter[]){ bool check; for(int i=0;i<componentes;i++){ if(wbefore[i]==wafter[i]){check=true; }else{check=false; i=componentes;}} return check; } void submenu(int pesos[]){ int opcionxd; system("clear"); printf("\n\amenu:\n1-crear Y Entrenar una Nueva RED\n2-Ver informacion de la Red Actual\n3-ingresar un patron para que la red no conoce\n4-salir\nopcion elegida:"); 17 scanf("%d",&opcionxd); if(opcionxd==1){entrada();}

19 [Escriba el nombre de la compañía] if(opcionxd==2){ if(check1==1){ info();}else{system("clear"); printf("aun no Crea Ninguna Red..."); submenu(pesos);}} if(opcionxd==3){ if(check1==1){ Reconocimiento(pesos);}else{system("clear"); printf("necesita Entrenar la Red primero..."); submenu(pesos);}} if(opcionxd==4){ system("pkill -sigterm test2");} if(opcionxd<0 opcionxd>4){printf("\nopcion no existente..."); submenu(pesos);} } int main(){ int pesos[0]; submenu(pesos); return 0; } Referencias: 1. Apuntes vagos de mi materia de I.A de mi profesor Roberto Castro. 2. Programa sacado de mi tatema xd. 3. Ilustraciones Hechas por mi xd. 18