Práctica de introducción a las redes neuronales. Perceptrón multicapa. Estimación de precios de casas

Transcripción

1 Práctica de introducción a las redes neuronales. Perceptrón multicapa. Estimación de precios de casas Vamos a preparar una red para estimar el precio de casas en una zona a partir de los siguientes datos: Tasa de criminalidad Proporción de suelo residencial Proporción de suelo industrial Indicación de si hay río Concentración de óxidos nítricos Número medio de habitaciones Proporción de casas con más de 40 años Distancia media ponderada a zonas de trabajo principales Accesibilidad a autovías Tasa de impuestos inmobiliarios Proporción de alumnos por profesor Población de raza negra Nivel más bajo de la población Trabajaremos con dos entornos, uno más gráfico y cómodo (Matlab u Octave) y otro menos visual pero que incorpora algunos análisis interesantes ya programados (Nevprop) que usaremos no tanto hoy, sino en otra sesión, ya que hoy no entraremos en un análisis de demasiado fondo. Análisis con red neuronal típica Matlab con toolbox propia Teclea load housing Esto carga los datos del problema. Esto carga datos de 506 zonas en las variables p y t (datos y precios respectivamente). Es fácil visualizar unas pocas variables. Con 13 variables la visualización es complicada pero todavía puede intentarse. Si fuesen muchas, no sería viable. Teclea plotmatrix(p'). Respuestas a introducir: Cuál es el rango de la variable de tu número de lista? Cómo se distribuye? Se aprecia alguna relación entre ella y la de número doble? Vamos a ver los resultado de una regresión lineal normal: teclea regstats(t',p') ya que para este comando la ordenación de casos y variables es la traspuesta de como están originalmente. En la ventana que se abre marca mse, rsquare y adjrsquare. Échales un vistazo para ver qué tan buenos resultados podemos esperar de este modelo lineal. Respuesta a introducir: Valor de adjrsquare Teclea nftool. Así entramos en la herramienta gráfica de Matlab para ajustar perceptrones multicapa corrientes.

2 La primera ventana es de presentación. Dale al botón Next Mediante los menús junto a Input data y Target data selecciona la variable p para los primeros y t para los segundos. Como nos dice que los datos son 506 casos con 13 variables vemos que está bien la ordenación, cada caso es una columna. Volvemos a dar Next La siguiente pantalla es de división de los datos. Vamos a dar por bueno lo propuesto y damos Next En la siguiente elegimos el número de procesadores ocultos. Vamos a rebajar el valor por defecto a 5. Damos Next Esperamos un poco a que cree la red y damos a Train Esperamos un poco y vemos los resultados numéricamente en la propia ventana y gráficamente en otra adicional. De momento observamos sólo el valor de MSE y R para el conjunto Testing y vemos su tendencia en la gráfica. Teclear Next En la siguiente pantalla, de evaluación, no vamos a hacer nada. Teclear Next En la siguiente, de guardar resultados, dejar marcado save network, quitar las otras marcas y dar al botón Save Results. Después dar al botón Finish. En la ventana de comandos de Matlab teclear net. Veremos las partes del objeto red. Abrir la ayuda de Matlab y desplegar la correspondiente a la Neural Network Toolbox. Buscar hacia el final la sección Network Object Reference. Con su ayuda dar la siguiente información de la red recién creada (introducir las respuestas): Por qué numinputs es 1 si son 13 variables las que se usan? Cuál es el rango de valores de la variable de número doble al tuyo? Se puede confirmar la función de transferencia usada por los procesadores de cada capa? Puede variar dentro de una capa? Cómo se combinan los pesos de la entrada a la capa oculta con sus correspondientes variables de entrada? Y de ésta a la capa de salida? Si ordenamos los pesos de las variables de entrada de mayor menor Qué posición ocupa la variable de tu número? Matlab con Netlab Teclea load housing Esto carga los datos del problema. Esto carga datos de 506 zonas en las variables p y t (datos y precios respectivamente). Vamos a ver los resultado de una regresión lineal normal: teclea regstats(t',p') ya que para este comando la ordenación de casos y variables es la traspuesta de como están originalmente. En la ventana que se abre marca mse, rsquare y adjrsquare. Échales un vistazo para ver qué tan buenos resultados podemos esperar de este modelo lineal. Teclea demtrain. Así entramos en la herramienta gráfica de Netlab para ajustar perceptrones multicapa corrientes. Mediante el menú Load data file selecciona el fichero casas(.dat). El fichero tiene los datos en escala [0,1]

3 En Activation Function selecciona Logistic Damos a Start Training Esperamos un poco y vemos los resultados de ajuste gráficamente: es la suma de error cuadrático. Vemos su tendencia en la gráfica. Octave (con netlab) 1. Hay un fichero con los datos preparados en formato especial para netlab. Están pasados a escala [0,1] Los cargamos con [p1,t1,nin,nout,ndata]=datread('casas.dat'); Esto carga datos de 506 zonas en las variables p1 y t1 (datos y precios respectivamente). 2. Es fácil visualizar unas pocas variables. Con 13 variables la visualización es complicada pero todavía puede intentarse. Si fuesen muchas, no sería viable. Teclea plotmatrix(p1). Cuál es el rango de la variable de tu número de lista? Cómo se distribuye? Se aprecia alguna relación entre ella y la de número doble? 3. Con cierta complicación debido al número de variables vamos a ver las relaciones entre el precio y cada una de las variables individualmente. Teclea plotmatrix(p1,t1,'x'). En cuáles se aprecia más relación? 4. Para hacer pruebas con los modelos, suele ser recomendable dejar apartados unos puntos de la muestra que no se usan en el ajuste. Eso nos permite hacer una prueba sencilla (pero no terminante) de qué tal generaliza el modelo. 1. Elegimos un orden aleatorio de puntos orden=randperm(506); pt=p1(orden,:); tt=t1(orden); 2. Separamos una parte pequeña (puedes jugar con el valor) pprueba=pt(1:50,:); tprueba=tt(1:50); p=pt(51:end,:); t=tt(51:end); 5. Vamos a ver los resultado de una regresión lineal normal: 1. x=[p ones(456,1)]; %Dejando previsto término independiente 2. [coef sigma resid]=ols(t,x); 3. tlin=x*coef; 4. plot(t,tlin,'x') 5. mselin=(resid'*resid)/ r2lin=1-mse/var(t) 7. r2ajuslin=1-(1-r2)*455/(456-15) 8. xprueba=[pprueba ones(50,1)];

4 9. tlinprueba=xprueba*coef; 10. plot(tprueba,tlinprueba,'x'); 11. epl=(tprueba-tlinprueba);msepl=(epl'*epl)/50; 6. Creamos la red con red=mlp(nin,5,nout,'linear'); 7. La ajustamos con red=mlptrain(red,p,t,50); Puedes jugar con el 50, es el número de iteraciones. 8. Podemos comparar con el modelo lineal: 1. tred = mlpfwd(red, p); 2. plot(t,tred,'x') 3. plot(t,tlin,'xr',t, tred,'xb',t,t,'g','linewidth',3) 4. er=mlperr(red,p,t); 5. msered=2*er/ r2red=1-msered/var(t) 7. tredprueba=mlpfwd(red,pprueba); 8. plot(tprueba,tredprueba,'x'); 9. plot(tprueba,tlinprueba,'xr',tprueba,tredprueba,'xb', tprueba,tprueba,'g','linewidth',3) 10. epr=mlperr(red,pprueba,tprueba); msepr=2*epr/50 Otras pruebas con Nevprop Empezamos con un modelo lineal: Abrir el fichero casas.net. Mediante los comentarios contestar a las siguientes cuestiones (introducir las respuestas). Cuántas capas hay y cuantos procesadores en cada una? A partir de qué error en la predicción va a contarse un caso como equivocado? Desde una ventana de comandos en ese directorio activa el programa con np A la petición de una semilla aleatoria para la inicialización de pesos dar Aceptar A la petición de fichero de red dar casas Tras unos comentarios informativos pide nombre para el fichero de resultados; dar casas Luego pregunta si carga pesos. Dar Aceptar, que en este caso es que no Después sale un informe descriptivo de las variables. Comprobar que se corresponde con lo esperado. Introduce la respuesta: cuál es el valor medio de la variable de tu número?

5 Cuando pida el número de iteraciones de ajuste dar 80 Aceptar la cantidad propuesta para intervalo de presentación de progreso Saldrá un listado con el progreso. Identificar que el error medio cuadrático (AsqEr) se ha estabilizado. Introducir las respuestas: en cuánto?. En qué porcentaje de los datos la predicción es aceptable? teniendo en cuenta la magnitud de sus pesos de entrada, cómo compara la variable de tu número con la más dominante? Luego dar Aceptar para dar por bueno el ajuste. Cuando pida fichero para guardar pesos decirle que sí (y) y aceptar el nombre propuesto. No guardar las predicciones. A continuación pasamos a un modelo completamente no lineal. Abrir el fichero casas2.net. Introducir respuesta: Cuántas capas hay y cuantos procesadores en cada una? Desde una ventana de comandos en ese directorio activa el programa con np Si los resultados no se ven bien en pantalla, se pueden ver en el fichero casas2.res. Introducir respuestas: Cuál es el error cuadrático medio obtenido sobre el total del fichero? Y el coeficiente R²? En cuántos casos es la predicción aceptable? Por último pasaremos un modelo lineal generalizado, es decir, con no linealidad limitada a cada variable por separado. Repetir el apartado anterior pero con casas3 Introducir respuestas: Cuántos procesadores ocultos hay? Cuál es el patrón de conexiones? Cuáles son los resultados del modelo (error cuadrático medio, R² y casos aceptables)?