Inteligencia Artificial II Propuesta de trabajo Análisis de Redes Neuronales Artificiales

Transcripción

1 Inteligencia Artificial II Propuesta de trabajo Análisis de Redes Neuronales Artificiales 1. Introducción Miguel Ángel Martínez del Amor 1 PROBEN1 [1] es un trabajo de investigación desarrollado por la Universidad de Karlsruhe, donde se proveen una colección de problemas para realizar benchamrks de aprendizaje con Redes Neuronales Artificiales (RNAs) [2,3,4]. Contiene 15 conjuntos de datos de 12 dominios distintos, que representan problemas reales con datos reales normalizados (estudios de cáncer, ataques al corazón, veterinaria, etc.). Los conjuntos de datos se representan en el mismo formato, usando una representación de atributos que pueden ser usados directamente para el entrenamiento de RNAs. Junto a los conjuntos de datos, PROBEN1 define además un conjunto de procedimientos sobre como conducir y documentar los benchmarks con RNAs. Los datos de PROBEN1 están disponibles mediante FTP anónimo (soportado por cualquier navegador estándar) en la máquina ftp.ira.uka.de y el subdirectorio /pub/neuron. El fichero a descargar es proben1.tar.gz, este fichero contiene un árbol de directorios con todo el recopilatorio de problemas. La referencia [1] se encuentra en el subdirectorio /Doc, la cual detalla toda la información relacionada con PROBEN1: los problemas disponibles, cómo reproducir los resultados, cómo documentarlos, los resultados, etc. 2. Objetivos El objetivo principal de este trabajo es el de diseñar e implementar RNAs con el fin de reproducir los resultados obtenidos con PROBEN1. Para ello será necesario alcanzar todos los siguientes objetivos específicos: Implementar el algoritmo de retropropagación (backpropagation) con momentum y validación cruzada, de forma correcta, siguiendo su descripción, y con los tres criterios de parada descritos en PROBEN1. Reproducir varios 2 experimentos de PROBEN1, reajustando parámetros (factor de aprendizaje, etc.) y topologías (capas ocultas, etc.) a fin de asemejar o mejorar los resultados descritos en PROBEN1. Analizar razonadamente los resultados obtenidos. Documentar el trabajo en un documento con formato de artículo científico (ver Anexo). Realizar una (mini)presentación de los resultados obtenidos en la defensa. Para que el trabajo pueda ser evaluado, se deben satisfacer los 4 objetivos específicos al completo: el algoritmo debe de ser original, estar correctamente implementado y funcionar perfectamente, los experimentos se deben haber realizado y ser analizados razonadamente, el documento debe de estar completo entre 14 y 24 páginas, y se debe de realizar la defensa con una presentación de los resultados obtenidos. 1 mdelamor@us.es, Despacho H1.47, Tutorías Miércoles 10:00-12:00. 2 Se debe seleccionar alguna las opciones indicadas en el apartado 3.3 de este documento. 1

2 3. Trabajo a realizar Se recomienda desarrollar el trabajo siguiendo las siguientes cinco fases, típicas del procedimiento científico moderno. 3.1 Fase 1: estudio Las RNAs se explican en el tema 5 de la asignatura [4]. Para comprender mejor las RNAs y el algoritmo de retropropagación con momentum, se recomienda leer el tema 4 del libro [2] (sección 4.5). También se puede consultar el capítulo 20 de [3]. Ambos libros se encuentran en la biblioteca de la Escuela. También se deberá leer el informe técnico de PROBEN 1 al completo [1]. En él se explican los ejemplos de PROBEN1 (secciones 3.1 y 3.2), cómo realizar la documentación (sección 2), la implementación de la validación cruzada con parada temprana, los tres criterios de parada y los experimentos a llevar a cabo (sección 3.3) Fase 2: implementación Una vez se haya comprendido el algoritmo de retropropagación, se deberá implementar con los lenguajes CLIPS o LISP. Se permitirá usar C++ o Java si se satisfacen los requisitos establecidos en el apartado 5 de este documento. Se requerirá código original, cualquier copia detectada implicará la no evaluación del trabajo. En caso de usar alguna implementación existente de dicho algoritmo como apoyo, se debe incluir en la bibliografía. Una vez validado el algoritmo, se deberá extender con momentum y con validación cruzada. El momentum se explica en el tema 5 de la asignatura [4], y la validación cruzada con parada temprana 4 en las secciones 2.3, 2.6 y 3.3 del informe técnico [1]. El algoritmo tendrá que ser lo más genérico posible, de tal forma que la topología pueda ser parametrizada. También se deberá implementar los tres criterios de parada necesarios para el algoritmo (ver sección 3.3): máximo número de épocas, parada temprana con validación cruzada y el progreso de entrenamiento. Una vez implementado el algoritmo, se extenderá para poder trabajar con los conjuntos de datos de PROBEN1 (cada uno en sus tres variantes; por ejemplo, cancer1, cancer 2 y cancer 3 pertenecen al mismo ejemplo, cancer), de tal forma que: se pueda leer los ficheros de datos, se pida al usuario parámetros concernientes al algoritmo, se pueda realizar varias ejecuciones a fin de llevar a cabo estudios estadísticos sobre dichas ejecuciones (los requeridos para el experimento; ver columnas de la tabla 3), y se devuelva por pantalla o fichero la información para el experimento. La interfaz será a través de línea de comandos, y tendrá que poder se compilado y ejecutado en un sistema operativo Linux. 3.3 Fase 3: experimentación Se deberá seleccionar varios ejemplos de PROBEN1, y reproducir el benchmark representado en la sección (tablas 3 y/o 4) del informe técnico [1]. Opcionalmente se podrán seleccionar más ejemplos, y/o reproducir otros benchmarks, como el de la tabla 5 de la sección 3.3.3, lo que supondrá subir nota (ver los criterios de evaluación). Será necesario probar con distintas topologías y parámetros, de forma razonada (y documentada con, por ejemplo, gráficos), para intentar igualar o mejorar los resultados descritos en PROBEN1. El número de ejemplos a 3 Aunque en PROBEN1 se utiliza el algoritmo RPROP, el objetivo de este trabajo será el de utilizar retropropagación para reproducir algunos experimentos, con el fin de igualar o mejorar los resultados. 4 Suponer que epoch (o época) es una iteración sobre los ejemplos del conjunto de entrenamiento. 2

3 seleccionar para los experimentos depende del lenguaje de programación seleccionado. De esta forma, se debe seleccionar alguna de las siguientes opciones (son requisitos mínimos): Opción 1 (con CLIPS/LISP) : realizar los experimentos para 4 ejemplos de la tabla 3. Opción 2 (con Java/C++) : realizar los experimentos para todos los ejemplos de clasificación, es decir, toda la tabla 3. Opción 3 (con Java/C++) : realizar los experimentos para 5 ejemplos de clasificación (tabla 3), y todos los ejemplos de aproximación (tabla 4). 3.4 Fase 4: documentación Una vez realizados los experimentos, se pasará a escribir la documentación del trabajo realizado en un artículo científico, usando la plantilla del Anexo (formato de la revista Lecture Notes in Computer Science), y siguiendo su estructura de cinco apartados. Se deberá explicar: el algoritmo implementado (a nivel conceptual, no poner código fuente, aunque se permite añadir pseudocódigo breve), los experimentos llevados a cabo (con las correspondientes topologías), los resultados obtenidos de forma razonada, análisis y comparativas, y conclusiones. En todo caso, tendrá que aparecer toda la información listada en el apartado 2.11 del informe técnico [1]. También se tendrá que elegir un título original para el artículo. 3.5 Fase 5: presentación La defensa del trabajo tendrá una duración aproximada de 25 minutos, consistiendo en una pequeña presentación de 10 minutos (si el grupo se compone de dos alumnos, 5 minutos cada uno) o de 5 minutos si el grupo es de un solo miembro. En esta presentación se resumirá lo descrito en la memoria, mostrando los resultados, análisis y conclusiones. Se utilizará un ordenador con Linux (proporcionado por el profesor), diapositivas y/o pizarra. En los siguientes 10 minutos de la defensa, el profesor procederá a realizar preguntas sobre la implementación, algoritmos y código. Los últimos 5 minutos se llevarán a cabo pruebas de ejecución por parte del alumno. 4. Criterios de evaluación Para que el trabajo pueda ser evaluado, se deberá de satisfacer los 4 objetivos específicos descritos en el apartado 2 de este documento. El alumno debe entregar un fichero comprimido.zip, que contenga: Una carpeta con el código fuente. Dentro dicha carpeta deberá haber un fichero README.txt, que resuma la estructura del código fuente, e indique cómo compilar y cómo usar la interfaz, con ejemplos. Asimismo se deberá de indicar cómo reproducir los experimentos realizados. Es importante la coherencia de este fichero con la defensa. El documento artículo en formato PDF. Deberá tener una extensión mínima de 14 páginas, y máxima de 24 (nunca sobrepasar este límite, la página 25 y siguientes no se tendrán en cuenta a la hora de evaluar el trabajo). Además deberá incluir toda la bibliografía consultada (libros, artículos, technical reports, códigos fuente, diapositivas, etc.) en el apartado de referencias, y citarlas correctamente a lo largo del documento. Una carpeta con los ejemplos seleccionados de PROBEN1, y scripts que lancen automáticamente los experimentos. Para la evaluación se tendrá en cuenta el siguiente criterio de valoración, considerando una nota máxima de 3 en total para el trabajo: 3

4 El código fuente (0,7 puntos): se valorará la claridad y buen estilo de programación, corrección y eficiencia de la implementación, y calidad de los comentarios. La claridad del fichero README.txt también se valorará. En ningún caso, se evaluará un trabajo con código copiado directamente de internet o de otros compañeros. El documento artículo científico (1,6 puntos): Se valorará la calidad de los experimentos y las topologías empleadas, el razonamiento de ellas, y los resultados alcanzados. Conseguir unos resultados mejores que los mostrados en el informe técnico [1] no es obligatorio, pero repercutirá notablemente en la nota. Se valorará la claridad de las explicaciones, el razonamiento de las decisiones, el análisis y presentación de resultados, y el uso del lenguaje. Se podrá realizar en castellano o inglés. Igualmente, no se evaluará el trabajo si se detecta cualquier copia del contenido. La presentación y defensa (0,7 puntos): se valorará la claridad de la presentación y la buena explicación de los contenidos del trabajo. También será importante responder correctamente a las preguntas realizadas por el profesor. Extras (hasta 1 punto en la nota del trabajo, si se cumple con los objetivos): Implementación y uso del algoritmo RPROP, hasta 1 punto (consultar con el profesor). Reproducción del experimento de la sección del informe técnico, hasta 0,3 puntos. Redacción del artículo en inglés, hasta 0,2 puntos. Cualquier extra propuesto por el alumno al profesor previamente por correo electrónico. 5. Lenguaje de programación El trabajo se puede realizar en los siguientes lenguajes de programación, si se llevan a cabo los correspondientes requisitos mínimos: CLISP/LISP: Opción 1 de experimentos (ver apartado 3.3). JAVA/C++: Opciones 2 o 3 de experimentos (ver apartado 3.3). Si es en Java, generar un fat jar (ejecutable jar conteniendo todas las bibliotecas utilizadas) para que se pueda lanzar desde una terminal bajo Linux con una máquina virtual Referencias [1] L. Prechelt. Proben1, a set of neural network benchmark problems and benchmarking rules, Technical report, Falkultät für Informatik, Universität Karlsruhe, [2] Tom M. Mitchell. Machine Learning, McGraw-Hill International Editions. Computer Science Series, [3] Stuart Russel, Peter Norvig. Inteligencia Artificial, un enfoque moderno. Prentince Hall, [4] Tema 5 del curso de IA2, 5 Disponible en formato.ps en la carpeta Doc del fichero proben1.tar.gz. Dicho formato se puede abrir con GhostView o convertir a.pdf con el comando ps2pdf. 4

5 Anexo. Formato del artículo En las siguientes páginas se muestran la estructura y el formato del artículo correspondiente al trabajo. Éste se ha hecho siguiendo el formato de la serie Lecture Notes in Computer Science, de Springer, cuyo sitio web guía para autores ( SGWID= ) ofrece información más detallada y plantillas para Word y Latex (se recomienda usarlas por facilidad, aunque su uso no es obligatorio ya que es suficiente seguir el formato mostrado). El correspondiente documento anexo en formato.doc se puede descargar de la página web de la asignatura. Éste ya incluye la plantilla con macros para word. Aunque no funcionan correctamente en LibreOffice, se puede reproducir el formato. El artículo deberá tener una extensión entre 14 y 24 páginas. 5