Paquete de trabajo 3 Pruebas y resultados del proyecto REMERI Reporte Técnico Enero 2013
Red Mexicana de Repositorios Institucionales REMERI 2 HOJA EN BLANCO
Red Mexicana de Repositorios Institucionales REMERI 3 Paquete de trabajo 3 Reporte Técnico de Pruebas y Resultados del Proyecto REMERI Documento desarrollado por: José Alfredo Sánchez Huitrón, Dr Antonio Felipe Razo Rodriguez, MDI, MC Yazmín Magallanes Velázquez, MC Revisores del documento: Rosalina Vázquez Tapia, MTE Aprobación requerida de: Nombre del proyecto: Red Mexicana de Repositorios Institucionales REMERI Responsable(s) del proyecto: Rosalina Vázquez Tapia, MTE Universidad Autónoma de San Luis Potosí Objetivo del documento: Reporte de las pruebas y operaciones realizadas sobre la versión instalada en el servidor oficial y reporte de resultados. Fecha de Elaboración Fecha de Actualización Diciembre 10, 2012 Enero 29, 2013 Versión del Documento 0.8.5
Red Mexicana de Repositorios Institucionales REMERI 4 Reporte Técnico Red Mexicana de Repositorios Institucionales REMERI Pruebas y resultados del Proyecto REMERI 1. Pruebas técnicas 1.1. Presentación 1.2. Recolección de metadatos por institución 1.3. Integración de metadatos por institución 1.4. Recuperación de la colección 1.5. Consultas de la colección 1.6. Visualización de la colección 1.7. Conclusiones 2. Pruebas de interoperabilidad 2.1. Presentación 2.2. Consultas y pruebas 2.3. Consulta por parte de LA-Referencia 2.4. Validación de los servidores 2.5. Conclusiones 3. Pruebas de accesibilidad y estándares web 3.1. Presentación 3.2. Registro y validación del servidor
Red Mexicana de Repositorios Institucionales REMERI 5 1. Pruebas técnicas 1.1. Presentación La Red Mexicana de Repositorios Institucionales (REMERI), tiene por objeto crear una red interconectada de repositorios digitales de instituciones de educación superior (IES) en México, con la finalidad de integrar, difundir, preservar y dar visibilidad a su producción científica, académica y documental, así como también, incorporarse a redes o directorios de repositorios internacionales para fomentar la colaboración y apoyar el acceso y la divulgación de contenidos de acceso abierto. 1.2. Recolección de metadatos por colección Para incorporar colecciones es necesario conocer cada uno de los servidores de metadatos de cada institución: Servidores de Metadatos y su validación UDLAP o Tesis Digitales http://catarina.udlap.mx/u_dl_a/tales/ o Servidor OAI-PMH http://catarina.udlap.mx:8080/tales/oai/requestetd.jsp o Validación http://www.remeri.org.mx/validaoai/validaoai.jsp?elurl= http://catarina.udlap.mx:8080/tales/oai/requestetd.jsp UAEH o Repositorio Institucional http://dgsa.uaeh.edu.mx:8080/ o Servidor OAI-PMH http://dgsa.uaeh.edu.mx:8080/oai/request o Validación http://www.remeri.org.mx/validaoai/validaoai.jsp?elurl= http://dgsa.uaeh.edu.mx:8080/oai/request
Red Mexicana de Repositorios Institucionales REMERI 6 UANL o Repositorio Institucional http://eprints.uanl.mx/ o Servidor OAI-PMH http://eprints.uanl.mx/cgi/oai2 o Validación http://www.remeri.org.mx/validaoai/validaoai.jsp?elurl= http://eprints.uanl.mx/cgi/oai2 UASLP o Repositorio Institucional http://creativa.uaslp.mx/ o Servidor OAI-PMH archivo XML tesis_uaslp.xml ITESM o Repositorio Institucional http://catedra.ruv.itesm.mx/ o Servidor OAI-PMH http://catedra.ruv.itesm.mx/oai/request o Validación http://www.remeri.org.mx/validaoai/validaoai.jsp?elurl= http://catedra.ruv.itesm.mx/oai/request UV o Repositorio Institucional http://cdigital.uv.mx/ o Servidor OAI-PMH http://cdigital.uv.mx/oai/request o Validación http://www.remeri.org.mx/validaoai/validaoai.jsp?elurl= http://cdigital.uv.mx/oai/request UNAM o Repositorio Institucional http://ru.iiec.unam.mx o Servidor OAI-PMH http://ru.iiec.unam.mx/cgi/oai2 o Validación
Red Mexicana de Repositorios Institucionales REMERI 7 http://www.remeri.org.mx/validaoai/validaoai.jsp?elurl= http://ru.iiec.unam.mx/cgi/oai2 o Repositorio de Revistas http://ojs.unam.mx o Servidor OAI-PMH http://ojs.unam.mx/index.php/index/oai o Validación http://www.remeri.org.mx/validaoai/validaoai.jsp?elurl= http://ojs.unam.mx/index.php/index/oai UCSJ o Repositorio Institucional http://201.147.150.252:8080/jspui/ o Servidor OAI-PMH http://201.147.150.252:8080/oai/request o Validación http://www.remeri.org.mx/validaoai/validaoai.jsp?elurl= http://201.147.150.252:8080/oai/request El primer paso es validar los servidores con el validador de metadatos utilizando el validador de servidores (http://www.remeri.org.mx/validaoai ). Todos los repositorios indicados fueron validados y se procedió a la recolección de metadatos. Se ejecutó el script correspondiente por cada colección: harvester_getrecord_uaeh.xq harvester_getrecord_udlap.xq harvester_getrecord_uaemex.xq harvester_getrecord_itesm.xq harvester_getrecord_unam_iiec.xq harvester_getrecord_unam_ojs.xq harvester_getrecord_ucsj.xq harvester_getrecord_uanl.xq harvester_getrecord_uv.xq harvester_getrecord_udg.xq Los metadatos recolectados se almacenaron en la base de datos en la colección output : /db/output o uaeh
Red Mexicana de Repositorios Institucionales REMERI 8 o udlap o uaemex o itesm o unam iiec ojs o ucsj o uanl o uv o udg 1.3. Integración de metadatos por colección Para la incorporación de repositorios anteriores se ejecuta cualquiera de los siguientes scripts: aa_remeri_uaeh.xq aa_remeri_udlap.xq aa_remeri_uaslp.xq aa_remeri_uaemex.xq aa_remeri_itesm.xq aa_remeri_unam.xq aa_remeri_ucsj.xq aa_remeri_uanl.xq aa_remeri_uv.xq aa_remeri_udg.xq
Red Mexicana de Repositorios Institucionales REMERI 9 Como resultado se integraron los siguientes repositorios para un total de 38,970 registros: ITESM-558 UAEH-653 UAEMEX-43 UANL-2,420 UASLP-829 UCSJ-3,001 UDG-116 UDLAP-4,257 UNAM-14,990 UV-12103
Red Mexicana de Repositorios Institucionales REMERI 10 1.4. Recuperación de la colección Estos son los resultados la recuperación de información de la colección usando las interfaces implementadas 1. UDLAP 4,257 Tesis de grado y posgrado 2. UASLP 829 Tesis de grado y posgrado 3. UAEH 653 Tesis de grado y posgrado 4. ITESM 562 Objetos de aprendizaje 5. UDG 116 Revista electrónica 6. UAEMEX 43 Repositorio temático 7. UNAM 14,990 Repositorio RUIIEc
Red Mexicana de Repositorios Institucionales REMERI 11 8. UANL 2,420 Repositorio temático 9. UCSJ 3,001 Repositorio temático 10. UV: 12,103 Repositorio temático Total: 38,970 Totales por institución http://www.remeri.org.mx/exist/rest//db/remeri/consulta/lista_instituciones.xq Totales por tipo de documento http://www.remeri.org.mx/exist/rest//db/remeri/consulta/lista_tipos.xq Article-1 Artículo-22549 Artículo científico-116 Audio-800 Book-305 Book Chapter-1 Book chapter-42 Capitulo de libro-10 Conference Papel-1 Conference Paper-8 Course (group of subjects and / or modules)-2 Curso-77 Dataset-2 Documento de trabajo-7 Documentos de trabajo-4 Docunmento de trabajo-1 Elemento-277 Elemento de Conferencia o Workshop-9 Imagen-1
Red Mexicana de Repositorios Institucionales REMERI 12 Learning Object-1 Libro-180 Module (group of items)-4 Modulo-187 Monografía-8 Número de una revista-13 Other-1874 Others-6 Otro-48 Otros-3 Paper conference-1 Ponencia/Presentación en Jornada, Congreso-38 Preprint-2 Presentation-70 Recording, oral-3 Recurso de enseñanza-71 Recurso Técnico-4 Sección de Libro-55 Technical Report-16 Technology Report-1 Tesis-17 Tesis de Doctorado-368 Tesis de Licenciatura-8264 Tesis de Maestría-2670 Thesis-40 Topic (concept or item)-11 Trabajo Recepcional-318 Trabajos Recepcionales-1 Video-7 Workin Paper-3 Working Paper-283 Working paper-2
Red Mexicana de Repositorios Institucionales REMERI 13 Total de autores http://www.remeri.org.mx/exist/rest//db/remeri/consulta/lista_autor.xq 37,830 autores únicos (no se muestran por espacio pero la consulta está disponible en línea) Total de registros por año: 1970-9 1971-8 1972-63 1973-58 1974-85 1975-114 1976-151 1977-176 1978-168 1979-211 1980-179 1981-358 1982-481 1983-478 1984-493 1985-438 1986-427 1987-334 1988-350 1989-303 1990-361 1991-312 1992-390 1993-246 1994-336 1995-356 1996-456
Red Mexicana de Repositorios Institucionales REMERI 14 1997-562 1998-577 1999-529 2000-602 2001-729 2002-715 2003-1360 2004-1515 2005-1325 2006-1257 2007-1262 2008-1109 2009-1832 2010-3922 2011-3241 2012-1975 2013-73 otra-9044 1.5. Consultas de la colección Se realizaron las siguientes pruebas de consulta: Consultas por fecha: http://www.remeri.org.mx/exist/rest//db/remeri/consulta/consulta.xql?search=19 80&type=1 Consulta por autor http://www.remeri.org.mx/exist/rest//db/remeri/consulta/consulta.xql?search=a bascal,%20paulina&type=2
Red Mexicana de Repositorios Institucionales REMERI 15 Consultas por tipo de documento http://www.remeri.org.mx/exist/rest//db/remeri/consulta/consulta.xql?search=t esis%20de%20maestr%c3%ada&type=3 Consulta por institución: http://www.remeri.org.mx/exist/rest//db/remeri/consulta/consulta.xql?search=u ASLP&type=4
Red Mexicana de Repositorios Institucionales REMERI 16 Busqueda por términos http://www.remeri.org.mx/remeri/remeriii.jsp?search=sistemas%20operativo s Búsqueda por id http://www.remeri.org.mx/exist/rest//db/remeri/consulta/busca_id.xq?id=oai:tesi s.uaslp.mx:7937
Red Mexicana de Repositorios Institucionales REMERI 17 1.6. Visualización de metadatos Para la visualización de metadatos se creó un script que almacena en texto todos los metadatos de la colección: /db/remeri/cosechador o harvester_getrecord_remeri_texto.xq Esto genera un archivo de texto por cada metadata /db/output/remeri/ Se realizó el siguiente procedimiento (a detalle en el Manual Técnico de Operación) Ejecución del código (paso a paso) 1. Copiar el resultado de la cosecha (archivos txt) a una carpeta llamada files (si no existe crearla). mkdir /home/user_name/vorosom/files 2. Abrir una terminal y cambiarse al directorio del paquete stopwords: cd /home/user_name/vorosom/stopwords 3. Ejecutar la clase DirListing, que tiene dos argumentos de entrada, con el siguiente comando: java DirListing /home/user_name/vorosom/files /home/user_name/vorosom/tfidf/files_cleaned 4. Cambiarse al directorio tfidf cd /home/user_name/vorosom/tfidf 5. Ejecutar el script vector_creation_script con los parámetros adecuados para la colección. El ejemplo que estamos usando, es de la colección ReMeRI con 24,793 documentos../vector_creation_script vectores./files_cleaned 6. El resultado es la creación de dos archivos: vectores.tfxidf y vectores.tv 7. Cambiarse al directorio en donde esta ghsom cd /home/user_name/vorosom/ghsom 8. Ejecutar el comando ghsom dando como entrada el archivo.prop en donde se detallan las propiedades del ghsom../ghsom./properties/som_ghsom1.prop 9. El resultado es la creación de un directorio output con los archivos.html,.wgt y.unit 10. Cambiarse al directorio vertices_voronoi cd /home/user_name/vorosom/vértices_voronoi
Red Mexicana de Repositorios Institucionales REMERI 18 11. Ejecutar la clase DirListingFilter que toma como parámetro de entrada el directorio output de la carpeta ghsom java DirListingFilter /home/user_name/vorosom/ghsom/output 12. Ejecutar la clase ReMeRicsv que toma como dos parámetros de entrada: el primero la carpeta puntos generada en el paso anterior y el segundo el directorio output de la carpeta ghsom java ReMeRicsv puntos /home/user_name/vorosom/ghsom/output 13. El resultado es la creación de una carpeta llamada ReMeRi con los puntos, etiquetas y mapas asociados en un archivo ReMeRi.csv 14. Copiar el archivo resultante del paso anterior (ReMeRi_1_1_0_0.csv) a la carpeta web. Se agregó un enlace en portal del servidor Se realizaron pruebas de operación sobre las aplicaciones de visualización.
Red Mexicana de Repositorios Institucionales REMERI 19 Se registraron también los archivos de la herramienta SunGroups
Red Mexicana de Repositorios Institucionales REMERI 20
Red Mexicana de Repositorios Institucionales REMERI 21 Subsubsección: empresa negocios plan
Red Mexicana de Repositorios Institucionales REMERI 22 Trabajo en proceso Agregar filtros por institución y fecha Historial de navegación Enlace a los documentos completos Mejorar la categorización y etiquetado Etiquetado colaborativo
Red Mexicana de Repositorios Institucionales REMERI 23 Trabajo en proceso Motor de búsqueda Agregar niveles Optimizar código
Red Mexicana de Repositorios Institucionales REMERI 24 2. Pruebas de interoperabilidad 2.1. Presentación El protocolo OAI-PMH permite mostrar la información de una colección de manera estructurada usando el estándar Dublin Core (DC). REMERI tiene implementados dos servidores de metadatos, el primero muestra la integración de varios repositorios institucionales y temáticos. El segundo es la integración de repositorios institucionales que cumplen con los lineamientos de LA- Referencia y DRIVER 2.0. 2.2. Consultas y pruebas Estas son las pruebas realizadas al servidor y el resultado el total de identificadores y registros es igual al total de metadatos recolectados. Dirección de servidor OAI-PMH: http://www.remeri.org.mx/exist/rest//db/remeri/oai/oai_server.xq Identify http://www.remeri.org.mx/exist/rest//db/remeri/oai/oai_server.xq?verb=i dentify
Red Mexicana de Repositorios Institucionales REMERI 25 ListIdentifiers http://www.remeri.org.mx/exist/rest//db/remeri/oai/oai_server.xq?verb=l istidentifiers&metadataprefix=oai_dc ListRecords http://www.remeri.org.mx/exist/rest//db/remeri/oai/oai_server.xq?verb=l istrecords&metadataprefix=oai_dc 2.3. Consulta por parte de LA-Referencia
Red Mexicana de Repositorios Institucionales REMERI 26 Recolección selectiva de libros, artículos, tesis de maestría y doctorado en 6 repositorios institucionales al 13 de Enero 3,696 registros De las siguientes fuentes UASLP 493 tesis de posgrado UDLAP 512 tesis de posgrado UAEH 75 tesis de posgrado UV 297 tesis de posgrado UANL 2,123 tesis de posgrado y artículos UNAM 156 libros Servidor DRIVER-LA Referencia se encuentra funcionando y con un total de 3,696 registros que son el resultado de la integración selectiva.: Dirección de servidor OAI-PMH: http://www.remeri.org.mx/exist/rest//db/remeri/driver/driver_server.xq Identify http://www.remeri.org.mx/exist/rest//db/remeri/driver/driver_server.xq?v erb=identify ListIdentifiers http://www.remeri.org.mx/exist/rest//db/remeri/driver/driver_server.xq?v erb=listidentifiers&metadataprefix=oai_dc
Red Mexicana de Repositorios Institucionales REMERI 27 ListRecords http://www.remeri.org.mx/exist/rest//db/remeri/driver/driver_server.xq?verb=lis trecords&metadataprefix=oai_dc De acuerdo a la comunicación con el proyecto se tienen reportadas las siguientes incidencias:
Red Mexicana de Repositorios Institucionales REMERI 28 Septiembre-2012 Primera recolección por parte de LA Referencia de registros del servidor OAI-PMH Octubre-2012 Reportan problemas con el servidor de metadatos que impide recolectar más de 3,000 registros. Octubre-2012 Solicitan complementar metadatos (subject) en el servidor OAI-PMH Diciembre 2012 Reporte de problemas con algunos URL, registros sin identificador, sin fecha o sin autor. Diciembre 2012 Incorporación exitosa de registros de REMERI en prototipo para LA-Referencia 2.4. Validación de los servidores En particular se está trabajando con LA-Referencia, hay que adecuar la incorporación de colecciones y el servidor a las últimas especificaciones que se definan. Por el momento se cumple con los requerimientos, los servidores han resuelto validaciones semánticas básicas y validaciones de servicios por parte de openarchives.org y DRIVER. Validación por parte de DRIVER Repository Validation and Registration Service (http://146.48.122.124:8380/dnet-validatordriver/welcome) Servidor OAI o OAI Content Validation finished 87 antrazo@gmail.com 2012-12-17 18:21:46.0 47 secs http://www.remeri.org.mx/exist/rest//db/remeri/oai/oai_se rver.xq o OAI Usage Validation finished 80 antrazo@gmail.com 2012-12-17 18:21:46.0 1 mins 31 secs
Red Mexicana de Repositorios Institucionales REMERI 29 http://www.remeri.org.mx/exist/rest//db/remeri/oai/oai_se rver.xq Servidor DRIVER/LA-Referencia o OAI Content Validation finished 92 antrazo@gmail.com 2012-12-17 18:23:00.0 29 secs http://www.remeri.org.mx/exist/rest//db/remeri/driver/driv er_server.xq o OAI Usage Validation finished 80 antrazo@gmail.com 2012-12-17 18:23:00.0 1 mins 15 secs http://www.remeri.org.mx/exist/rest//db/remeri/driver/driv er_server.xq
Red Mexicana de Repositorios Institucionales REMERI 30 3. Pruebas de accesibilidad y estándares web 3.1. Presentación Esta sección muestra las pruebas de accesibilidad técnicas realizadas al proyecto. La configuración y cambios al portal desarrollado y los resultados de las estadísticas de uso del sitio desde el momento de su liberación. Una vez hecho público el servidor se procedió a utilizar la plataforma de análisis de Google (http://www.google.com/analytics) para monitorear las visitas al sitio, las consultas realizadas y las plataformas utilizadas. También se registró el sitio con las herramientas de validación del Consorcio W3 (http://validator.w3.org) para verificar la conformidad con los estándares Web XHTML y CSS. 3.2. Registro y validación del servidor El dominio de remeri.org.mx se encuentra registrado en Google Analytics con el ID UA-36563906-1. El ID está asociado a un código en JavaScript que debe ser instalado en todas las páginas del servidor para ser monitoreadas. Desde la página principal hasta las páginas de consultas se actualizaron con este código. Con los siguientes resultados desde 25 de noviembre de 2012 al 25 de enero de 2013. Más de 1,160 visitas de 607 usuarios con un promedio de 5 minutos por visita.
Red Mexicana de Repositorios Institucionales REMERI 31 El 86% de las visitas provienen de México, seguido de un 2% de España y Peru. En la República Mexicana el mayor número de visitas proviene del Estado de Puebla con 24%, seguido del Distrito Federal con un 14%, Guanajuato 13%, San Luis Potosí con 6%, Nuevo León 6% e Hidalgo 5%. La mayoría de las visitas ingresaron directamente a la página 45%, 39% fueron referidas desde la página anterior del proyecto en ict.udlap.mx y solamente 14%por ciento por medio de búsqueda (google en su mayoría). La página más visitada es la principal seguida de la página de presentación y la de capacitación. El navegador más utilizado es Firefox, seguido de Chrome, Internet Explorer y Safari. Las consultas por dispositivos móviles representan menos del 1% al momento.
Red Mexicana de Repositorios Institucionales REMERI 32
Red Mexicana de Repositorios Institucionales REMERI 33 3.1. Actualización de archivos del servidor El protocolo OAI-PMH permite mostrar la información de una colección de 3.1. Presentación El protocolo OAI-PMH permite mostrar la información de una colección de