Paquete de trabajo 3. Pruebas y resultados del proyecto REMERI. Reporte Técnico. Enero 2013

Transcripción

1 Paquete de trabajo 3 Pruebas y resultados del proyecto REMERI Reporte Técnico Enero 2013

2 Red Mexicana de Repositorios Institucionales REMERI 2 HOJA EN BLANCO

3 Red Mexicana de Repositorios Institucionales REMERI 3 Paquete de trabajo 3 Reporte Técnico de Pruebas y Resultados del Proyecto REMERI Documento desarrollado por: José Alfredo Sánchez Huitrón, Dr Antonio Felipe Razo Rodriguez, MDI, MC Yazmín Magallanes Velázquez, MC Revisores del documento: Rosalina Vázquez Tapia, MTE Aprobación requerida de: Nombre del proyecto: Red Mexicana de Repositorios Institucionales REMERI Responsable(s) del proyecto: Rosalina Vázquez Tapia, MTE Universidad Autónoma de San Luis Potosí Objetivo del documento: Reporte de las pruebas y operaciones realizadas sobre la versión instalada en el servidor oficial y reporte de resultados. Fecha de Elaboración Fecha de Actualización Diciembre 10, 2012 Enero 29, 2013 Versión del Documento 0.8.5

4 Red Mexicana de Repositorios Institucionales REMERI 4 Reporte Técnico Red Mexicana de Repositorios Institucionales REMERI Pruebas y resultados del Proyecto REMERI 1. Pruebas técnicas 1.1. Presentación 1.2. Recolección de metadatos por institución 1.3. Integración de metadatos por institución 1.4. Recuperación de la colección 1.5. Consultas de la colección 1.6. Visualización de la colección 1.7. Conclusiones 2. Pruebas de interoperabilidad 2.1. Presentación 2.2. Consultas y pruebas 2.3. Consulta por parte de LA-Referencia 2.4. Validación de los servidores 2.5. Conclusiones 3. Pruebas de accesibilidad y estándares web 3.1. Presentación 3.2. Registro y validación del servidor

5 Red Mexicana de Repositorios Institucionales REMERI 5 1. Pruebas técnicas 1.1. Presentación La Red Mexicana de Repositorios Institucionales (REMERI), tiene por objeto crear una red interconectada de repositorios digitales de instituciones de educación superior (IES) en México, con la finalidad de integrar, difundir, preservar y dar visibilidad a su producción científica, académica y documental, así como también, incorporarse a redes o directorios de repositorios internacionales para fomentar la colaboración y apoyar el acceso y la divulgación de contenidos de acceso abierto Recolección de metadatos por colección Para incorporar colecciones es necesario conocer cada uno de los servidores de metadatos de cada institución: Servidores de Metadatos y su validación UDLAP o Tesis Digitales o Servidor OAI-PMH o Validación UAEH o Repositorio Institucional o Servidor OAI-PMH o Validación

6 Red Mexicana de Repositorios Institucionales REMERI 6 UANL o Repositorio Institucional o Servidor OAI-PMH o Validación UASLP o Repositorio Institucional o Servidor OAI-PMH archivo XML tesis_uaslp.xml ITESM o Repositorio Institucional o Servidor OAI-PMH o Validación UV o Repositorio Institucional o Servidor OAI-PMH o Validación UNAM o Repositorio Institucional o Servidor OAI-PMH o Validación

7 Red Mexicana de Repositorios Institucionales REMERI o Repositorio de Revistas o Servidor OAI-PMH o Validación UCSJ o Repositorio Institucional o Servidor OAI-PMH o Validación El primer paso es validar los servidores con el validador de metadatos utilizando el validador de servidores ( ). Todos los repositorios indicados fueron validados y se procedió a la recolección de metadatos. Se ejecutó el script correspondiente por cada colección: harvester_getrecord_uaeh.xq harvester_getrecord_udlap.xq harvester_getrecord_uaemex.xq harvester_getrecord_itesm.xq harvester_getrecord_unam_iiec.xq harvester_getrecord_unam_ojs.xq harvester_getrecord_ucsj.xq harvester_getrecord_uanl.xq harvester_getrecord_uv.xq harvester_getrecord_udg.xq Los metadatos recolectados se almacenaron en la base de datos en la colección output : /db/output o uaeh

8 Red Mexicana de Repositorios Institucionales REMERI 8 o udlap o uaemex o itesm o unam iiec ojs o ucsj o uanl o uv o udg 1.3. Integración de metadatos por colección Para la incorporación de repositorios anteriores se ejecuta cualquiera de los siguientes scripts: aa_remeri_uaeh.xq aa_remeri_udlap.xq aa_remeri_uaslp.xq aa_remeri_uaemex.xq aa_remeri_itesm.xq aa_remeri_unam.xq aa_remeri_ucsj.xq aa_remeri_uanl.xq aa_remeri_uv.xq aa_remeri_udg.xq

9 Red Mexicana de Repositorios Institucionales REMERI 9 Como resultado se integraron los siguientes repositorios para un total de 38,970 registros: ITESM-558 UAEH-653 UAEMEX-43 UANL-2,420 UASLP-829 UCSJ-3,001 UDG-116 UDLAP-4,257 UNAM-14,990 UV-12103

10 Red Mexicana de Repositorios Institucionales REMERI Recuperación de la colección Estos son los resultados la recuperación de información de la colección usando las interfaces implementadas 1. UDLAP 4,257 Tesis de grado y posgrado 2. UASLP 829 Tesis de grado y posgrado 3. UAEH 653 Tesis de grado y posgrado 4. ITESM 562 Objetos de aprendizaje 5. UDG 116 Revista electrónica 6. UAEMEX 43 Repositorio temático 7. UNAM 14,990 Repositorio RUIIEc

11 Red Mexicana de Repositorios Institucionales REMERI UANL 2,420 Repositorio temático 9. UCSJ 3,001 Repositorio temático 10. UV: 12,103 Repositorio temático Total: 38,970 Totales por institución Totales por tipo de documento Article-1 Artículo Artículo científico-116 Audio-800 Book-305 Book Chapter-1 Book chapter-42 Capitulo de libro-10 Conference Papel-1 Conference Paper-8 Course (group of subjects and / or modules)-2 Curso-77 Dataset-2 Documento de trabajo-7 Documentos de trabajo-4 Docunmento de trabajo-1 Elemento-277 Elemento de Conferencia o Workshop-9 Imagen-1

12 Red Mexicana de Repositorios Institucionales REMERI 12 Learning Object-1 Libro-180 Module (group of items)-4 Modulo-187 Monografía-8 Número de una revista-13 Other-1874 Others-6 Otro-48 Otros-3 Paper conference-1 Ponencia/Presentación en Jornada, Congreso-38 Preprint-2 Presentation-70 Recording, oral-3 Recurso de enseñanza-71 Recurso Técnico-4 Sección de Libro-55 Technical Report-16 Technology Report-1 Tesis-17 Tesis de Doctorado-368 Tesis de Licenciatura-8264 Tesis de Maestría-2670 Thesis-40 Topic (concept or item)-11 Trabajo Recepcional-318 Trabajos Recepcionales-1 Video-7 Workin Paper-3 Working Paper-283 Working paper-2

13 Red Mexicana de Repositorios Institucionales REMERI 13 Total de autores 37,830 autores únicos (no se muestran por espacio pero la consulta está disponible en línea) Total de registros por año:

14 Red Mexicana de Repositorios Institucionales REMERI otra Consultas de la colección Se realizaron las siguientes pruebas de consulta: Consultas por fecha: 80&type=1 Consulta por autor bascal,%20paulina&type=2

15 Red Mexicana de Repositorios Institucionales REMERI 15 Consultas por tipo de documento esis%20de%20maestr%c3%ada&type=3 Consulta por institución: ASLP&type=4

16 Red Mexicana de Repositorios Institucionales REMERI 16 Busqueda por términos s Búsqueda por id s.uaslp.mx:7937

17 Red Mexicana de Repositorios Institucionales REMERI Visualización de metadatos Para la visualización de metadatos se creó un script que almacena en texto todos los metadatos de la colección: /db/remeri/cosechador o harvester_getrecord_remeri_texto.xq Esto genera un archivo de texto por cada metadata /db/output/remeri/ Se realizó el siguiente procedimiento (a detalle en el Manual Técnico de Operación) Ejecución del código (paso a paso) 1. Copiar el resultado de la cosecha (archivos txt) a una carpeta llamada files (si no existe crearla). mkdir /home/user_name/vorosom/files 2. Abrir una terminal y cambiarse al directorio del paquete stopwords: cd /home/user_name/vorosom/stopwords 3. Ejecutar la clase DirListing, que tiene dos argumentos de entrada, con el siguiente comando: java DirListing /home/user_name/vorosom/files /home/user_name/vorosom/tfidf/files_cleaned 4. Cambiarse al directorio tfidf cd /home/user_name/vorosom/tfidf 5. Ejecutar el script vector_creation_script con los parámetros adecuados para la colección. El ejemplo que estamos usando, es de la colección ReMeRI con 24,793 documentos../vector_creation_script vectores./files_cleaned 6. El resultado es la creación de dos archivos: vectores.tfxidf y vectores.tv 7. Cambiarse al directorio en donde esta ghsom cd /home/user_name/vorosom/ghsom 8. Ejecutar el comando ghsom dando como entrada el archivo.prop en donde se detallan las propiedades del ghsom../ghsom./properties/som_ghsom1.prop 9. El resultado es la creación de un directorio output con los archivos.html,.wgt y.unit 10. Cambiarse al directorio vertices_voronoi cd /home/user_name/vorosom/vértices_voronoi

18 Red Mexicana de Repositorios Institucionales REMERI Ejecutar la clase DirListingFilter que toma como parámetro de entrada el directorio output de la carpeta ghsom java DirListingFilter /home/user_name/vorosom/ghsom/output 12. Ejecutar la clase ReMeRicsv que toma como dos parámetros de entrada: el primero la carpeta puntos generada en el paso anterior y el segundo el directorio output de la carpeta ghsom java ReMeRicsv puntos /home/user_name/vorosom/ghsom/output 13. El resultado es la creación de una carpeta llamada ReMeRi con los puntos, etiquetas y mapas asociados en un archivo ReMeRi.csv 14. Copiar el archivo resultante del paso anterior (ReMeRi_1_1_0_0.csv) a la carpeta web. Se agregó un enlace en portal del servidor Se realizaron pruebas de operación sobre las aplicaciones de visualización.

19 Red Mexicana de Repositorios Institucionales REMERI 19 Se registraron también los archivos de la herramienta SunGroups

20 Red Mexicana de Repositorios Institucionales REMERI 20

21 Red Mexicana de Repositorios Institucionales REMERI 21 Subsubsección: empresa negocios plan

22 Red Mexicana de Repositorios Institucionales REMERI 22 Trabajo en proceso Agregar filtros por institución y fecha Historial de navegación Enlace a los documentos completos Mejorar la categorización y etiquetado Etiquetado colaborativo

23 Red Mexicana de Repositorios Institucionales REMERI 23 Trabajo en proceso Motor de búsqueda Agregar niveles Optimizar código

24 Red Mexicana de Repositorios Institucionales REMERI Pruebas de interoperabilidad 2.1. Presentación El protocolo OAI-PMH permite mostrar la información de una colección de manera estructurada usando el estándar Dublin Core (DC). REMERI tiene implementados dos servidores de metadatos, el primero muestra la integración de varios repositorios institucionales y temáticos. El segundo es la integración de repositorios institucionales que cumplen con los lineamientos de LA- Referencia y DRIVER Consultas y pruebas Estas son las pruebas realizadas al servidor y el resultado el total de identificadores y registros es igual al total de metadatos recolectados. Dirección de servidor OAI-PMH: Identify dentify

25 Red Mexicana de Repositorios Institucionales REMERI 25 ListIdentifiers istidentifiers&metadataprefix=oai_dc ListRecords istrecords&metadataprefix=oai_dc 2.3. Consulta por parte de LA-Referencia

26 Red Mexicana de Repositorios Institucionales REMERI 26 Recolección selectiva de libros, artículos, tesis de maestría y doctorado en 6 repositorios institucionales al 13 de Enero 3,696 registros De las siguientes fuentes UASLP 493 tesis de posgrado UDLAP 512 tesis de posgrado UAEH 75 tesis de posgrado UV 297 tesis de posgrado UANL 2,123 tesis de posgrado y artículos UNAM 156 libros Servidor DRIVER-LA Referencia se encuentra funcionando y con un total de 3,696 registros que son el resultado de la integración selectiva.: Dirección de servidor OAI-PMH: Identify erb=identify ListIdentifiers erb=listidentifiers&metadataprefix=oai_dc

27 Red Mexicana de Repositorios Institucionales REMERI 27 ListRecords trecords&metadataprefix=oai_dc De acuerdo a la comunicación con el proyecto se tienen reportadas las siguientes incidencias:

28 Red Mexicana de Repositorios Institucionales REMERI 28 Septiembre-2012 Primera recolección por parte de LA Referencia de registros del servidor OAI-PMH Octubre-2012 Reportan problemas con el servidor de metadatos que impide recolectar más de 3,000 registros. Octubre-2012 Solicitan complementar metadatos (subject) en el servidor OAI-PMH Diciembre 2012 Reporte de problemas con algunos URL, registros sin identificador, sin fecha o sin autor. Diciembre 2012 Incorporación exitosa de registros de REMERI en prototipo para LA-Referencia 2.4. Validación de los servidores En particular se está trabajando con LA-Referencia, hay que adecuar la incorporación de colecciones y el servidor a las últimas especificaciones que se definan. Por el momento se cumple con los requerimientos, los servidores han resuelto validaciones semánticas básicas y validaciones de servicios por parte de openarchives.org y DRIVER. Validación por parte de DRIVER Repository Validation and Registration Service ( Servidor OAI o OAI Content Validation finished 87 antrazo@gmail.com :21: secs rver.xq o OAI Usage Validation finished 80 antrazo@gmail.com :21: mins 31 secs

29 Red Mexicana de Repositorios Institucionales REMERI 29 rver.xq Servidor DRIVER/LA-Referencia o OAI Content Validation finished 92 antrazo@gmail.com :23: secs er_server.xq o OAI Usage Validation finished 80 antrazo@gmail.com :23: mins 15 secs er_server.xq

30 Red Mexicana de Repositorios Institucionales REMERI Pruebas de accesibilidad y estándares web 3.1. Presentación Esta sección muestra las pruebas de accesibilidad técnicas realizadas al proyecto. La configuración y cambios al portal desarrollado y los resultados de las estadísticas de uso del sitio desde el momento de su liberación. Una vez hecho público el servidor se procedió a utilizar la plataforma de análisis de Google ( para monitorear las visitas al sitio, las consultas realizadas y las plataformas utilizadas. También se registró el sitio con las herramientas de validación del Consorcio W3 ( para verificar la conformidad con los estándares Web XHTML y CSS Registro y validación del servidor El dominio de remeri.org.mx se encuentra registrado en Google Analytics con el ID UA El ID está asociado a un código en JavaScript que debe ser instalado en todas las páginas del servidor para ser monitoreadas. Desde la página principal hasta las páginas de consultas se actualizaron con este código. Con los siguientes resultados desde 25 de noviembre de 2012 al 25 de enero de Más de 1,160 visitas de 607 usuarios con un promedio de 5 minutos por visita.

31 Red Mexicana de Repositorios Institucionales REMERI 31 El 86% de las visitas provienen de México, seguido de un 2% de España y Peru. En la República Mexicana el mayor número de visitas proviene del Estado de Puebla con 24%, seguido del Distrito Federal con un 14%, Guanajuato 13%, San Luis Potosí con 6%, Nuevo León 6% e Hidalgo 5%. La mayoría de las visitas ingresaron directamente a la página 45%, 39% fueron referidas desde la página anterior del proyecto en ict.udlap.mx y solamente 14%por ciento por medio de búsqueda (google en su mayoría). La página más visitada es la principal seguida de la página de presentación y la de capacitación. El navegador más utilizado es Firefox, seguido de Chrome, Internet Explorer y Safari. Las consultas por dispositivos móviles representan menos del 1% al momento.

32 Red Mexicana de Repositorios Institucionales REMERI 32

33 Red Mexicana de Repositorios Institucionales REMERI Actualización de archivos del servidor El protocolo OAI-PMH permite mostrar la información de una colección de 3.1. Presentación El protocolo OAI-PMH permite mostrar la información de una colección de