Evaluación por Expertos de la Usabilidad de un Sistema Gestor del Aprendizaje

Transcripción

1 VAEP-RITA Vol. 1, Núm. 4, Dic Evaluación por Expertos de la Usabilidad de un Sistema Gestor del Aprendizaje Ruth Medina Flores, Rafael Morales Gamboa Title Expert usability evaluation for learning management systems. Abstract We present a proposal for expert evaluation of usability of learning management systems that employs an instrument that is designed on the basis of the general criteria for heuristic evaluation proposed by Nielsen[3], as well as on international standards, guides and recommendations for software quality (ISO-9241e ISO 9126). We present the results from applying such an instrument to the evaluation of the usability of Metacampus, a learning management system developed by, and in use at the Virtual University System at the University of Guadalajara. Index Terms Learning management system, usability, expert evaluation. A I. INTRODUCCIÓN lo largo de nuestra experiencia de siete años como docentes en la modalidad en línea en el Sistema de Universidad Virtual de la Universidad de Guadalajara (UDGVirtual) hemos tenido la oportunidad de conocer y utilizar un sistema gestor del aprendizaje que en sus inicios fue presentado como AVA (Ambiente Virtual de Aprendizaje) y posteriormente se rediseñó y fue presentado como Metacampus, en el cual se imparten aún hoy en día la gran mayoría de los cursos de los programas de bachillerato y licenciatura de UDGVirtual. En su momento, la forma diferente de navegar en Metacampus, de operar en ella y de comunicarse a través de ella produjo una readaptación tanto de los estudiantes como de los docentes para poder subsanar las diferencias que se percibían con respecto a AVA. Como usuario de ambas versiones, el primer autor había construido la opinión de que la primera versión presentaba mayor capacidad de interacción, de accesibilidad y de acercamiento psicosocialvirtual que la segunda; además, percibía el diseño gráfico de esta última como mucho más sobrio y menos motivante. Recientemente, UDGVirtual ha introducido otros sistemas gestores del aprendizaje como parte de la plataforma tecnológica para sus programas de estudio (concretamente, Moodle[1]y Sakai CLE[2]) y hemos podido observar diversas reacciones ante los cambios, entre las que se encuentran reacciones adversas que se han justificado en Ruth Medina_Flores labora en el Sistema de Universidad Virtual de la Universidad de Guadalajara (tel:+52 (33) ; coe: ruth.medflores@gmail.com). Rafael Morales_Gamboa labora en el Instituto de Gestión del Conocimiento y del Aprendizaje en Ambientes Virtuales del Sistema de Universidad Virtual de la Universidad de Guadalajara (coe: rmorales@suv.udg.mx). términos de dificultades en el uso de las nuevas plataformas ocasionadas por sus diferencias con Metacampus. Las apreciaciones que hemos ido colectando de distintos usuarios que han vivido estos cambios, el interés manifestado por estudiar cómo valorar y estimar la facilidad de uso de un sistema gestor del aprendizaje, la conciencia de la oferta creciente de este tipo de sistemas y la falta de un instrumento diseñado específicamente para la evaluación de su usabilidad dieron lugar a la investigación del problema de entender cómo se puede evaluar la usabilidad de un sistema gestor del aprendizaje, cuáles son las recomendaciones e indicadores sobre usabilidad de sistemas de software que son críticos para evaluar este tipo de sistemas y cuál es la diferencia, si alguna, entre evaluar un sistema de software en general y un sistema gestor del aprendizaje en particular. Como parte de esta investigación se diseñó un instrumento para la evaluación por expertos de la usabilidad de sistemas gestores del aprendizaje, el cual considera aspectos generales de las interfaces de usuario del software en general, de las aplicaciones web en particular y específicamente de los sistemas gestores del aprendizaje. Posteriormente, se utilizó dicho instrumento para evaluar la usabilidad de Metacampus, como ejemplo de un sistema hecho en casa cuyo desarrollo inició a la par de proyectos como Moodle y Sakai CLE, que es todavía el principal sistema gestor del aprendizaje utilizado por UDGVirtual pero que está en proceso de ser reemplazado por estos últimos. En este artículo se parte de la definición de los conceptos básicos de usabilidad de sistemas, de aplicaciones web y de sistemas gestores del aprendizaje para explicar las dimensiones del diseño del instrumento de evaluación de usabilidad para sistemas gestores del aprendizaje; se describe el diseño específico del instrumento, su aplicación a Metacampus y los resultados obtenidos, mismos se analizan, interpretan y discuten. Finalmente, se presentan las conclusiones de la investigación y se bosquejan líneas de trabajo a futuro. II. USABILIDAD DE SISTEMAS GESTORES DEL APRENDIZAJE La usabilidad es un concepto que integra varios aspectos de los sistemas digitales y que nos permite caracterizar la calidad de su diseño desde la perspectiva de la experiencia del usuario. Se utilizó por primera vez en el campo de la Ingeniería de Software para apoyar el diseño de los sistemas con el fin de facilitar la interacción entre éstos y sus usuarios. La metodología de diseño de usabilidad fue construida posteriormente por varios teóricos de la ingeniería de software, entre los que destaca Jakob Nielsen[3], para mejorar de manera sistemática la

2 MEDINA Y MORALES: EVALUACIÓN POR EXPERTOS DE LA USABILIDAD DE UN SISTEMA GESTOR interacción humano-computadora de las aplicaciones de software, haciéndolas más fáciles de usar, confortables y efectivas para sus usuarios. Tiempo después se desarrolló también una metodología de evaluación de la calidad y el desempeño de los sistemas [4]con el fin de garantizar su funcionamiento general, midiéndolo a través de la experiencia del usuario y de qué tan cómodo y satisfecho se siente éste al operar el sistema. Un sistema gestor del aprendizaje también llamado LMS, por las siglas del término en inglés (Learning Management System), o plataforma (virtual) de aprendizaje es un sistema digital cuya función es facilitar los procesos educativos de administración y control de cursos, así como la comunicación educativa y la interacción entre los participantes, mediante la aplicación y uso de tecnologías de información y comunicación (TIC), principalmente de aquéllas que son propias de Internet[5]- [8]. Entre las características de los sistemas gestores del aprendizaje, en su calidad de software, destacan las siguientes[9] (citado en [6]): Multiplataforma: Utilizan estándares para que puedan ser ejecutados en una variedad de computadoras y sistemas operativos. Uso vía navegador web: Los usuarios acceden a ellos a través de navegadores/exploradores web. Arquitectura cliente/servidor: No se requiere la instalación del software en el ordenador del usuario, sino que éste se conecta al servidor que lo contiene. Multimedia: Permiten trabajar con documentos en diferentes formatos de texto, imágenes, audio y video. Acceso restringido: Los usuarios deben identificarse y requieren de autorización para ingresar al sistema de aprendizaje en línea. Interfaz gráfica: Utilizan una interfaz gráfica basada en tecnologías asociadas a la web. Gestión de información: Permiten almacenar, recuperar y modificar documentos con relativa facilidad. Interacción y comunicación: Facilitan la interacción y la comunicación entre sus usuarios a través de diferentes espacios y herramientas. En su calidad de entorno para la ejecución de procesos educativos y desde una perspectiva comunicacional, un sistema gestor del aprendizaje se caracteriza por la provisión de cuatro tipos distintos de espacios [10]: De información: Para la provisión y consulta de contenidos educativos (ej. guías de aprendizaje, diapositivas) y materiales de referencia (ej. diccionarios en línea, artículos). De exhibición: Para la presentación de los productos de los procesos de aprendizaje (ej. documentos, videos). De interacción: Para la comunicación interactiva entre los actores educativos y el intercambio de información (ej. chat, foro). De producción: Para la construcción de productos (ej. documentos, diagramas) o ejecución de procesos que generan evidencias de aprendizaje (ej. ejercicios, exámenes). No obstante su especialización, un sistema gestor del aprendizaje tiene, como cualquier tipo de sistema digital, la finalidad de brindar a sus usuarios eficacia, eficiencia y satisfacción en el desempeño de sus tareas mediante el uso del mismo. Por lo tanto, para el estudio o la evaluación de usabilidad de un sistema gestor del aprendizaje se deben considerar tanto sus características generales, como sistema digital, como los objetivos propios de su diseño como gestor del aprendizaje y las necesidades específicas de sus usuarios, actores del proceso educativo. Con base en lo anterior y ante nuestro desconocimiento de trabajos que definieran criterios específicamente para la evaluación de la usabilidad de sistemas gestores del aprendizaje, se procedió a la definición de los mismos y el ulterior desarrollo de un instrumento de evaluación a lo largo de dos vertientes. La primera vertiente, la más genérica y básica, fue la de identificar los atributos esenciales de usabilidad de sistemas digitales y se basó, principalmente en la evaluación heurística definida por Nielsen[4], debido a que define de manera pragmática y concreta cuáles son las condiciones óptimas de operación y funcionamiento de un sistema digital. Se tomaron en cuenta, además, los estándares internacionales ISO 9241 e ISO 9126[11], [12], el primero de ellos a través de incorporar tres criterios básicos: efectividad, eficiencia y satisfacción; el segundo mediante la incorporación de tres condiciones: aprendible, operable y comprensible. La segunda vertiente atendió específicamente a las recomendaciones más importantes para el diseño de sistemas gestores del aprendizaje[6], [8], [13], [14], mismas que establecen que sus objetivos van más allá de la administración y control de los cursos y hacen énfasis en el soporte tecnológico necesario para facilitar la integración de los participantes en una comunidad de aprendizaje donde puedan establecer redes, intercambien conocimiento y potencien su aprendizaje a través de la comunicación, la colaboración y la interacción. Se tomaron en consideración las propuestas de cuestionarios presentados por Zaharías[15] y Zapata [16] así como las características de diseño de sistemas gestores del aprendizaje definidas por De Benito[9], Cabero[14], Salinas [8] y Salinas Olivo [6]. La construcción de una colección de atributos cuyos valores permiten estimar la usabilidad de un sistema gestor del aprendizaje y que, consecuentemente, permiten caracterizar la calidad de su diseño desde la perspectiva de la experiencia del usuario, comenzó con el establecimiento de seis criterios generales, en forma de preguntas: 1) El diseño general del sistema de aprendizaje en línea favorece su usabilidad? 2) La navegación del sistema de aprendizaje en línea favorece su usabilidad? 3) El sistema de aprendizaje en línea es confiable? 4) El lenguaje del sistema de aprendizaje en línea es claro, preciso y sencillo? 5) Las herramientas de colaboración del sistema de aprendizaje en línea cumplen con las guías y recomendaciones de usabilidad, en cuanto a la facilidad de comunicación y uso de las mismas? 6) La herramienta buscador del sistema de aprendizaje en línea ayuda al usuario a encontrar participaciones,

3 186 VAEP-RITA Vol. 1, Núm. 4, Dic autores, o cualquier información integrada en la plataforma? El desglose de estos criterios en indicadores nos permitió identificar una colección de ocho atributos: buscabilidad, comunicabilidad, confiabilidad, configurabilidad, diseño, entendibilidad, facilidad y navegabilidad. La relación entre criterios, atributos, indicadores y preguntas en el instrumento de evaluación (anexo) se presenta en la Tabla I. III. METACAMPUS La plataforma educativa AVA, (más tarde llamada Metacampus) es un sistema de gestión del aprendizaje en línea propio de la Universidad de Guadalajara creado en septiembre del 2001 por Jesús Antonio Zatarain de Losada [17], quien se dio a la tarea de emprender este proyecto con la finalidad principal de satisfacer las necesidades tecnológicas de la entonces Coordinación General del Sistema para la Innovación del Aprendizaje (INNOVA), actualmente Sistema de Universidad Virtual (SUV) de la Universidad de Guadalajara. Más tarde, en mayo del 2006, se presentó Metacampus como una combinación de diversas plataformas tecnológicas que incluyó a AVA, diseñado por un grupo de ingenieros a cargo de Rubén Yáñez Reyna. Metacampus fue diseñado con base en el modelo educativo del Sistema Universidad Virtual (SUV) de la Universidad de Guadalajara (UDG)[18]; esto es, incorpora un diseño instruccional que determina en buena medida la manera en que se organizan las actividades de los estudiantes (en programas educativos que se descomponen en cursos, que a su vez se descomponen en unidades, conformadas por actividades preliminares, intermedias e integradoras, y cierran con la producción de un producto integrador). Metacampus cuenta con las herramientas pedagógicas básicas para la simulación de un aula virtual: agenda, buzón de tareas, páginas personales de los participantes, documentos y enlaces, foros, chat, lista de participantes, grupos de trabajo y administración del portal; esto es, cuenta con las herramientas esenciales de un sistema gestor del aprendizaje. Sin embargo, Metacampus carece de herramientas comunes en muchas plataformas educativas actuales, como son el correo electrónico interno, anuncios y exámenes/cuestionarios, blogs, wikis, redes sociales y encuestas en línea, entre otras. La interfaz gráfica de Metacampus, mostrada en la Figura 1, redondea la imagen de un sistema gestor del aprendizaje relativamente simple, particularmente adecuado para atender a una población adulta con poca experiencia en el uso de tecnologías de información y comunicación. Históricamente, Metacampus tuvo un rol central en el desarrollo de la educación en línea en nuestra universidad, como instrumento para controlar el diseño e impartición de los cursos por expertos disciplinares, pedagogos y docentes con poca experiencia en esta modalidad. Asimismo, forma parte de la primera ola de sistemas gestores del aprendizaje hechos en casa que han sido substituidos masivamente por plataformas comerciales y de software libre [19]. Consecuentemente, consideramos oportuno hacer un análisis TABLA I CRITERIOS, ATRIBUTOS E INDICADORES PARA ESTIMAR LA USABILIDAD DE UN SISTEMA GESTOR DEL APRENDIZAJE Criterios y atributos Indicadores y preguntas El diseño general del sistema de aprendizaje en línea favorece su usabilidad? Diseño La navegación del sistema de aprendizaje en línea favorece su usabilidad? Navegabilidad El sistema de aprendizaje en línea es confiable? Confiabilidad El lenguaje del sistema de aprendizaje en línea es claro, preciso y sencillo? Entendibilidad Facilidad Configurabilidad Las herramientas de colaboración del sistema de aprendizaje en línea cumplen con las guías y recomendaciones de usabilidad, en cuanto a la facilidad de comunicación y uso de las mismas? Comunicabilidad La herramienta buscador del sistema de aprendizaje en línea ayuda al usuario a encontrar participaciones, autores, o cualquier información integrada en la plataforma? Buscabilidad Operatividad Facilidad de conexión Facilidad de hipertextos Tipo de letra Tamaño de letra Color de fondo Organización y acomodo de interfaz Diseño visual de la interfaz Consistencia visual Integración de archivos multimedia. Interacción y comunicación Preguntas: 1-11 Conocimiento de la navegación del sistema Facilidad de navegación Entrar. Salir. Atributos ALT en menús y botones Preguntas: Velocidad de descarga de materiales Velocidad de trabajo de la plataforma Calidad del funcionamiento Retroalimentación al usuario Preguntas: Entendibilidad del lenguaje, vocabulario y terminología en los espacios de Portafolio, Recursos, Guía de estudio, Tablón de anuncios, Dudas, Correo electrónico, Lista de participantes, Foros, Evaluación, Comunicación (Chat). Preguntas: Facilidad de uso de las herramientas de Portafolio, Recursos, Guía de estudio, Tablón de anuncios, Dudas, Correo electrónico, Lista de participantes, Foros, Evaluación, Comunicación (Chat). Preguntas: Facilidad de configuración de los espacios de Portafolio, Recursos, Guía de estudio, Tablón de anuncios, Dudas, Correo electrónico, Lista de participantes, Foros, Evaluación, Comunicación (Chat) Preguntas: Facilidad de comunicación de las aplicaciones para el trabajo colaborativo en foros, portafolio, correo electrónico, dudas, chat, calendario. Buscabilidad en Foros Preguntas: Pregunta: 57

4 MEDINA Y MORALES: EVALUACIÓN POR EXPERTOS DE LA USABILIDAD DE UN SISTEMA GESTOR Figura 1. Detalles de la interfaz gráfica de Metacampus. de su usabilidad ahora que el SUV está migrando su plataforma hacia otros sistemas. IV. ESTUDIO DE USABILIDAD Como una primera aproximación a la evaluación de la usabilidad de un sistema gestor del aprendizaje de acuerdo con la colección de atributos que se presenta en la Tabla I, se procedió a atender el caso particular de Metacampus vía la evaluación de usabilidad por expertos [3], misma que consiste en examinar un sistema, en su diseño y uso, desde la perspectiva de un grupo de expertos, quienes analizan los aciertos y errores de usabilidad que pudiera tener el sistema en relación con cada uno de los atributos de interés. En esta investigación decidimos no comenzar con el método de evaluación por usuarios pues carecíamosde un laboratorio de usabilidad ysu implantación implicaría un alto costo debido a que se requeriría montar un espacio físico adecuado para ello y diseñar un curso en línea específico para simular el escenario de tareas que los usuarios deberían realizar en el estudio. Por otra parte, el método de evaluación por expertos se considera una evaluación profesionaly objetivacuando los participantes dominan el tema de usabilidad y conocen los fines de la investigación, sin descartar que dichos expertos sean también usuarios delsistema que evalúan y conozcan las implicaciones del desarrollo del sistema en su contexto de uso. En el caso particular de Metacampus, consideramos pertinente la evaluación por expertos para medir su usabilidad porque dicho sistema no fue objeto de una evaluación similar en su etapa de diseño y sería conveniente determinar primero si el sistema cumple o no cumple con las guías y recomendaciones de usabilidad estándares y así tener un primer juicio sobre su usabilidad que guiara una evaluación posterior por usuarios. Creímos necesario también que dichos expertos fueran usuarios de la plataforma Metacampus, pues de esta manera, se rescatarían las implicaciones del desarrollo del sistema vistas dentro de su contexto de uso, a partir no sólo del enfoque como expertos en tecnologías de información y comunicación, sino también como profesores en la modalidad a distancia. Por estas razones, la evaluación por experto nos pareció la más idónea para realizar nuestra investigación. En cuanto al número de expertos elegido, nos basamos en las guías y recomendaciones de Nielsen[3], quien recomienda un mínimo de tres, y un máximo de cinco, para que éstos determinen qué tan usable es el diseño del sistema mediante una lista de tareas o un cuestionario con criterios de medición previamente seleccionados que ayuden a constatar si realmente el sistema cumple con esos requisitos, o presenta inconsistencias, errores o fallas en el diseño. Los perfiles de los expertos seleccionados para la tarea se resumen en la Tabla II. Todos ellos son profesores de cursos en línea en el Sistemas de Universidad Virtual (SUV) de la Univesidad de Guadalajara, han usado Metacampus por varios años como docentes e incluso lo han usado como estudiantes en los cursos de formación docente que ofrece nuestra institución. Todos ellos se formaron inicialmente en áreas relacionadas con tecnologías de información y comunicación, o en el uso de las mismas con propósitos educativos. La evaluación por expertos se dividió en tres etapas: La primera, establecer los parámetros de usabilidad para sistemas de aprendizaje en línea, con base en los estándares, guías y recomendaciones de los autores implicados en la teoría de la usabilidad; la segunda, construir el instrumento de evaluación con base en dichos criterios de usabilidad, mismos que se seleccionaron de acuerdo con la teoría y con el contexto de uso de la plataforma Metacampus; la tercera, aplicar los instrumentos de evaluación a los expertos y recolectar y analizar los resultados.para ello, se tomaron como referencia los criterios, atributos e indicadores mostrados en la Tabla I para diseñar un cuestionario con seis secciones y con preguntas cuyas respuestas se organizaron en una escala de Likert con cinco elementos: (1) Insatisfactorio, (2) Poco satisfactorio, (3) Neutral, (4) Aceptablemente satisfactorio y (5) Totalmente satisfactorio (ver anexo). El cuestionario fue enviado por correo electrónico a los seis expertos, quienes respondieron también por ese medio.a continuación se presentan los resultados de la evaluación (Tabla III) integrados por sección. Una representación de estos mismos resultados que agrupa visualmente las evaluaciones de cada experto y permite caracterizarlo en comparación con los demás se Experto 1 Experto 2 Experto 3 Experto 4 Experto 5 Experto 6 TABLA II PERFILES DE LOS EXPERTOS Doctor en Inteligencia Artificial Mtro. En Ciencias Computacionales Profesor-Investigador de tiempo completo del SUV Maestro en Tecnologías para el Aprendizaje Licenciado en Informática Diseñador Web Profesor de asignatura del SUV Licenciado en Desarrollo Educativo Institucional Profesor de tiempo completo del SUV Licenciado en Cartografía Digital Profesor de asignatura en la Licenciatura en Tecnologías e Información del SUV Licenciado en Informática Profesor de asignatura de la Licenciatura en Tecnologías e Información del SUV Maestro en Tecnologías para el Aprendizaje Licenciado en Informática Diseñador de LMS Profesor de tiempo completo del SUV

5 188 VAEP-RITA Vol. 1, Núm. 4, Dic muestra en la Fig. 2. Se puede observar en la figura que existe una clara distancia entre la evaluación del Experto 3 y las de los demás expertos, siendo el primero particularmente crítico de la usabilidad del sistema. También se puede observar que los expertos 2, 4 y 6 son generalmente optimistas en su evaluación de usabilidad en comparación con los demás expertos. Curiosamente, la Navegabilidad es al mismo tiempo el atributo del sistema que el Experto 3 califica más positivamente y uno de los atributos que los Expertos 4 y 6 califican más negativamente, en tanto que para el Experto 2 la Navegabilidad es uno de los atributos que obtuvo mejor calificación (4.0). El Experto 5 evaluó el sistema ligeramente por debajo del grupo optimista, en tanto que el Experto 1 es quien muestra la mayor variedad en su evaluación de los distintos atributos de usabilidad, considerando la Entendibilidad de la plataforma como excelente, mientras que en su evaluación de Buscabilidad y Configurabilidad coincide con el Experto 3 en otorgar la calificación mínima. Un análisis de cúmulos (jerárquico, distancia euclidiana y agrupamiento considerando distancia máxima entre elementos de cúmulos distintos) confirma la existencia de tres grupos (Tabla IV y Fig.3): pesimista (Experto 3), mixto (Experto 1) y optimista (Expertos 2, 4, 5 y 6). TABLA III RESULTADOS DE LA EVALUACIÓN DE USABILIDAD DE METACAMPUS POR EXPERTOS (EN REPRESENTA AL EXPERTO N) Atributos E1 E2 E3 E4 E5 E6 Media Buscabilidad Comunicabilidad Confiabilidad Configurabilidad Diseño Entendibilidad Facilidad Navegabilidad Promedio Fig. 2 Resultados de la encuesta agrupados por experto. TABLA IV DISTANCIAS ENTRE CÚMULOS Unión de cúmulos A distancia No. de miembros Experto 4 Experto Experto 4 Experto Experto 5 Experto Experto 1 Experto Experto 3 Experto Fig. 3 Gráfico del árbol de cúmulos En una escala de 1 a 5, la evaluación general de la plataforma Metacampus por los expertos, obtenida como el promedio de las calificaciones obtenidas en las secciones evaluadas, osciló entre 1.45 como puntaje mínimo y 3.97 como puntaje máximo obtenidos. Su promedio general de usabilidad en esta misma escala de 1 a 5 es de Una prueba de Student (t-test) es ilustrativa en este caso, ya que sugiere que los resultados son difícilmente distinguibles de neutros; esto es, que la usabilidad de Metacampus no fue evaluada ni como satisfactoria ni como insatisfactoria (Tabla V). Si el promedio se calcula considerando únicamente las evaluaciones del grupo optimista, el resultado es 3.67, calificación que cae todavía en el intervalo de confianza al 90% de la hipótesis nula (promedio 3 - neutro), lo cual, sugiere, una vez más, que la usabilidad de Metacampus no es evaluada como satisfactoria. Un problema grave de usabilidad que presenta la plataforma Metacampus está en su confiabilidad. La mayoría de los expertos reportó haber experimentado negación de servicio o frecuentes fallas, errores, caídas o interrupciones en la operación del sistema. El grupo optimista otorga a este atributo de usabilidad su calificación más baja (3.1) y el promedio global es de Los dos atributos con las calificaciones globales más bajas son Configurabilidad (2.58) y Buscabilidad (2.67), lo cual sugiere que los expertos perciben una cierta rigidez en la plataforma para adaptarse a los requerimientos específicos de sus usuarios producto de un diseño enfocado, en los primeros años de UDGVirtual, a mantener bajo control el proceso acelerado de producción e impartición de cursos por docentes en formación para la educación a distancia para estudiantes maduros con poca experiencia en línea. El atributo Comunicabilidad se evaluó también con promedio global por apenas arriba de los tres puntos (3.07), debido a que las principales herramientas de comunicación en Metacampus (Foros, Dudas, Portafolio, Correo electrónico

6 MEDINA Y MORALES: EVALUACIÓN POR EXPERTOS DE LA USABILIDAD DE UN SISTEMA GESTOR TABLA V RESULTADOS DE LA PRUEBA DE STUDENT (T-TEST) SOBRE LOS PROMEDIOS DE LAS EVALUACIONES DE LOS EXPERTOS (H0: 3 NEUTRO; H1: PROMEDIO DE PROMEDIOS 3) N Promedi Desviación Intervalo de t df p o estándar confianza al 90% [2.416, 3.947] externo, Avisos y Chat) se encontraron con algunas deficiencias de facilidad, accesibilidad y eficiencia. Los expertos propusieron en sus comentarios algunas modificaciones de mejora para su adecuado funcionamiento. El atributo de usabilidad mejor evaluado fue Entendibilidad, con promedio global de 3.82 y una calificación optimista de 4.2, lo cual lo sitúa como aceptablemente satisfactorio. Por otra parte, el grupo optimista califica con 4.0 el diseño visual del sistema (promedio global de 3.48). Esto habla de una cierta simplicidad en el diseño de Metacampus que facilita su comprensión y uso por el tipo de usuarios para el cual fue diseñado originalmente. V. DISCUSIÓN Un sistema gestor del aprendizaje debe incluir las herramientas necesarias para que los actores educativos realicen sus tareas de provisión de información, exhibición de productos, producción de información y conocimiento y se relacionen y se comuniquen de manera sencilla, clara y fácil; es decir, el sistema debe incluir a sus usuarios a cada paso y promover su interacción con los otros. La usabilidad del sistema es crítica en este sentido para que el sistema sea un vehículo para la ejecución de los procesos educativos y la integración de una comunidad de aprendizaje, no un obstáculo para ello. En este sentido, de los resultados presentados en la sección anterior, así como de los comentarios expresados por los expertos para explicar o justificar sus evaluaciones, se derivan una serie de acciones concretas para mejorar diversos aspectos de la plataforma. Para comenzar, se requiere mejorar el diseño visual, pues cuatro de los seis expertos la calificaron como seria, deprimente y cansada por ser una interfaz de tonos grises relativamente oscuros combinados con letras blancas; colores que los expertos consideraron poco satisfactorios. Otra mejora de la plataforma que se propone es modificar la ubicación del menú principal de la misma, de la derecha hacia la izquierda, debido a que el usuario es obligado a mover sus ojos hacia la derecha para encontrar lo que busca. Según nuestros expertos, un menú en el margen derecho de una página Web es sumamente cansado por la poca focalización que ejerce el usuario hacia estos puntos. Se identificó también la inconsistencia visual del botón Salir :Un botón diferente al diseño general de la plataforma, que se pierde en la interfaz gráfica. Se identificó la falta de alertas o de mensajes de aviso para los estudiantes cuando hay nuevas dudas, y nuevas entradas o mensajes en los foros. Se identificaron inconsistencias en la información desplegada en diversas herramientas, como el Portafolio y los Foros, y se propusieron mejoras para la navegación en dichos espacios debido a que una misma herramienta en ocasiones presenta comportamientos distintos, los cuales derivan en acciones distintas de parte de los usuarios. También se propone mejorar la entendibilidad en foros y en portafolio y agregar un buscador de información en la herramienta de dudas, así como aumentar la eficiencia del sistema a través de disminuir los cliques que debe realizar el usuario para lograr su cometido. En cuanto a la configurabilidad de Metacampus, la mayoría de los expertos coincidieron en que es rígida, poco permisiva y poco intuitiva (pues se requiere hacer varias pruebas para lograr una determinada configuración ). Se propusieron algunos cambios en el caso de la configuración de los recursos (documentos y contenido multimedia) de los cursos, del color de la plataforma y para abrir foros. Se planteó la posibilidad de que existan alertas sobre quiénes se encuentran en línea en un momento dado, ya sea en la lista de participantes o en el tablón de avisos, a fin de que el estudiante utilice de manera más frecuente las herramientas de comunicación síncrona como el chat. También se propuso la creación de un tablón de anuncios en el que se permitiera a los asesores publicar alertas, advertencias o avisos que considere necesarios notificar en la pantalla principal de su curso. VI. CONCLUSIONES En este artículo hemos propuesto una definición de usabilidad de un sistema gestor del aprendizaje como la integración de un conjunto de atributos (buscabilidad, comunicabilidad, confiabilidad, configurabilidad, diseño, entendibilidad, facilidad y navegabilidad) seleccionados considerando tanto la naturaleza de los sistemas gestores de aprendizaje como aplicaciones web, como sus características propias de plataforma tecnológica para procesos de enseñanza-aprendizaje. Dicha propuesta ha sido puesta a prueba diseñando un instrumento para evaluar los atributos seleccionados (ver anexo) y usando dicho instrumento como parte de una evaluación de usabilidad por expertos del sistema gestor del aprendizaje Metacampus, del Sistema de Universidad Virtual de la Universidad de Guadalajara. Los resultados sugieren que Metacampus tiene problemas de usabilidad en algunos aspectos esenciales, resaltando su confiabilidad, su flexibilidad para atender a las demandas variables de sus usuarios y su capacidad para permitir a sus usuarios buscar información en el mismo, particularmente en los espacios de foros. De manera general, los expertos consideraron que Metacampus necesita mejorar para brindar un nivel de satisfacción aceptable a sus usuarios y proporcionaron comentarios que ayudan a identificar oportunidades concretas de mejora. Con base en los resultados obtenidos podemos decir que la colección de atributos propuestos para evaluar la usabilidad de sistemas gestores del aprendizaje parece ser adecuada y el instrumento de evaluación desarrollado a partir de ella resultó útil para evaluar a Metacampus. A partir de aquí se abren varias líneas de investigación interesantes. Una de ellas consiste en explorar la evaluación de usabilidad de los sistemas gestores del aprendizaje por usuarios no expertos, a partir de la colección de atributos propuesta, y observar las diferencias con la evaluación por expertos. Otra línea es revisar el instrumento de evaluación

7 190 VAEP-RITA Vol. 1, Núm. 4, Dic por expertos desarrollado para evaluar la usabilidad de Metacampus y tornarlo suficientemente genérico de modo que pueda ser adaptado (si es necesario) para la evaluación de la usabilidad de cualquier sistema gestor del aprendizaje y la comparación de sus resultados con los de otros. Esta línea resulta particularmente interesante para nosotros porque UDGVirtual ha ampliado su plataforma tecnológica mediante la inclusión y creciente integración de varios sistemas gestores del aprendizaje. Asimismo, recientemente hemos sido testigos de la aparición y amplia difusión de nuevos dispositivos para acceder a los sistemas computacionales (ej. tabletas y smartphones), así como del surgimiento de nuevos miembros de la familia de los sistemas gestores del aprendizaje que han irrumpido al mercado con el respaldo de compañías e instituciones educativas que se distinguen por su prestigio, disposición de recursos y capacidad de innovación (ej. Open edx [15]), lo cual hace de la selección de los componentes de la plataforma educativa de cualquier institución una tarea más compleja, que requiere de instrumentos de evaluación y toma de decisiones más precisos; instrumentos cuyo diseño debe estar basado en el estado del arte en sistemas gestores de aprendizaje, en las últimas tendencias en el desarrollo y uso de tecnologías de información y comunicación y en los nuevos modelos educativos para los nuevos entornos. REFERENCIAS [1] Moodle, Moodle - A Free, Open Source Course Management System for Online Learning, [En línea]. Disponible: [Visitado: 27-Dec-2013]. [2] Sakaiproject.org, sakaiproject.org, [En línea]. Disponible: [Visitado: 27-Dec-2013]. [3] J. Nielsen, Usability Engineering. San Francisco: Morgan Kaufmann, [4] J. Nielsen, Designing Web Usability. PeachpitPress, [5] K. Delgado, Las plataformas en la educación a distancia, Rev. Iberoam. Educ. - Los Lectores, vol. 37, no. 1, [6] P. A. Salinas Olivo, Modelo educativo y recursos tecnológicos, en Tecnología educativa en un modelo de educación a distancia centrado en la persona, A. Lozano Rodríguez y J. V. Burgos Aguilar, Eds. Limusa, 2007, págs [7] M. A. Ballesteros, Plataformas tecnológicas para la teleformación, en E-Learning-Teleform@ción. Diseño, desarrollo y evaluación de la formación a través de INTERNET, D. Puente, A. Palazón, M. A. Ballesteros, y C. M. García, Eds. Gestión 2000, [8] J. Salinas, El aprendizaje colaborativo con los nuevos canales de comunicación, en Nuevas tecnologías aplicadas a la educación, J. Cabero Almenara, Ed. Madrid: Síntesis, [9] B. de Benito, Herramientas web para entornos de enseñanzaaprendizaje, en Medios Audiovisuales y Nuevas Tecnologías para la Formación en el siglo XXI, J. Cabero Almenara, F. Martinez, y J. Salinas, Eds. Murcía: Diego Marín, 2000, págs [10] M. E. Chan Núñez, Tendencias en el diseño educativo para entornos de aprendizaje digitales, Rev. Digit. Univ., vol. 5, no. 10, [11] M. A. Abud Figueroa, Calidad en la Industria del Software. La Norma ISO-9126, Rev. UPIICSA, vol. 34, no. Enero-Abril, [12] International Organization for Standardization, ISO :1997 Ergonomic requirements for office work with visual display terminals (VDTs) Part 1: General introduction [13] B. de Benito, Taller: Redes y trabajo colaborativo entre profesores, en IV Congreso de Nuevas Tecnologías de la Información y de la Comunicación para la educación (EDUTEC 99), [14] J. Cabero Almenara, Nuevas tecnologías aplicadas a la educación. Madrid: Síntesis, [15] P. Zaharias y A. Poylymenakou, Developing a Usability Evaluation Method for e-learning Applications: Beyond Functional Usability, Int. J. Hum.-Comput. Interact., vol. 25, no. 1, págs , Jan [16] M. Zapata, Evaluación de un sistema de gestión del aprendizaje, Rev. Educ. Distancia, vol. 9, no. Noviembre, [17] J. A. Zatarain de Losada, El Ambiente Virtual de Aprendizaje de la Universidad de Guadalajara, en XX Simposio Internacional de Computación en la Educación, Puebla, México, [18] M. Moreno Castañeda y M. del S. Pérez Alcalá, Eds., Modelo educativo del Sistema de Universidad Virtual. Guadalajara, Jalisco, México: Universidad de Guadalajara, [19] Beth Davis, Colleen Carmean, y Ellen D. Wagner, The Evolution of the LMS: From Management to Learning. Deep Analysis of Trends Shaping the Future of e-learning, The elearning Guild, ANEXO.- CUESTIONARIO A continuación se presenta el instrumento que se diseñó para hacer la evaluación por expertos de la usabilidad del sistema gestor del aprendizaje Metacampus. El formato ha sido ajustado para su publicación, eliminando los espacios para las respuestas de los entrevistados. La finalidad de este cuestionario es identificar cuáles son las cualidades y defectos de usabilidad del Sistema de Aprendizaje Metacampus, del Sistema Universidad Virtual de la Universidad de Guadalajara. INSTRUCCIONES [1-5]. Contesta con una X la opción que consideres más apropiada, del 1 al 5; y deja tu comentario sobre el tema de la pregunta en el espacio de Observaciones. Gracias 1. I. EL DISEÑO GENERAL DEL SISTEMA DE APRENDIZAJE EN LÍNEA FAVORECE SU USABILIDAD? 1. La operatividad de la plataforma Metacampus en cualquier tipo de computadora; por ejemplo [1-5]. Mac, PC, Unix, etc., es [1-5]. 2. La facilidad de conexión de la plataforma Metacampus a través de cualquier navegador (Netscape, Mozilla, Explorer) es[1-5]. 3. La facilidad de conexión de la plataforma Metacampus, a través de enlaces o hipertextos, es[1-5]. 4. Al leer con el tipo de letra de la plataforma Metacampus, éste se considera[1-5]. 5. Al leer con el tamaño de letra de la Plataforma Metacampus, éste se considera [1-5]. 6. La decoración del color de fondo e imagen de la plataforma Metacampus es [1-5]. 7. La organización o el acomodo de los diferentes espacios, herramientas y botones en la pantalla es [1-5]. 8. La presentación del diseño de la interfaz de la plataforma Metacampus, en general, se considera [1-5]. 9. Los colores, formas y tipos de letra del diseño de la interfaz del sistema de aprendizaje en línea, guardan una consistencia [1-5]. 10. La integración y presentación de diferentes formatos de archivos multimedia, como por ejemplo [1-5]. imágenes (.gif) (.jpg); audio (.wav) (.wma) (.mp3); video (.mov) (.avi) (.wmv) (.mpeg); animaciones, (.exe) (.class) (.swf), en la plataforma Metacampus, es [1-5]. 1 Los términos asociados a los numerales fueron [1-5]. Insatisfactoria (1), Poco satisfactoria (2), Neutral (3), Aceptablemente satisfactoria (4) y Totalmente satisfactoria (5).

8 MEDINA Y MORALES: EVALUACIÓN POR EXPERTOS DE LA USABILIDAD DE UN SISTEMA GESTOR La interacción y la comunicación a través de las herramientas tecnológicas y pedagógicas de la plataforma, tanto síncronas (chat), como asincrónicas (correo electrónico, foros, etc.) es [1-5]. II. LA NAVEGACIÓN DEL SISTEMA DE APRENDIZAJE EN LÍNEA FAVORECE SU USABILIDAD? 12. El conocimiento de la navegación del usuario, sobre el lugar donde se encuentra y hacia dónde puede ir dentro del sistema, es [1-5]. 13. El regresar o avanzar de manera lógica de un punto a otro dentro del sistema, es [1-5]. 14. La facilidad de entrar a la plataforma Metacampus es [1-5]. 15. La facilidad de salir de la plataforma Metacampus es [1-5]. 16. Los atributos ALT en menús y botones para facilitar su navegación a través de teclas cortas, en la plataforma, es [1-5]. III. EL SISTEMA DE APRENDIZAJE EN LÍNEA ES CONFIABLE? 17. La velocidad de descarga de los materiales y recursos (de hasta 50 Mb de capacidad) de la plataforma Metacampus es [1-5]. 18. La velocidad de trabajo de la plataforma Metacampus es [1-5]. 19. La calidad del funcionamiento de la plataforma Metacampus (en cuanto a que nunca tiene errores o fallas), es [1-5]. 20. La capacidad de retroalimentar al usuario sobre los procesos y tareas en ejecución (subir archivos, mensajes en foros, o envío de correos, etc.), es [1-5]. IV. EL LENGUAJE DEL SISTEMA DE APRENDIZAJE EN LÍNEA ES CLARO, PRECISO Y SENCILLO? La entendibilidad de los nombres, vocabulario y descripciones que aparecen en cada una de las herramientas, son [1-5] Portafolio 22. Recursos 23. Guía de estudio 24. Tablón de anuncios 25. Dudas 26. Correo electrónico 27. Lista de participantes 28. Foros 29. Evaluación 30. Comunicación (Chat) La facilidad de uso de las siguientes herramientas de la plataforma Metacampus es [1-5] Portafolio 32. Recursos 33. Guía de estudio 34. Tablón de anuncios 35. Dudas 36. Correo electrónico 37. Lista de participantes 2 Una respuesta por herramienta. 38. Foros 39. Evaluación 40. Comunicación (Chat) La facilidad de configuración y modificación de cada una de las herramientas de la plataforma Metacampus, es [1-5] Portafolio 42. Recursos 43. Guía de estudio 44. Tablón de anuncios 45. Dudas 46. Correo electrónico 47. Lista de participantes 48. Foros 49. Evaluación 50. Comunicación (Chat) V. LAS HERRAMIENTAS DE COLABORACIÓN DEL SISTEMA DE APRENDIZAJE EN LÍNEA CUMPLEN CON LAS GUÍAS Y RECOMENDACIONES DE USABILIDAD, EN CUANTO A LA FACILIDAD DE COMUNICACIÓN Y USO DE LAS MISMAS? La facilidad de comunicación de las aplicaciones para el trabajo colaborativo, como las siguientes, es [1-5] Foros 52. Portafolio 53. Correo electrónico 54. Dudas 55. Chat 56. La capacidad de la plataforma Metacampus para comunicar a los demás usuarios sobre los mensajes nuevos o no leídos en los diferentes espacios de Foros, Dudas, Recursos o Portafolio, es [1-5]. VI. LA HERRAMIENTA BUSCADOR DEL SISTEMA DE APRENDIZAJE EN LÍNEA AYUDA AL USUARIO A ENCONTRAR PARTICIPACIONES, AUTORES, O CUALQUIER INFORMACIÓN INTEGRADA EN LA PLATAFORMA? 57. La facilidad de uso de la herramienta de búsqueda de los Foros es [1-5]. Ruth Medina Flores. Maestra en Tecnologías de Aprendizaje y Licenciada en Letras Hispánicas por la Universidad de Guadalajara. Ha colaborado como asesora pedagógica en el diseño de cursos en línea y como profesora en línea de la Licenciatura en Educación y de la Maestría en Periodismo Digital del Sistema de Universidad Virtual de la Universidad de Guadalajara. Actualmente se desempeña como revisora de los recursos informativos y como community manager en el Sistema de Universidad Virtual, de la Universidad de Guadalajara. Rafael Morales Gamboa. Licenciado en Matemáticas por la Universidad Nacional Autónoma de México, Maestro en Ciencias Computacionales por el Instituto Tecnológico y de Estudios Superiores de Monterrey, Doctor en Inteligencia Artificial por la Universidad de Edimburgo. Profesor investigador del Sistema de Universidad Virtual de la Universidad de Guadalajara, México, desde 2006, donde coordina el Doctorado en Sistemas y Ambientes Educativos desde Su área de interés se sitúa en las interrelaciones de la educación con las tecnologías de información y comunicación, particularmente en entornos digitales (inteligentes) para el aprendizaje.