Universidad de Guadalajara Maestría en Tecnologías para el Aprendizaje Evaluación de Usabilidad de Sistemas Gestores de Aprendizaje: El caso de la Plataforma Metacampus del Sistema de Universidad Virtual de la Universidad de Guadalajara Tesis de maestría Ruth Medina Flores
Preguntas de Investigación Cuáles son las prácticas, recomendaciones y estándares internacionales sobre usabilidad de sistemas? Qué diferencias hay entre evaluar la usabilidad de un sistema de cómputo en general, y la de evaluar un sistema gestor del aprendizaje? Cuáles de los indicadores estándares de usabilidad de sistemas web son pertinentes para evaluar la usabilidad de sistemas de aprendizaje en línea? Qué tanto satisface la plataforma Metacampus del Sistema Universidad Virtual de la Universidad de Guadalajara las buenas prácticas, recomendaciones y estándares internacionales sobre usabilidad de sistemas?
Objetivo Evaluar la usabilidad de la plataforma Metacampus, del Sistema Universidad Virtual de la Universidad de Guadalajara.
Usabilidad Ergonomía (Esfuerzo físico Adaptación hombremáquina) Interacción Humano- Computadora (Multidisciplinar) Atributo de calidad para medir la facilidad de uso a través de la experiencia del Usuario (Nielsen) Ingeniería de software Usabilidad (Esfuerzo cognitivo) Ergonomía del software Metodología de diseño y evaluación de sistemas digitales (Nielsen)
Usabilidad (ISO-9241) Persona Tarea U S A B I L I D A D (Anglicismo de origen latino que significa facilidad de uso ) Contexto
Usabilidad (ISO -9241 ) Efectividad (Cumple con la tarea) Eficiencia (Tiempos de ejecución) Satisfacción (Aceptabilidad)
Usabilidad (ISO 9126) Comprensible Aprendible Operable
Evaluación heurística de Usabilidad, por J. Nielsen (1993) Diseño simple y natural Diseño gráfico y color (consistencia visual) Menos es más. Utilizar el lenguaje del usuario Iconografía metafórica adecuada Reducir la memorización Retroalimentación Tolerancia a fallas en el sistema Tiempos adecuados de reacción Salidas marcadas Atajos (hipertexto) Mensajes de error adecuados Prevenir errores Ayuda y manual (documentación)
Clasificación de los métodos de evaluación de usabilidad Lugar de realización Tipo de técnica Participante s Laboratorio de usabilidad Entorno natural Inspección Indagación Con usuarios implicados Sin usuarios implicados Por expertos Por usuarios Listas de verificación Evaluación heurística Entrevistas Grupos de enfoque Encuestas Listas de verificación Cuestionarios
Metodología de evaluación de usabilidad Especificaciones y guías de usabilidad (Nielsen, 1993; ISO 9241-11; ISO 9126) Cuestionario (Preguntas e indicadores) Aplicación a expertos Resultados Teoría Diseño del instrumento Resultados
Marco metodológico Posición del investigador: Participante. El universo de estudio son seis expertos en diseño de sistemas computacionales del Sistema Universidad Virtual de la Universidad de Guadalajara. Tipo de estudio El tipo de estudio es cuantitativo y de tipo descriptivo. Procedimiento El instrumento de evaluación fue autoadministrado vía correo electrónico.
Sistema de aprendizaje en línea Es un programa o aplicación de software, también llamado plataforma virtual de aprendizaje, plataforma tecnológica o sistema gestores del aprendizaje cuya función es la de facilitar la educación, ya sea presencial o a distancia, a través de las nuevas tecnologías de la información y la comunicación (TIC). Al decir nuevas tecnologías nos referimos propiamente a la utilización de los recursos y herramientas propias de Internet, que de alguna manera se han visto aplicadas a la educación, y han generado no sólo el favorecimiento de la administración y control de un conjunto de cursos, sino la facilitación de la interacción y la comunicación educativa entre los participantes para el desarrollo de entornos virtuales de aprendizaje.
Perfiles LMS ALUMNO PROFESOR ADMINISTRADOR CURSOS Sistema de comunicación (Estudiante y profesor) Sistema de administración (Profesor y administrador) Sistema de información (Estudiante y Profesor) Sistema de colaboración (Estudiante y profesor)
Características de un sistema gestor del aprendizaje El sistema puede ser visto desde cualquier sistema operativo. Utilizan un navegador web. Estructura cliente-servidor. Permiten trabajar con documentos en diferentes formatos: texto (html) archivos en pdf (Adobe Acrobat), dibujos e imágenes (.gif,.jpg), audio (.wav..wma.mp3), video (.mov,.avi,.wmv,.mpeg) animaciones, Java, etc., así como los de paquetería de oficina (.doc,.docx,.ppt,.pptx,.xls,.xlsx), etc. Acceso restringido. Interfaz gráfica. Permite guardar, consultar y volver a modificar los archivos de manera sencilla. Facilitan la interacción y la comunicación a través de diferentes herramientas pedagógicas, las cuales pueden ser síncronas (chat, pizarra compartida, videoconferencia, audioconferencia) o asíncronas (correo electrónico, foros, wiki, etc.). (De Benito, 2000).
Breve comparativa de las plataformas de aprendizaje más destacadas (de información exhibición) Plataformas Herramientas De Información exhibición Claroline 1.4 Moodle 1.5.2 Dokeos 1.8 Sakai 2.0 A 1.5 tutor Blackboar WebCT d Campus Academic Edition Suite 6.0 Metacam pus Guía de estudio Buzón de Tareas Página de datos personales Documentos y enlaces Caminos de aprendizaje Anuncios Base de datos Paquetes SCORM Cuestionarios
Plataformas Herramientas Claroline 1.4 (De comunicación) Moodle 1.5.2 Dokeos 1.8 Sakai 2.0 A 1.5 tutor Blackboa rd Academic Suite WebCT Campus Edition 6.0 De Comunicación y Colaboración Wiki Chat Foros Correo electrónico Extern Extern Metacam pus Extern o o o Lista de Participantes Grupos de trabajo R4 Votaciones Videoconferencia DimDi Kaltura Kaltura m Elluminate y BigBlue Button, Blog Glosarios Agenda Pizarra compartida Comunidad social Tablón de dudas Tablón de avisos
De administración Plataformas Herramientas Claroline 1.4 Moodle 1.5.2 Dokeos 1.8 Sakai 2.0 A 1.5 tutor Blackboa WebCT rd Campus Academi Edition c Suite 6.0 Metacam pus De Administración Estadísticas Administración del Portal Evaluación Workoffline
Diseño del instrumento para evaluar un sistema gestor del aprendizaje Se diseñó un cuestionario con veinte cuatro preguntas, agrupadas en seis categorías. Las respuestas posibles para cada pregunta se organizaron en una escala de Likert con cinco elementos: Insatisfactorio (1), Poco satisfactorio (2), Neutral (3), Aceptablemente satisfactorio (4) y Totalmente satisfactorio (5). El cuestionario fue aplicado por correo electrónico a seis expertos en LMS que han usado Metacampus como docentes (algunos también como estudiantes en cursos de formación docente).
Atributos de usabilidad requeridos para evaluar los sistemas gestores del aprendizaje Diseño Navegación Confiabilidad Operatividad según tipo de PC Navegación Velocidad de descarga Regresar o avanzar Velocidad de trabajo Operatividad según navegador Entrada. Calidad del funcionamiento Hipertextos Salida. Retroalimentación Tipo de letra Tamaño de letra Color de fondo Organización de la Estructura Diseño visual de la Interfaz Consistencia visual Multimedia Comunicación Navegación alterna Entendibilidad De cada uno de los espacios y herramientas de información, exhibición, administración y comunicación del sistema gestor del aprendizaje Facilidad de uso De cada uno de los espacios y herramientas de información, exhibición, administración y comunicación del sistema gestor del aprendizaje Configuración De cada uno de los espacios y herramientas de información, exhibición, administración y comunicación del sistema gestor del aprendizaje Comunicación De cada uno de los espacios y herramientas de comunicación del sistema gestor del aprendizaje Buscabilidad De cada uno de los espacios y herramientas de comunicación del sistema gestor del aprendizaje
Resultados Atributos Experto 1 Experto 2 Experto 3 Experto 4 Experto 5 Experto 6 Promedio Diseño 3.3 3.9 1.8 4.2 3.8 3.9 3.48 Navegación 4.2 4.0 2.8 3.6 4.2 3.0 3.63 Confiabilidad 3.5 3.5 1.3 3.8 2.3 2.8 2.83 Entendibilidad 5.0 3.4 1.2 4.5 3.9 4.9 3.81 Facilidad 3.1 4.0 1.3 4.0 3.2 4.3 3.32 Configuración 1.0 3.6 1.2 4.0 2.8 2.9 2.58 Comunicación 2.3 3.7 1.0 4.8 3.0 3.7 3.07 Buscabilidad 1.0 3.0 1.0 3.0 3.0 5.0 2.67 Promedio 2.93 3.63 1.45 3.97 3.27 3.80 3.18
Promedio general por experto 4.5 4 3.63 3.97 3.8 3.5 3.27 3 2.93 2.5 2 1.5 1.45 1 0.5 0 Experto 1 Experto 2 Experto 3 Experto 4 Experto 5 Experto 6
Promedios generales por cada criterio Diseño Buscabilidad Navegación Comunicación Confiabilidad Experto 1 Experto 2 Experto 3 Experto 4 Experto 5 Experto 6 Configuración Entendibilidad Facilidad
Breve interpretación de los resultados Se observan tres grupos de expertos: pesimista (Experto 3), mixto (Experto 1) y optimista (Expertos 2, 4, 5 y 6). En una escala de 1 a 5, la evaluación general de la plataforma Metacampus por los expertos osciló entre 1.45 y 3.97. Su promedio general de usabilidad es de 3.18. El promedio entre el grupo optimista fue de 3.67. El promedio del grupo mixto fue de 2.93. El promedio del grupo pesimista fue de 1.45. Calificaciones que pueden ser interpretadas como apenas satisfactoria.
Breve interpretación de los resultados Un problema grave de usabilidad que presenta la plataforma Metacampus es la confiabilidad. El grupo optimista otorga a este atributo de usabilidad su calificación más baja (3.1) y el promedio global es de 2.83. Los dos atributos con calificaciones globales más bajas fueron Configuración (2.58) y Buscabilidad (2.67), lo cual sugiere una cierta rigidez en la plataforma para adaptarse a los requerimientos específicos de sus usuarios.
Breve interpretación de los resultados El atributo Comunicación se evaluó también con promedio global por apenas arriba de los tres puntos (3.07), debido a algunas deficiencias de facilidad, accesibilidad y eficiencia en las principales herramientas de comunicación en Metacampus. El atributo de usabilidad mejor evaluado fue Entendibilidad, con promedio global de 3.82 y una calificación optimista de 4.2, lo cual lo sitúa como aceptablemente satisfactorio.
Breve interpretación de los resultados El grupo optimista califica con 4.0 el diseño visual del sistema (promedio global de 3.48). Esto habla de una cierta simplicidad en el diseño de Metacampus que facilita su comprensión y uso por el tipo de usuarios para el cual fue diseñado originalmente.
Herramientas de comunicación (Foros) Experto 6 Experto 5 Foros Experto 1 Experto 4 Experto 2 Experto 3 Entendibilidad Facilidad Configuración Comunicación Resultado: Promedio general en facilidad de (2.7) en configuración de (2.2) y en comunicación de (2.5). Entendibilidad (3.7) Es una calificación considerada poco satisfactoria, con problemas graves de usabilidad.
Herramientas de comunicación (Chat) Expert o 6 Expert o 5 Expert o 1 Chat Expert o 3 Expert o 2 Entendibilidad Facilidad Configuración Comunicación Facilidad, comunicación y configuración de (2.6). Entendibilidad de (3.6). Su uso depende de previos acuerdos entre los participantes. La herramienta es muy limitada en aspectos de configuración y comunicación. Un experto no evaluó este espacio pues dijo no conocerlo.
Herrameintas de comunicación (Portafolio) Experto 6 Experto 5 Experto 1 Experto 4 Portafolio Experto 2 Experto 3 Entendibilidad Facilidad Configuración Comunicación Aceptablemente satisfactorio, tanto en facilidad (3.7), entendibilidad (3.8) y comunicación (4.0); únicamente en el aspecto de su configuración, se evaluó como poco satisfactorio (2.2).
Herramientas de comunicación (Dudas) Experto 6 Experto 5 Experto 1 Experto 4 Dudas Experto 2 Experto 3 Entendibilidad Facilidad Configuración Comunicación Aceptablemente satisfactorio, tanto en facilidad (3.3), entendibilidad (3.8) y comunicación (3.7); únicamente en el aspecto de su configuración, se evaluó como poco satisfactorio (2.7).
Herramientas de comunicación (correo electrónico) Experto 6 Experto 1 Correo electrónico (Externo) Experto 2 Entendibilidad Facilidad Configuración Comunicación Es aceptablemente satisfactorio en entendibilidad (3.8) y facilidad (3.4); pero poco satisfactorio en configuración (2.4) y comunicación (2.5). Experto 4 Experto 3
Conclusiones Se propuso un instrumento de evaluación de usabilidad para sistemas gestores del aprendizaje, el cual se construyó con base en criterios generales de estándares internacionales (ISO 9241) (ISO 9126) y la evaluación heurística o por experto (Nielsen) para medir la calidad del diseño del software. La propuesta del instrumento como tal, obedece a una construcción muy genérica sobre evaluación de sistemas digitales, pues técnicamente abarca aspectos básicos de eficacia, eficiencia y satisfacción.
Conclusiones Los resultados de la aplicación del cuestionario sugieren que Metacampus necesita mejorar en algunos aspectos esenciales, resaltando su confiabilidad y su flexibilidad en la configuración para atender las demandas variables de los usuarios. La comunicación, incluyendo las herramientas de colaboración, también se sugieren mejorar, pues muestran demasiada rigidez en la configuración y con problemas en la eficiencia.
Líneas de investigación a futuro Establecer un instrumento de evaluación suficientemente genérico que permita la evaluación de cualquier sistema gestor del aprendizaje y su comparación con otros. Explorar la evaluación de usabilidad por usuarios de los sistemas gestores del aprendizaje y observar las diferencias con la evaluación por expertos.
Gracias RUTH MEDINA FLORES