Proyecto MUPA UOC : Metodología de usabilidad para aplicaciones de la Universidad Oberta de Catalunya Resumen: El proyecto MUPA-UOC consiste en el estudio, desarrollo y aplicación de una metodología de usabilidad para mejorar las experiencias de usuario en las nuevas aplicaciones desarrolladas en la UOC. Para poder aplicar esta metodología se ha formado a los diferentes departamentos relacionados con el proyecto integrándolos en el desarrollo del mismo, y se ha montado un laboratorio de usabilidad dentro de la propia universidad. Caso práctico: El Campus Virtual de la Universidad. (documento en catalán) [Tamaño del fichero : 3,48 MB] Introducción Dada la creciente importancia de la consultoria especializada en experiencias de usuario, usabilidad y arquitectura de la información, se propuso desarrollar una metodología de trabajo que permitiera que en la creación de una aplicación se tuvieran presentes estos aspectos. Hasta el momento no había ninguna otra iniciativa dentro de la Universidad Oberta de Catalunya (www.uoc.edu) en esta línea. Por lo que se tubo de partir de cero en los estudios de las diferentes opciones de implementación. Finalmente se obtuvo un diagrama de tiempo que quedo subdividido en siete fases como se puede observar en el siguiente grafico. Diagrama de tiempo del proyecto MUPA-UOC
Tipos de test de usabilidad aplicados La metodología MUPA UOC aplica dos tipos de test de usabilidad: 1. Evaluación heurística por expertos. 2. Test de usuarios por tareas. Se han seleccionado estas dos opciones por su alto rendimiento y bajo coste en el caso de la Evaluación heurística por expertos. Se recomienda aplicarlas conjuntamente para lograr unos resultados contrastados. Como se puede observar en el diagrama de tiempo del proyecto, siempre en una fase anterior se prepara la metodología utilizada para realizar el test de usabilidad, y en una fase posterior se realiza dicho test. Se apostó por este método de trabajo ya que nos permitía a su vez ir creando una guía/referencia para una futura aplicación de esta metodología. 1. Evaluación heurística por expertos Análisis de la usabilidad por expertos de un escenario en concreto siguiendo unos heurísticos (principios) predefinidos. La metodología de esta evaluación la podemos resumir en tres fases: Definir los perfiles de los expertos que realizarían la evaluación. Aprovechando el equipo multidisciplinar de la UOC se definieron el porqué y el cómo tenían que ser las áreas de conocimiento de los evaluadores. Elaborar el Paquete heurístico, una colección de heurísticos en forma de checklist que ayudarían a los expertos a realizar el análisis. La puesta en común de todos los resultados obtenidos por parte de los expertos. Este método ayuda a la formación del equipo de trabajo. De los resultados obtenidos se generó el 1er informe que sería el punto de partida para la siguiente fase el Test de usuarios. + información: http://cv.uoc.es/~drodriguezgab/documents/heuristics_uoc.pdf
2. Test de usuarios por tareas A través de la observación y registro del comportamiento de los usuarios en tareas previamente encomendadas, se extrae la información sobre la usabilidad de un sitio web ¹. En este punto se definió la metodología a seguir en los test de usuarios: Definición de los perfiles de usuario mediante variables de segmentación (según las características o comportamiento del usuario). Realización de las maquetas con las mejoras propuestas en los heurísticos. Diseño de las tareas a realizar en el test. Diseño de los formularios pre y post test (datos personales y técnicos, grado de satisfacción). Política de confidencialidad y protección de datos. Invitar a los usuarios participantes del test. Como se puede observar en el diagrama de tiempo del proyecto MUPA UOC, se realizaron dos test de usuarios con siete participantes cada uno. Entre 5 y 10 usuarios que son mínimos recomendados por Jacob Nielsen ² para obtener unos resultados óptimos. Se optó por realizar un segundo test, para depurar los resultados obtenidos en fases anteriores. Los test de usuarios nos proporcionan dos tipos de datos: Datos cualitativos (explicación detallada del test). Datos cuantitativos (explicación de los datos numéricamente o en forma de gráficas. Los más utilizados son task completion (% de la tarea completada),time on tasks (Tiempo en cada tarea),etc.). Si le añadimos los datos facilitados por 2 o 3 observadores del test de usuarios conseguimos generar las conclusiones finales que nos proporciona la metodología MUPA-UOC. A continuación podemos observar un ejemplo de datos cuantitativos: Son los resultados del segundo test de usuarios (azul) comparados con el primer test de usuarios (rojo), podemos observar una importante mejoría en todas las tareas.
Nota: Como se puede ver en esta tabla de resultados, sólo se han tenido en cuenta las tareas acabadas con un 100% de éxito. Se ha tomado esta restricción para poder ver claramente donde podíamos encontrar los problemas de usabilidad. Sólo en el caso del Usuario3/Tarea2 se ha puntuado un 50% de la tarea realizada por sobrepasar el tiempo estimado, aunque finalmente consiguió la realización de la tarea. Los resultados no tienen ninguna validez estadística. + información: http://cv.uoc.es/~drodriguezgab/documents/resultats_test_usuaris_abril2003.pdf http://cv.uoc.es/~drodriguezgab/documents/resultats_2_test_usuaris_maig2003.pd Laboratorio de usabilidad Gracias a esta metodología se creó un laboratorio de usabilidad de análisis online. Con el termino on-line nos referimos a que el análisis de los datos se realizaban en paralelo al test de usuarios, con el ahorro de tiempo que ello conlleva. El laboratorio de usabilidad estaba estructurado en dos salas. En la primera sala es donde se realizaban los test de usuarios y en la segunda sala es donde se analizaban los datos de dichos test. USUARIO + MONITOR DE TEST (SALA A) AYUDANTE DEL MONITOR DE TEST + OBSERVADORES (SALA B)
Para crear el laboratorio de usabilidad, el primer paso fue realizar un estudio de mercado de las tecnologías (hardware, software) utilizadas en la actualidad por empresas y universidades dedicadas a HCI. Los resultados fueron decepcionantes. En España hay laboratorios de HCI? Hay lo que puede ser un laboratorio pequeño de una consultoria o de una universidad, pero nada comparable a los laboratorios de nuestros compañeros australianos, estadounidenses, británicos, etc. Allí la mayoría de universidades tienen lo que si se puede considerar un laboratorio de HCI. Para más información al respecto del laboratorio de usabilidad de la UOC consultar el documento siguiente: + información: http://cv.uoc.es/~drodriguezgab/documents/laboratori_usabilitat.doc Conclusiones del proyecto 1. Se ha creado una guía/referencia para que los futuros proyectos puedan aplicar esta metodología de forma directa. 2. Se ha formado a los diferentes departamentos relacionados con el proyecto integrándolos en el desarrollo del mismo. 3. Se ha creado la infraestructura necesaria para poder aplicar la metodología (Laboratorio de usabilidad). Enlaces relacionados Web del proyecto MUPA-UOC : http://cv.uoc.es/~drodriguezgab/ (catalán). ¹ Manchón, E. Tipos de evaluación de sitios web. ² Nielsen, J. Why You Only Need to Test With 5 Users. Bibliografía http://www.ainda.info/ http://www.cadius.org http://usabilidad.org/usablog/ http://www.indiana.edu/%7eusable/