Pruebas de Usabilidad Cómo planificar, diseñar y conducir pruebas de usabilidad efectivas Introducción Preparación Conducción Análisis de resultados Reporte de resultados Contenido Diseño centrado en el usuario Pruebas de usabilidad Focusgroups Diseño participativo Encuestas Evaluación heurística Establecimiento de puntos de referencia Diseño participativo Prototipos de papel Recorridas Pruebas de Usabilidad Evaluación heurística Pruebas de Usabilidad Evaluación heurística Estudios de seguimiento Comparación con puntos de referencia Funciona correctamente? 1
Diseño centrado en el usuario Técnicas: Estudio etnográfico orientado al diseño de interacción. Diseño participativo. Grupos focales. Encuestas. Recorridos. Ordenamiento de cartas. Prototipos de papel. Evaluación heurística. Pruebas de usabilidad. Estudios de seguimiento. Definición Qué es Usability Testing? Herramienta de investigación. Sujeto: personas (participantes). Evaluar el grado en que un producto logra cumplir con determinados criterios de usabilidad. Conjunto de técnicas para asegurar un diseño centrado en el usuario. Motivación Diseño informado. Eliminar problemas de diseño. Mejorar la rentabilidad. 2
Ciclo de vida de un producto Test exploratorio Cuándo? Temprano en el ciclo de vida del producto. Conceptualización del producto. Perfil del usuario y el modelo de uso del producto han sido o están siendo definidos. Requerimientos, especificación funcional, modelos del producto han sido o están siendo definidos. Test exploratorio Objetivos Examinar la efectividad del diseño preliminar del producto. Verificar las suposiciones acerca del perfil de los usuarios. 3
Test exploratorio Metodología (visión general) Intercambio intenso entre el moderador y el participante. Prototipos de baja fidelidad. Tareas representativas o recorridos (walk throughs). Pensar en voz alta (thinkaloud). Participar a los usuarios en el proceso creativo. Datos cualitativos (principalmente). Test exploratorio Test de valoración Cuándo? En etapas tempranas o medias del ciclo de desarrollo. Después de culminado el diseño de alto nivel del producto. 4
Test de valoración Objetivos Expandir los hallazgos del test exploratorio, evaluando la usabilidad de las operaciones de bajo nivel del producto. Evaluar la efectividad de los conceptos diseñados. Test de valoración Metodología (visión general) Menor participación del moderador. Ejecución de tareas representativas. Datos cuantitativos principalmente. Test de verificación Cuándo? En etapas tardías del ciclo de vida del producto. Cerca de la liberación del producto. 5
Test de verificación Objetivos Medir la usabilidad de un producto respecto a puntos de referencia (benchmarks) establecidos. Confirmar que los problemas descubiertos en etapas anteriores fueron solucionados, y que no han aparecido nuevos. Evaluar el funcionamiento conjunto de todos los componentes del producto. Servir como seguro contra catástrofe. Test de verificación Metodología (visión general) Previo al test se desarrollan e identifican benchmarks o estándares. Conducción similar al test de valoración. Poca o nula interacción entre el moderador y los participantes. Ejecución de tareas reales. Datos cuantitativos. Test de comparación Cuándo? No está asociado con ningún punto específico del ciclo de desarrollo. 6
Test de comparación Objetivos Comparar dos o más diseños. Test de comparación Comparación punto a punto de dos o más diseños muy diferentes. Recolección de datos de desempeño y de preferencia. Comparación de resultados. Observacional versus experimento controlado. Selección de los moderadores Posibles candidatos: Especialista en Factores Humanos. Especialista en Marketing. Comunicador Técnico. Rotación de miembros del equipo. Consultor externo. 7
Selección de los moderadores Características de un buen moderador: Formación básica en Diseño Centrado en el Usuario. Aprendizaje rápido. Adaptación instantánea a la personalidad del participante. Excelente memoria. Buen oyente. Tolerante a la ambigüedad. Flexible. Capacidad de mantenerse atento por largos períodos. Empatía. Horizonte reflexivo amplio (capaz de ver el bosque ). Buen comunicador. Buen organizador y coordinador. Selección de los moderadores Heurísticas para mejorar el proceso: Ética. Escoger el formato adecuado: Sentarse a un lado versus observación ubicua. Pensar o no en voz alta. Revisión retrospectiva. Dar tiempo a los participantes para superar obstáculos. Alentar al participante. Selección de los moderadores Problemas típicos de moderación: Influenciar al participante. Involucrarse demasiado en el acto de recolección de datos. Actuar como un experto. Ser demasiado rígido con el. No adaptarse al participante. Apresurarse a extraer conclusiones. 8
Selección de los moderadores Cómo mejorar las habilidades del moderador: Aprender conocimientos básicos en factores humanos / ergonomía. Aprender de la observación de otros. Auto-observación en video. Trabajar con un tutor. Practicar. Aprender a meditar (calma mental). Practicar la concentración. Define: Justificación. Metodología. Cronograma. Ubicación. Criterio de selección de sujetos. Guión. Motivación: Permite proyectar el Test de Usabilidad. Funciona como vehículo de comunicación. Define los recursos necesarios. Sistematiza y estructura el proceso de pruebas. 9
Secciones: Contexto Justificación Objetivo general Preguntas de investigación Características de los participantes Diseño del método Listado de actividades Entorno de pruebas, equipamiento y logística Rol del moderador Datos a recolectar y medidas de evaluación Contenido y presentación del informe Contexto Proyecto Etapa Tipo de test Luego de la evaluación experta del producto (Control Remoto HCI-2011), se propuso un nuevo diseño(el HCI-2011- Pro) que pretende suplir las deficiencias encontradas. Con la finalidad de recopilar datos objetivos que permitan medir la usabilidad del nuevo diseño, se conducirá un test valorativo. Justificación El test intenta resolver problemas que ya han sido reportados? El diseño de interacción es el origen de los problemas? Es oportuno estudiar a usuarios reales en esta etapa? Evaluar el costo de oportunidad. 10
No son justificaciones válidas: Mejorar la experiencia del usuario. Todo el mundo posee programas de pruebas de usabilidad. Las salas de reuniones están disponibles la tercera semana del mes. Un miembro del equipo aprendió esta novedosa técnica de pruebas en la última SIGCHI. Evaluar si el producto tiene salida al mercado. Son justificaciones válidas: Entender si los dos perfiles principales de usuarios utilizan el producto satisfactoriamente. Verificar si la documentación puede compensar un problema conocido de la interfaz. Luego de recibir numerosos reclamos asociados con el uso del producto, la organización está interesada en determinar la naturaleza exacta del problema y cómo puede ser resuelto dentro de los límites presupuestales establecidos para este año. Objetivo general Propósito del test. Permite dar sentido a las preguntas de investigación. Se realizará un relevamiento de la efectividad general de bedelias.edu.uy. El objetivo general de este estudio es: -Valorar la efectividad general de www.bedelias.edu.uy para distintos tipos de usuario realizando tareas comunes básicas. -Identificar obstáculos para completar la inscripción a un curso. -Desarrollar un protocolo de estudio de usabilidad repetible. 11
Preguntas de investigación Fundamento del. Origen: conducción de experimentos controlados (hipótesis). Deben ser concisas y medibles (u observables). No son preguntas de investigación válidas: El producto es usable? El producto está listo para salir al mercado o necesita más elaboración? Son preguntas de investigación válidas: Sitio web - Con qué facilidad los usuarios entienden los elementos cliqueables? - Con qué facilidad los usuarios encuentran la información que están buscando? - Con qué facilidad y efectividad los usuarios se registran en el sitio? -En qué parte del sitio los usuarios encuentran la opción de búsqueda. Por qué? - Con qué facilidad los usuarios regresan a la homepage? 12
Son preguntas de investigación válidas: Interfaces pequeñas - Con qué facilidad los usuarios utilizan los botones multi-propósito para cambiar de modo? - Los usuarios entienden los símbolos e íconos? - Cuáles son problemáticos? Por qué? - Con qué facilidad los usuarios descargan actualizaciones y nuevas características? - Cuán eficientemente los usuarios realizan tareas comunes? Son preguntas de investigación válidas: Hardware - Con qué facilidad y efectividad los usuarios utilizan todos los botones del panel de control? - Pueden los usuarios utilizar el panel de control sin asistencia o entrenamiento? - Con qué facilidad los usuarios encuentran los puertos de entrada y salida adecuados? - Con qué facilidad los usuarios cambian la configuración? Son preguntas de investigación válidas: Documentación - Los usuarios acceden a la ayuda en línea cuando encuentran mensajes de error? - Con qué facilidad los usuarios encuentran los ítems de ayuda que están buscando? - Los ítems reflejan lo que los usuarios están buscando? - Con qué efectividad se comprende el contenido de los ítems? - Sirve de ayuda el contenido de los ítems? - A qué parte de los ítems los usuarios prestan atención? - Los usuarios pueden alternar fácilmente entre la ayuda online y la interfaz? 13
Son preguntas de investigación válidas: Software - El workflowde la aplicación refleja el modelo de workflow que tienen los usuarios? - Con qué facilidad y eficiencia los usuarios encuentran las herramientas y opciones que buscan? - Los usuarios usan los íconos de la barra de herramientas o los menús estándares? Por qué? - El tiempo de respuesta es la causa de la frustración o los errores del usuarios? Son preguntas de investigación válidas: General - Qué obstáculos impiden a los usuarios completar satisfactoriamente la instalación y la configuración? - Los usuarios pueden completar las tareas comunes dentro de los parámetros establecidos? - Cuáles son los principales defectos de usabilidad que impiden a los usuarios realizar las tareas principales? - Hay un balance apropiado entre facilidad de uso y facilidad de aprendizaje? Características de los participantes Describe las características de los usuarios finales del producto. Identificación de los tipos de participante. Selección del número de participantes. Número mágico: 4 o 5 participantes http://www.useit.com/alertbox/20000319.html 14
Diseño del método Protocolo de trabajo con los participantes. Motivación: Posibilita instancias de discusión que aporten comentarios y sugerencias. Identifica las actividades y los tipos de materiales que deben estar disponibles antes de la ejecución de las sesiones. Permite identificar recursos humanos adicionales. Coordina el trabajo de múltiples moderadores. Diseño del método Diseño inter-sujeto versus diseño intra-sujeto. Listado de actividades: Breve descripción de la tarea. Precondiciones. Indicador de completitud. Puntos de referencia (benchmarks). 15
Entorno de pruebas, equipamiento y logística El estudio se realizará en las oficinas del Centro de Investigación Básica en Psicología de Facultad de Psicología, UDELAR. Las oficinas cuentan con una cámara Gesell. Los participantes utilizarán una PC en ambiente Windows con Internet Explorer 6.0 instalado y una conexión banda ancha coninternet. LaPCcontaráconunawebcamysoftwarepara registrar la interacción. Se utilizará un grabador de voz. Rol del moderador El moderador estará sentado con el participante mientras se lleva a cabo la sesión. Inicialmente, realizará una breve introducción de la sesión, realizará una entrevista para conocer los antecedentes del participante y finalmente presentará las tareas. Debido a que se trata de un estudio exploratorio, el moderador podrá desviarse del guión para realizar preguntas de seguimiento que permitan aclarar el comportamiento de los usuarios y sus expectativas. En todo momento tomará notas y registrará el comportamiento y los comentarios de los participantes. Datos a recolectar y medidas de evaluación: Medidas de performance: Número y porcentaje de tareas completadas correctamente y sin asistencia. Número de errores por omisión. Tiempo para completar cada tarea. Datos cualitativos. Medidas de preferencia: Utilidad del producto. Cumplimiento de expectativas. Accesibilidad. 16
Contenido y presentación del informe Resumen de las principales secciones. Selección de participantes Caracterización de los usuarios Clasificación de los usuarios Determinación del número de participantes Cuestionario de reclutamiento Reclutamiento de participantes Selección de participantes Agenda y confirmación Compensación Aspectos éticos Guión de la sesión Incluye: Guión orientativo Cuestionario de antecedentes Instrumentos de recolección de datos Acuerdo de confidencialidad Consentimiento informado Cuestionario pre Escenarios de actividades Cuestionario post Debriefing 17