Anexo 6. Pruebas de usabilidad

Transcripción

1 Aneo 6. Pruebas de usabilidad A continuación se muestra la prueba que se realizó a los tres calificadores seleccionados. PRUEBA DE USABILIDAD PARA EL SISTEMA DE APOYO PARA IDENTIFICACION Y ESTIMACION DE VOLUMETRIA DE NODULOS PULMONARES. Esta prueba permite conocer el grado de usabilidad y satisfacción que la aplicación proporciona al usuario. Se darán una serie de instrucciones para que el usuario realice, con el fin de verificar las funciones que posee el sistema. INSTRUCCIONES: El sistema es básicamente una aplicación para interactuar con imágenes de TAC (tomografía aial computarizada) de tóra, con el fin de encontrar regiones candidatas que puedan ser nódulos (masa pulmonar menor de 3 cm de diámetro). Las funciones básicas de la aplicación son visualizar e interactuar con las imágenes, visualizar el histograma de la imagen con o sin máscara, realizar el algoritmo paso a paso para encontrar los candidatos, ver un modelo en tres dimensiones de los pulmones, el árbol vascular y los candidatos y finalmente una herramienta para verificar el volumen aproimado de cada candidato junto con su ubicación en la imagen. Las siguientes son instrucciones para verificar el funcionamiento de la aplicación. 1) Abrir aplicación. 2) Abrir un archivo de imagen DICOM. 3) Cambiar la visualización para ver cada una de las vistas. 4) En cada una de las vistas cambiar el corte y verificar el panel de vista del volumen. De igual forma cambiar el contraste de la imagen en cada uno de los cortes y verificar el cambio en la vista del volumen. 5) Interactuar con la vista de volumen. 6) Realizar el algoritmo paso a paso para encontrar candidatos de nódulos. 7) Verificar los datos de la imagen y el paciente. 8) Visualizar un histograma con y sin máscara. 9) Visualizar e interactuar con el modelo en tres dimensiones. 10) Verificar el volumen y ubicación de cada región candidata. 11) Cerrar la aplicación.

2 Luego de realizada la prueba se pide la siguiente evaluación a los usuarios. Calificador: Luis Guillermo Torres. Seleccione en una escala de 1 a 5 (1: Poco útil, 5: Muy útil). 1. Es de utilidad la aplicación? 2. El uso de las opciones de visualización de cada una de las 3 vistas coronal, transversal, sagital Observaciones 3. El uso de la opción de visualización de la combinación de los tres planos (sagital, coronal, transversal) en una sola imagen. 4. Visualización de datos de la imagen DICOM y de paciente en el panel de "Data". No indica coordenadas y/o número de candidatos o datos relevantes con el paciente. Solamente el nombre, genero, fecha e información sobre las imágenes. 5. La ventana de histograma. 6. El uso de máscaras en la visualización del histograma. 7. El uso de controles para visualizar el rango de valores deseado en la ventana de histograma. 8. El cambio de tipo de grafico en la venta de histograma. 9. Poder visualizar las imágenes que ya se han hecho en el algoritmo. 10. Pedir el radio de la mediana al usuario. 11. Recortar la imagen en el procedimiento de obtención de mediastino.

3 12. El control para seleccionar el umbral de cada una de las imágenes para encontrar candidatos. 13. La herramienta de volumetría. 14. Visualizar la localización en dos dimensiones del candidato seleccionado. Es más útil el 3D 15. Visualizar el modelo en tres dimensiones donde se muestra la ubicación del candidato junto con el pulmón y el árbol vascular. 16. Observar las imágenes de pulmones, árbol vascular y segmentación de candidatos en la herramienta "3D view". 17. Cambiar la opacidad de cada una de las imágenes en la herramienta "3D View". Seleccione en una escala de 1 a 5 su grado de acuerdo o desacuerdo. (1. Total desacuerdo, 2.En desacuerdo, 3. Indiferente, 4.De acuerdo, 5.Total acuerdo) Observaciones Las opciones Set Intensity, Set Eigenvalues y Set Bothat requieren hacer clic en otros botones similares en todas las ocasiones. Se sugiere que con solo un botón se realice las dos acciones. Otro comentario es que sería de utilidad colocar números al lado de las opciones para conocer el orden que se debe seguir. 1. El sistema en general es de fácil uso. Se sugiere ventana que indique que el proceso se está llevando a cabo y bloquee las acciones del usuario para evitar múltiples inputs. (Ideal si se cuenta con tiempo estimado)

4 2. Los iconos de la barra de herramientas son intuitivos y le dicen que función cumple cada uno. Si bien el tooltip ayuda, no es claro el acceso al algoritmo. 3. El color, tamaño y forma de los iconos es adecuado. 3. La visualización de colores (RGB) en el fondo de cada uno de los planos, ayuda a reconocerlos fácilmente. 4. El uso de los controles de cambio de corte en cada uno de los planos es preciso e intuitivo. 5. El cambio en el contraste de la imagen usando el mouse es de fácil uso. Sin embargo, hay mucho uso de rojos y verdes que pueden perjudicar a alguien con dificultad tipo daltonismo 6. Observar el cambio en la vista de volumen a medida que se cambia uno de los cortes de un plano lo hace una herramienta de navegación importante. 7. La organización de las 4 vistas (sagital, coronal, transversal y volumen) es agradable. 8. La organización de los botones, cuadros de teto y etiquetas es agradable en el panel de Algoritmo. 9. La organización de los botones para observar cada una de las imágenes es la correcta. 10. Es intuitivo realizar paso a paso el algoritmo sin cometer errores. Recalcando el comentario del orden de pasos 11. La división de la pantalla principal al momento de seleccionar la herramienta de "Algoritmo", "Datos" y "Volumetría", le ayuda a visualizar las imágenes mientras realizan cambios. 12. Al observar la imagen tridimensional en la herramienta "3D View", se pueden observar colores agradables y acordes con la imagen que representan. 13. El uso de la opacidad en la herramienta "3D View" le ayuda a identificar mejor las estructuras. En el caso de solo vessels se incluye la columna vertebral. Sin embargo, se entiende la estructura pulmonar

5 14. La visualización del volumen que ocupa una región candidata y las coordenadas donde se encuentra dicha región, le ayudan a identificarla fácilmente en la imagen. 15. El uso de la herramienta de histograma le ayuda a identificar umbrales para seleccionar en el desarrollo del algoritmo. 16. La interacción que tiene con la imagen es intuitiva. Se requiere guía para el cambio de brillo/contraste 17. La interacción que tiene con el modelo en tres dimensiones es intuitiva. Responda las siguientes preguntas: Usaría esta aplicación para ver imágenes DICOM y encontrar candidatos de nódulos pulmonares? Por qué? Sí, me parece adecuado el despliegue tanto en 2D como en 3D. Sin embargo, considero que la vista en 3D es más adecuada Qué opina sobre la precisión de los controles de selección? En general, Que opina sobre el sistema? Qué opina de la interacción con las diferentes imágenes. Qué cambios le haría al sistema? Los controles son adecuados, en pocos casos es necesario realizar el ingreso de forma manual. Es un sistema muy completo y de alto valor para el médico. Sin embargo, puede llegar a necesitar una guía para utilizarlo de forma correcta. Se recomienda un bue manual de usuario o ayuda dentro de la misma herramienta mediante la indicación de pasos o mensajes de ayuda. Me parece adecuada la interacción Adicional a los anteriores, hago énfasis en el cambio de la necesidad de oprimir dos botones para seleccionar los algoritmos de segmentación. Personalmente lo reduciría a solo uno pues siempre se requiere oprimir los dos (no hay un caso donde sólo se oprima uno) lo que facilita obviar el segundo clic. Si es posible, agregar la pantalla de progreso de procesamiento y cambiar colores pensando en usuarios con daltonismo.

6 Calificador: Leonardo Florez Valencia. Si bien el panel Data es interesante desde el punto de vista técnico del análisis de imágenes, personalmente, preferiría que le diera datos al médico sobre el paciente. Seleccione en una escala de 1 a 5 (1: Poco útil, 5: Muy útil). 1. Es de utilidad la aplicación? Observaciones 2. El uso de las opciones de visualización de cada una de las 3 vistas coronal, transversal, sagital. 3. El uso de la opción de visualización de la combinación de los tres planos (sagital, coronal, transversal) en una sola imagen. 4. Visualización de datos de la imagen DICOM y de paciente en el panel de "Data". 5. La ventana de histograma. 6. El uso de máscaras en la visualización del histograma. Es mejor el zoom sobre el histograma 7. El uso de controles para visualizar el rango de valores deseado en la ventana de histograma. 8. El cambio de tipo de grafico en la venta de histograma. 9. Poder visualizar las imágenes que ya se han hecho en el algoritmo. 10. Pedir el radio de la mediana al usuario. A un usuario clínico se le debería presentar algunos valores y su interpretación física 11. Recortar la imagen en el procedimiento de obtención de mediastino. Esto hace parte del algoritmo, en la aplicación final no tiene mucho sentido.

7 12. El control para seleccionar el umbral de cada una de las imágenes para encontrar candidatos. Ver observación La herramienta de volumetría. 14. Visualizar la localización en dos dimensiones del candidato seleccionado. 15. Visualizar el modelo en tres dimensiones donde se muestra la ubicación del candidato junto con el pulmón y el árbol vascular. 16. Observar las imágenes de pulmones, árbol vascular y segmentación de candidatos en la herramienta "3D view". 17. Cambiar la opacidad de cada una de las imágenes en la herramienta "3D View". Seleccione en una escala de 1 a 5 su grado de acuerdo o desacuerdo. (1. Total desacuerdo, 2.En desacuerdo, 3. Indiferente, 4.De acuerdo, 5.Total acuerdo) 1. El sistema en general es de fácil uso Observaciones 2. Los iconos de la barra de herramientas son intuitivos y le dicen que función cumple cada uno. 3. El color, tamaño y forma de los iconos es adecuado. 3. La visualización de colores (RGB) en el fondo de cada uno de los planos, ayuda a reconocerlos fácilmente. 4. El uso de los controles de cambio de corte en cada uno de los planos es preciso e intuitivo. 5. El cambio en el contraste de la imagen usando el mouse es de fácil uso. Pero no el gesto no es coherente entre las vistas 2D-3D 6. Observar el cambio en la vista de volumen a medida que se cambia uno de los cortes de un plano lo hace una herramienta de navegación importante. 7. La organización de las 4 vistas (sagital, coronal, transversal y volumen) es agradable. Es estándar, eso es suficiente

8 8. La organización de los botones, cuadros de teto y etiquetas es agradable en el panel de Algoritmo. 9. La organización de los botones para observar cada una de las imágenes es la correcta. Un control estilo combobo sería más adecuado. 10. Es intuitivo realizar paso a paso el algoritmo sin cometer errores. 11. La división de la pantalla principal al momento de seleccionar la herramienta de "Algoritmo", "Datos" y "Volumetría", le ayuda a visualizar las imágenes mientras realizan cambios. 12. Al observar la imagen tridimensional en la herramienta "3D View", se pueden observar colores agradables y acordes con la imagen que representan. 13. El uso de la opacidad en la herramienta "3D View" le ayuda a identificar mejor las estructuras. 14. La visualización del volumen que ocupa una región candidata y las coordenadas donde se encuentra dicha región, le ayudan a identificarla fácilmente en la imagen. 15. El uso de la herramienta de histograma le ayuda a identificar umbrales para seleccionar en el desarrollo del algoritmo. Están muy lejos 16. La interacción que tiene con la imagen es intuitiva. 17. La interacción que tiene con el modelo en tres dimensiones es intuitiva. Responda las siguientes preguntas: Para quienes tienen eperiencia con la visualización de imágenes médicas Usaría esta aplicación para ver imágenes DICOM y encontrar candidatos de nódulos pulmonares? Por qué? Qué opina sobre la precisión de los controles de selección? En general, Que opina sobre el sistema? Sí, porque permite una carga y visualización rápida Es adecuada Es correcto para realizar una visualización rápida y para entender los pasos del algoritmo de segmentación

9 Qué opina de la interacción con las diferentes imágenes. Qué cambios le haría al sistema? Es estándar Para el seguimiento de algoritmo, es adecuado. Para un uso más genérico, debería ser más orientado a una arquitectura de servicios (de interacción, visualización y procesamiento) que se adicionen a medida que se necesiten Calificador: Pablo Aleander Reyes. Seleccione en una escala de 1 a 5 (1: Poco útil, 5: Muy útil). 1. Es de utilidad la aplicación? Observaciones 2. El uso de las opciones de visualización de cada una de las 3 vistas coronal, transversal, sagital. 3. El uso de la opción de visualización de la combinación de los tres planos (sagital, coronal, transversal) en una sola imagen. 4. Visualización de datos de la imagen DICOM y de paciente en el panel de "Data". 5. La ventana de histograma. En algunos ambientes médicos no se usa mucho el histograma 6. El uso de máscaras en la visualización del histograma. 7. El uso de controles para visualizar el rango de valores deseado en la ventana de histograma. 8. El cambio de tipo de grafico en la venta de histograma. 9. Poder visualizar las imágenes que ya se han hecho en el algoritmo. 10. Pedir el radio de la mediana al usuario. 11. Recortar la imagen en el procedimiento de obtención de mediastino. 12. El control para seleccionar el umbral de cada una de las imágenes para encontrar candidatos. Colocar opciones y una que diga recomendada Colocar opciones y una que diga recomendada

10 13. La herramienta de volumetría. Colorear 14. Visualizar la localización en dos dimensiones del candidato seleccionado. 15. Visualizar el modelo en tres dimensiones donde se muestra la ubicación del candidato junto con el pulmón y el árbol vascular. 16. Observar las imágenes de pulmones, árbol vascular y segmentación de candidatos en la herramienta "3D view". 17. Cambiar la opacidad de cada una de las imágenes en la herramienta "3D View". Seleccione en una escala de 1 a 5 su grado de acuerdo o desacuerdo. (1. Total desacuerdo, 2.En desacuerdo, 3. Indiferente, 4.De acuerdo, 5.Total acuerdo) Observaciones 1. El sistema en general es de fácil uso. Colocar ayudas o descripciones sobre los botones 2. Los iconos de la barra de herramientas son intuitivos y le dicen que función cumple cada uno. 3. El color, tamaño y forma de los iconos es adecuado. 3. La visualización de colores (RGB) en el fondo de cada uno de los planos, ayuda a reconocerlos fácilmente. 4. El uso de los controles de cambio de corte en cada uno de los planos es preciso e intuitivo. 5. El cambio en el contraste de la imagen usando el mouse es de fácil uso. 6. Observar el cambio en la vista de volumen a medida que se cambia uno de los cortes de un plano lo hace una herramienta de navegación importante. 7. La organización de las 4 vistas (sagital, coronal, transversal y volumen) es agradable.

11 8. La organización de los botones, cuadros de teto y etiquetas es agradable en el panel de Algoritmo. 9. La organización de los botones para observar cada una de las imágenes es la correcta. Creo que debería haber más de esto en el algoritmo 10. Es intuitivo realizar paso a paso el algoritmo sin cometer errores. Se podría pensar en una opción semiautomática de solo las coordenadas de pulmones y run! 11. La división de la pantalla principal al momento de seleccionar la herramienta de "Algoritmo", "Datos" y "Volumetría", le ayuda a visualizar las imágenes mientras realizan cambios. 12. Al observar la imagen tridimensional en la herramienta "3D View", se pueden observar colores agradables y acordes con la imagen que representan. 13. El uso de la opacidad en la herramienta "3D View" le ayuda a identificar mejor las estructuras. 14. La visualización del volumen que ocupa una región candidata y las coordenadas donde se encuentra dicha región, le ayudan a identificarla fácilmente en la imagen. 15. El uso de la herramienta de histograma le ayuda a identificar umbrales para seleccionar en el desarrollo del algoritmo. 16. La interacción que tiene con la imagen es intuitiva. 17. La interacción que tiene con el modelo en tres dimensiones es intuitiva. Responda las siguientes preguntas: Usaría esta aplicación para ver imágenes DICOM y encontrar candidatos de nódulos pulmonares? Por qué? Qué opina sobre la precisión de los controles de selección? Si, si tuviese la oportunidad Es adecuada

12 En general, Que opina sobre el sistema? Qué opina de la interacción con las diferentes imágenes. Qué cambios le haría al sistema? Creo que es bueno y tiene opciones de mejora Es adecuada Dar etiquetas de ayuda en el algoritmo, una opción semiautomática, poder colocar la imagen final (candidatos) sobre la original.