Interacción persona-ordenador Dispositivos, estilos y paradigmas

Transcripción

1 Interacción persona-ordenador Dispositivos, estilos y paradigmas

2 Objetivos Ofrecer una visión general de los dispositivos de interacción Conocer diferentes estilos y paradigmas de interacción Mostrar el estado actual y la evolución futura de la interacción

3 Contenidos Dispositivos para la interacción Estilos de interacción Interfaz por línea de órdenes Menús y navegación Lenguaje natural Manipulación directa Interacción asistida Paradigmas de interacción Realidad virtual Computación ubicua Realidad aumentada Comparación de los paradigmas de interacción

4 Dispositivos para la interacción Teclado y pantalla Apuntadores Voz y sonido Rastreo ocular Otros dispositivos

5 Teclado Es el dispositivo más usado

6 Apuntadores Ideales para manipular objetos en pantalla Ratón Trackball Touchpad Joystick

7 Rastreo ocular El ojo como herramienta de interacción Muy útiles para personas discapacitadas

8 Rastreo ocular Técnica PCCR Se ilumina el ojo con un haz IR El haz se refleja en la córnea y aparece en la superficie del ojo Una cámara recoge las imágenes y calcula a partir de ellas el centro de la pupila El vector que va hasta el reflejo corneal indica la dirección de la mirada

9 Rastreo ocular Problemas y limitaciones Intolerancia al movimiento de la cabeza La cámara debe enfocar al ojo Solución: fijar la cámara a la cabeza Retardos en la transmisión de datos Velocidad de los movimientos oculares Ángulos límites Averiguar dónde se mira en profundidad Naturaleza intrusiva Movimientos involuntarios del ojo Distinguir cuándo se mira algo con atención

10 Rastreo ocular Modelos comerciales Vision key (HK Eyecan Ltd) Eyegaze System (LC Technologies Inc) VCS (Vision Control Systems)

11 Otros dispositivos Pantalla táctil Cajeros, puntos de información, dispositivos móviles Uso intuitivo Uno o varios usuarios, Multi-touch Lápiz Reconocimiento de escritura. Tinta digital

12 Otros dispositivos Aromas Generación automática de aromas Aplicaciones: juegos, cine, realidad virtual Sensor de huellas dactilares

13 Otros dispositivos Interacción por Gestos Gesture pendant: reconoce gestos y los convierte en órdenes Wiimote Georgia Institute of Technology

14 Otros dispositivos Interfaces comestibles Taste Screen: combina sabores y los dispensa en la pantalla Dan Maynes-Aminzade (Universidad de Stanford)

15 Estilos de interacción Interacciones Todos los intercambios que suceden entre la persona y el ordenador (Baecker and Buxton, 1987) Estilo de interacción: término genérico que agrupa las diferentes maneras en que los usuarios se comunican o interaccionan con el ordenador Preece, 1994

16 Estilos de interacción Estilos de interacción predominantes: Interfaz por línea de órdenes Menús y navegación Lenguaje Natural Manipulación directa Interacción asistida

17 Interfaz por línea de órdenes Primer estilo de interacción de uso generalizado y todavía hoy en uso Consiste en dar instrucciones directamente al ordenador mediante Palabras enteras Abreviaturas Caracteres Teclas de función Ejemplos: ls -la (UNIX) dir *.htm (MS-DOS) más fáciles de recordar más rápidas de ejecutar copy cp CTRL + z

18 Interfaz por línea de órdenes Ventajas Flexibilidad Las opciones de la orden pueden modificar su comportamiento La orden puede ser aplicada a muchos objetos a la vez Permite la iniciativa del usuario Es atractivo para usuarios expertos Ofrece acceso directo a la funcionalidad del sistema Potencialmente rápido para tareas complejas Capacidad para hacer macros Desventajas Requiere un memorización y entrenamiento importantes No hay indicación visual de la orden que se necesita Más útil para usuarios expertos que para usuarios noveles Gestión de errores pobre

19 Interfaz por línea de órdenes C:\TMP\> dir El volumen en unidad C es PCDOS_6 Número de Serie del Volumen es 1D8F-82B0 Directorio de C:\TMP. <DIR> :08.. <DIR> :08 HELP TXT :08 CARTA DOC :51 4 archivo(s) bytes bytes libres C:\TMP\>del help.txt C:\TMP\>dir El volumen en unidad C es PCDOS_6 Número de Serie del Volumen es 1D8F-82B0 Directorio de C:\TMP. <DIR> :08.. <DIR> :08 CARTA DOC :51 3 archivo(s) bytes bytes libres C:\TMP\>

20 Menús y navegación Menú: Conjunto de opciones visualizadas en pantalla que se pueden seleccionar y llevan a la ejecución de una acción asociada Suelen estructurarse jerárquicamente Existen guías de estilo para diseñar menús Número ideal de opciones: entre 3 y 8

21 Menús y navegación Ventajas Entrenamiento reducido, menos tecleo Permiten el uso de herramientas de gestión de diálogos Toma de decisión estructurada Desventajas Pueden resultar lentos para usuarios experimentados Solución: atajos de teclado Ocupan mucho espacio en la interfaz Solución: menús desplegables y pop-up Requieren una visualización rápida

22 Lenguaje natural Fragmento del vídeo El navegante del conocimiento

23 Lenguaje natural Interacción mediante la voz Reconocimiento del habla Síntesis de voz Identificación y verificación de la persona que habla Comprensión del lenguaje natural

24 Lenguaje natural Reconocimiento del habla Reconocimiento de palabras aisladas Requiere que se hagan pausas entre palabras Reconocimiento de voz continua No requiere pausas, se puede hablar continuo Dependiente del que habla Requiere el entrenamiento de los usuarios Independiente del que habla Puede reconocer a cualquier usuario

25 Lenguaje natural Síntesis de voz Concatenación Se graban registros digitales de voz (palabras, frases o segmentos de palabras) Se construyen nuevas frases organizando palabras en el orden correcto (problema: entonación) Síntesis por reglas No se utiliza voz humana directamente La síntesis se controla por reglas de fonemas o reglas relacionadas con el contexto de una frase Al utilizar fonemas (bloque básico de una palabra) el sistema puede articular un vocabulario indefinido de palabras Fonema es la unidad mas pequeña que hace que cambie una palabra

26 Lenguaje natural Identificación y verificación Identificar a la persona que habla Se contrasta con una base de datos de voces conocidas Verificar la persona que habla Mi voz es mi contraseña

27 Lenguaje natural Comprensión del LN Comprender el sentido del texto hablado o escrito Permite la comunicación con el ordenador en el propio lenguaje de la persona Sistemas actuales Vocabulario limitado Dominio restringido

28 Lenguaje natural Aplicaciones Reconocimiento de órdenes habladas (manos libres) Dictado por la voz (tratamiento de texto, generación de informes) Síntesis de voz (ojos libres) Revisar grandes volúmenes de texto, confirmar órdenes y selecciones, operar bajo condiciones en las que la visualización no es práctica Identificación y verificación de la persona por la voz Control de acceso, personalización, bloqueo y desbloqueo de elementos, transacciones comerciales por Internet Comprensión del lenguaje natural Acceso a BD, sistemas de pregunta y respuesta, teleoperación Natural Language interfaces on the web,

29 Lenguaje natural Beneficios y problemas Beneficios Conocimiento del propio lenguaje Uso de la voz, por tanto manos libres Problemas Diferencias en lenguajes, argots, voces Pueden ser necesarios diálogos de clarificación Interfaces todavía no inteligentes

30 Manipulación directa Características: (Schneiderman, 1991) Representación continua de los objetos y acciones de interés Cambio de una sintaxis de órdenes compleja por la manipulación de objetos y acciones Acciones rápidas, incrementales y reversibles que provocan un efecto visible inmediato en el objeto seleccionado Posible gracias a las pantallas gráficas de alta resolución y los dispositivos apuntadores Historia: Xerox Star, Apple Macintosh Entorno más común: interfaz WIMP Windows, Icons, Menus, Pointers

31 Manipulación directa Beneficios y problemas Beneficios Los nuevos usuarios aprenden más rápidamente Los usuarios expertos pueden trabajar rápidamente Los usuarios ven rápidamente el resultado de sus acciones Las acciones son reversibles Problemas Se necesitan más recursos No todas las tareas pueden ser descritas por objetos concretos No todas las acciones se pueden hacer directamente

32 Interacción asistida Fragmento del vídeo El navegante del conocimiento

33 Interacción asistida La manipulación directa exige que el usuario explicite todas las tareas y controle todos los eventos El creciente número de nuevos usuarios exige un cambio en la forma de interactuar con el ordenador La interacción asistida usa la metáfora del asistente personal o agente que colabora con el usuario El usuario no dirige la interacción Trabaja de forma cooperativa con el agente o agentes Se reduce el esfuerzo del usuario Agentes vs Asistentes

34 Interacción asistida Ejemplo: aumento del número de menús e iconos en Word

35 Interacción asistida Agentes de la interfaz Agente: es un programa que el usuario ve como un asistente o programa que le ayuda y no como una herramienta Tiene características propias de la inteligencia humana Capacidad de aprender, inferencia, adaptabilidad, independencia, creatividad, etc. (Lieberman, 97) El usuario no ordena, delega tareas al agente (Maes, 94) El agente es más discreto que el asistente Trabaja en segundo plano y actúa por propia iniciativa cuando encuentra información que puede ser relevante para el usuario Puede afectar a los objetos de la interfaz sin instrucciones explícitas del usuario

36 Interacción asistida agentes Características Autonomía Trabaja en segundo plano Observa al usuario y las fuentes de información disponibles Inteligencia Actúa por propia iniciativa Se adapta a múltiples situaciones, variando su estrategia Uso personal Se adapta y aprende del usuario No insiste en una solución si el usuario decide otra

37 Interacción asistida agentes Integración con aplicaciones Para poder interaccionar con agentes las aplicaciones deben tener ciertas propiedades: Programable Controlable Examinable

38 Interacción asistida agentes Ejemplo: Microsoft Agent

39 Interacción asistida Asistentes, magos, guías Son entidades computacionales que nos asisten en el uso de las aplicaciones existentes El usuario tan sólo dice lo que quiere hacer Pueden ser capaces de aprender del usuario El asistente es activado por el usuario

40 Interacción asistida - asistentes Ejemplos

41 Paradigmas de interacción Son los modelos de los que se derivan todos los sistemas de interacción Los paradigmas interactivos actuales son: El ordenador de sobremesa La realidad virtual La computación ubicua La realidad aumentada

42 Realidad virtual El ordenador crea un entorno sensorial que es dinámicamente controlado por las acciones de la persona, aparentando ser real para ella Dispositivos especiales Aspectos fundamentales: Interactividad Combinación de sentidos. Inmersión Sensación de realidad. Realimentación sensorial en tiempo real (visual, auditiva, táctil)

43 Realidad virtual Dispositivos Dispositivos de posicionamiento Dispositivos de visualización Dispositivos de navegación

44 Posicionamiento Objetivo Los posicionadores determinan la posición y la orientación de una parte del cuerpo en relación a un punto fijo La mayoría de los dispositivos de interacción utilizados en RV llevan un posicionador

45 Posicionamiento Latencia La latencia es el "retardo entre el cambio de la posición y orientación del objetivo que es seguido y el informe de este cambio al ordenador Si la latencia es mayor de 50 milisegundos lo notará el usuario y puede causar nausea o vértigo

46 Posicionamiento Dispositivos (1/2) Posicionadores mecánicos Estructura articulada ajustable Rápidos y exactos pero incómodos Posicionadores electromagnéticos Emisor externo de campos electromagnéticos Detector en usuario. Envía al ordenador El ordenador calcula por triangulación Populares pero inexactos. Les afecta el metal

47 Posicionamiento Dispositivos (2/2) Posicionadores ultrasónicos 3 emisores fijos de ondas sonoras y 3 receptores en el usuario Precisan línea de visión directa emisor-receptor Posicionadores infrarrojos Emisores fijos y cámaras receptoras. Triangulación Precisan línea directa entre emisor y cámara Posicionadores inerciales Conservación del momento angular. Giroscopios Grandes volúmenes de trabajo

48 Realidad virtual Visualización Dispositivos Gafas LCD resplandecientes En cada momento se permite la visión de un ojo La imagen de la pantalla cambia ligeramente para cada ojo (izquierda-derecha) Las gafas conmutan de un ojo a otro a 60Hz Ligeros, sin cables y fáciles de usar Hay que mirar a la pantalla: no hay inmersión Casco (HMD, Head Mounted Display)

49 Visualización Casco (HMD) Colocan una pantalla enfrente de cada ojo El ambiente virtual presentado se controla por la orientación de los sensores montados en el casco El ordenador reconoce el movimiento de la cabeza y genera una nueva perspectiva Unas lentes y espejos agrandan la vista y llenan el campo visual

50 Visualización Tipos de cascos HMD con LCD Baja resolución y contraste. Retardo HMD proyectado CRT con cables de fibra óptica. Mayor resolución y contraste. Caro y complejo HMD con CRT pequeño CRT. Más incómodo (peso y calor) HMD con LED de columna única Crea una imagen virtual que flota delante del usuario Permite interactuar con el mundo virtual y el real a la vez Problema común: movilidad (cable)

51 Visualización Tipos de cascos Monitor Omnidireccional Binocular (BOOM, Binocular Omni- Orientation Monitor) JPL, Nasa

52 Visualización Audio 3D El sonido aumenta considerablemente la sensación de realidad Debe modelar las condiciones ambientales: Fuente y dirección del sonido Efectos ambientales (eco) Ruido de fondo Difícil con sonidos pregrabados Idea: crear un campo de sonido tridimensional Gran potencial para discapacitados (ciegos)

53 Realidad virtual Navegación Dispositivos Ratón 3D Ratón con posicionador Útil para navegar y seleccionar Palanca de mando Palanca con posicionador Guante Más intuitivo. Permite manipular objetos Varias tecnologías

54 Navegación Guante Fibra óptica Dataglobe (VPL Research) Red de fibras ópticas colocadas a lo largo de los dedos. En un extremo hay un LED y en otro un fotosensor Las fibras tienen algunos cortes. Al doblar los dedos la luz escapa por ellos La cantidad de luz detectada por el fotosensor es una medida de cuánto se ha doblado el dedo

55 Navegación Guante Medidas mecánicas Dexterous Hand Master, DHM Exoesqueleto que se sujeta a los dedos con bandas de velcro Un sensor mecánico mide la flexión del dedo Mide movimientos de lado a lado de un dedo Más exacto pero más difícil de usar

56 Navegación Guante Galgas extensométricas Powerglobe de Mattel (Nintendo) Menos exacto, bajo precio Tiras de plástico recubiertas de tinta conductora colocadas a lo largo del dedo Al doblar el dedo varía la resistencia eléctrica de la tinta

57 Realidad virtual Háptica Un problema en los sistemas de realidad virtual es la falta de estímulos para el sentido del tacto Si un usuario trata de tomar una copa virtual, No hay una manera no visual para informarle de que la copa está en contacto con su mano virtual Tampoco hay un mecanismo para no permitir a la mano virtual traspasar la copa

58 Realidad virtual Háptica La investigación háptica intenta resolver estos problemas y puede ser subdividida en dos subcampos: retroalimentación de fuerza (kinestética) retroalimentación táctil

59 Realidad virtual Háptica Retroalimentación de fuerza: dispositivos que interactúan con músculos y tendones y dan la sensación de que se aplica una fuerza Proporcionan una reacción de fuerza al usuario en respuesta a su acción Retroalimentación táctil: dispositivos que interactúan con los nervios de la piel que indican la presencia de calor, presión y textura Indicar al usuario si está en contacto con un objeto virtual, o la textura del objeto

60 Realidad virtual + háptica Cybergrasp

61 Realidad virtual + háptica Cybertouch

62 Realidad virtual Aplicaciones Exploración por el usuario de un mundo virtual creado por el ordenador Exploración de diseños de arquitectura ordenador Mundo virtual

63 Realidad virtual Aplicaciones Interacción con otros usuarios participantes en la misma aplicación Juegos tridimensionales o simulaciones de combates militares ordenador Mundo virtual

64 Realidad virtual Aplicaciones Acción a distancia sobre el mundo real a través de una representación virtual del mismo Cirugía a distancia Manipulación remota ordenador Mundo virtual Mundo real

65 Ejemplo Perforaciones petrolíferas Norsk Hydro Usa datos obtenidos en revisiones sísmicas para ofrecer imágenes 3D de reservas de petróleo

66 Ejemplo Mantenimiento de aviones

67 Computación ubicua La Computación Ubicua trata de extender la capacidad computacional al entorno del usuario Permite que: la capacidad de información esté presente en todas partes en forma de pequeños dispositivos muy diversos que permiten interacciones de poca dificultad conectados en red a servidores de información El diseño y localización de los dispositivos son específicos de la tarea objeto de interacción El ordenador queda relegado a un segundo plano, intentando que resulte transparente al usuario (ordenador invisible)

68 Computación ubicua Origen: Mark Weiser, Xerox PARC, 1991 Hay una gran variedad de dispositivos: Insignias activas Marcas Tabletas Pizarras, etc. Los usuarios no interaccionan directamente con ordenadores, sino con dispositivos de diverso tipo y tamaño

69 Computación ubicua Mark Weiser y su grupo en un entorno ubicuo Insignias activas Marca

70 Computación ubicua Necesidades Necesidades para la computación ubicua: Ordenadores baratos y de bajo consumo Programas de ejecución ubicua Red que lo unifique todo

71 Computación ubicua Laboratorio de Sony (I) A) Problemas con las pizarras blancas actuales B) La aproximación multi-dispositivo

72 Computación ubicua Laboratorio de Sony (II)

73 Computación ubicua Beneficios y problemas Beneficios Simplicidad o invisibilidad de la interacción Fiabilidad Problemas Pérdida de privacidad (insignia activa) Tecnología no asentada No resuelve todos los problemas

74 Realidad aumentada La RA trata de reducir las interacciones con el ordenador utilizando la información del entorno como una entrada implícita La RA integra el mundo real y el computacional: El mundo real aparece aumentado por información sintética Se consigue una disminución importante del coste interactivo Los objetos cotidianos se convierten en objetos interactivos (el mundo es la interfaz)

75 Realidad aumentada Método más común: Solapamiento entre la información digital y la real mediante visualizadores en casco o proyecciones de vídeo La situación del usuario se reconoce automáticamente (tiempo, posición, objetos, códigos de barra, rfid )

76 Realidad Aumentada Aplicaciones

77 Realidad Aumentada Aplicaciones

78 Realidad aumentada Corrientes existentes (1) Aplicar la realidad virtual al mundo real Se aumenta o mejora la visión que el usuario tiene del mundo real con información adicional sintetizada La información se superpone mediante el uso de gafas especializadas

79 Realidad aumentada Corrientes existentes (2) Usar dispositivos que aumentan la realidad e interaccionan directamente con ella El usuario interactúa con el mundo real, que está aumentado con información sintetizada No se trata de superponer la información real con la virtual, sino de hacer participar a objetos cotidianos como un lápiz o una mesa que interactúan con el sistema de forma automática

80 Realidad aumentada Ordenadores corporales Objetivos: Llevar encima el ordenador Interactuar con el usuario según el contexto Enlazar la información del entorno personal con la de un sistema informático Características: Comodidad Naturalidad Integración con la vestimenta MIT Media Lab. Wearable computers

81 Comparación de los paradigmas de interacción Comparación de paradigmas de interacción Persona - Computador Persona - Mundo real Mundo real - Computador A) Sobremesa B) Realidad Virtual C Computador R Mundo Real C) Computación Ubicua D) Realidad Aumentada [Rekimoto, 1995]

82 Conclusiones Existe una amplia variedad de dispositivos de interacción. Es importante conocer sus posibilidades para saber cómo aplicarlos Existen diferentes formas de realizar la interacción El problema a resolver y los conocimientos del usuario decidirán el estilo de interacción idóneo en cada caso En el futuro coexistirán todos los estilos de interacción en una mezcla que mejorará el conjunto En un futuro no muy lejano...