PROPUESTA DE ALTERNATIVAS PARA EL MODELADO DE USUARIO ESTADÍSTICO UNIVERSIDAD CARLOS III D E MADRID

Transcripción

1 PROPUESTA DE ALTERNATIVAS PARA EL MODELADO DE USUARIO ESTADÍSTICO LEONARDO C A STAÑO ZABALETA LCASTANO@INF.UC3M. ES D EPARTAMENTO D E INFORMÁTICA UNIVERSIDAD CARLOS III D E MADRID

2 CONTENIDOS Introducción y Motivación Estado del Arte Propuesta de Modelado de Usuarios Evaluación Benchmark para MU estadísticos Diseño de la Evaluación Preparación de la Evaluación Resultados Conclusiones y Líneas futuras

3 INTRODUCCIÓN Modelado de usuarios Rama de la HCI Predicciones de caracterización usuario Comportamiento Habilidades Atributos Modelos de usuario Personalización Adaptabilidad

4 MOTIVACIÓN Tendencia en la interacción a imitar el comportamiento humano Abarcar mayores poblaciones de usuarios potenciales Lograr interacciones más naturales Mecanismos de razonamiento humano Objetivo a largo plazo Necesidad de Modelado de Usuarios Contenido personalizado Interacción depende del interlocutor Modelo de usuario basado en experiencia

5 ESTADO DEL ARTE I Historia del modelado de usuarios comienza a principios de los setenta Sistemas basados en perfiles pre-fijados Dependientes del dominio Dependientes de la aplicación Modelos Clásicos de Grupos Pérdida de conocimiento Modelos de perfiles vs modelos de grupos Modelado basado en contenido vs colaborativo (Zukerman, I. and Albretch, W.: 2001)

6 ESTADO DEL ARTE II Evaluación Modelos de Usuario Estadísticos Data sets Estructura Dominio Falta de genericidad Métricas Estándares Confianza de los usuarios

7 PROPUESTA DE MODELO DE USUARIOS Modelo de Grupos sin pérdida de conocimiento Modelo innovador Aprende de la experiencia Se aleja del modelado clásico Soluciona el problema de pérdida de conocimiento Tiempos de respuesta Modelos clásicos (configuración) Nuevo modelo (mejora tiempos de respuesta) Basado en un árbol-r Modelo de Grupos con pérdida de conocimiento Línea de referencia

8 ESTRUCTURA DE LOS MODELOS Universo de Usuarios

9 ESTRUCTURA DE LOS MODELOS Si encaje>umbral Descender un nivel Conocimiento no manejable Universo de Usuarios (root) Ventana de Inferencia... Inferencias mas profundas implican mejor calidad (requiere interacciones mas largas o características biometricas) Universo de Usuarios (57)... promoción fusion Universo de Usuarios (root) (0) Desbordamiento Universo de Usuari (91) Partición Universo de Usuarios (1) (14) Universo de Usuarios (2) (28)

10 EVALUACIÓN Objetivos Comprobar la capacidad predictiva Medir la eficiencia Obtener resultados comparables (con otros trabajos) Requisitos Entrenar el modelo Evaluarlo dentro y fuera de corpus Recursos No existen Benchmarks específicos Otros algoritmos no son públicos (Herlocker, et al., 2004)

11 METODOLOGÍA DE EVALUACIÓN Experimento tipo Para cada muestra (individuo) se fija una característica (goal) Por cada característica restante, se alimenta la característica, y se predice la fijada (iterativamente hasta la última) Batería Conjunto fijo de experimentos (est. significativos) metas pre-fijadas (por dominio) / aleatorias orden de características sujeto a dominio / orden aleatorio Métricas Tasa de acierto (dentro/fuera corpus) Rendimiento

12 BENCHMARKING PARA MODELOS ESTADÍSTICOS Evaluaciones no estandarizadas y costosas Falta de Benchmarks para modelos estadísticos Propuesta de Benchmark Obtenido de caso real Estandarizado Incluye: training set test set banco de pruebas (estadísticamente significativo)

13 ESTRUCTURA DEL BENCHMARK 4x10 4 descripciones de usuario Training set 70% Test set 30% Banco de pruebas

14 DISEÑO DE LA EVALUACIÓN Tres métodos de evaluación Valor por defecto Máximo encaje Ponderar encaje y certeza Proceso de evaluación Conocimiento incremental Muestras evaluación Distintos dominios Evaluación con características privilegiadas

15 PREPARACIÓN DE LA EVALUACIÓN Evaluación en tres dominios Información Dominio Abierto Dominio Cerrado Dominio Benchmark Número de Usuarios Número de caracteristicas Cardinalidad maxima por caracteristica Cardinalidad minima por caracteristica Cardinalidad media por caracteristica Maximo de caracteristicas por usuario Media de caracteristicas por usuario Minimo de caracteristicas por usuario Porcentaje caracteristicas multivaluadas ,8% 24,2% 3,3%

16 RESULTADOS DE LA EVALUACIÓN I Evaluación dentro de corpus Modelo pérdida de Conocimiento Modelo sin pérdida de conocimiento Dominio Valor por defecto Máximo encaje Encaje y certeza Valor por defecto Máximo encaje Encaje y certeza Abierto 0,0001% 12% 14,7% 0,0001% 14,03% 15,02% Cerrado 0,001% 18,68% 18,72% 0,001% 20,31% 21,89% Benchmark 15% 62,88% 41,74% 15% 70,04% 67,15% 70% Benchmark características privilegiadas 15% 41,32% 41,76% 15% 63,8% 41,76% 63%

17 RESULTADOS DE LA EVALUACIÓN II Evaluación fuera de corpus Modelo pérdida de Conocimiento Modelo sin pérdida de conocimiento Dominio Valor por defecto Máximo encaje Encaje y certeza Valor por defecto Máximo encaje Encaje y certeza Benchmark 15% 63,28% 30,64% 15% 72,4% 46,95% 65 % Benchmark características privilegiadas 15% 29,62% 30,61% 15% 46,98% 47,96%

18 CURVA DE EVOLUCIÓN DEL MODELO

19 HERRAMIENTA EDICIÓN Y EVALUACIÓN Funcionalidades principales Conexión Entrenamiento Inferencia Evaluación Exploración Utilizada en el proyecto Cadooh (TSI ) Modelo utilizado en selección de contenidos, predicción de preferencias, propuesta de acciones, Adaptar características IN al usuario

20 CONCLUSIONES Propuesta de dos modelos de grupos Modelo clásico (con pérdida de conocimiento) Modelo sin pérdida de conocimiento Propuesta de Benchmark para modelos estadísticos Proviene de un caso real Estandarizado Espacio en el estado del arte Impacto en el estado del arte actual Evita pérdida de conocimiento Mejora tiempos de respuesta Estructura en árbol-r Mejores tasas de acierto Estandariza las evaluaciones

21 LÍNEAS FUTURAS Optimizar mecanismos de inferencia Proceso crítico Evaluación exhaustiva Ordenes de características Modelo basado en políticas de partición Características mas discriminantes Evaluación de un modelado por experto Integración en un sistema completo de interacción natural

22 ESTUDIO DE ALTERNATIVAS PARA EL MODELADO DE USUARIO PREDICTIVO, ESTADÍSTICO, COLABORATIVO Y AUTO- ALIMENTADO LEONARDO C A STAÑO ZABALETA LCASTANO@INF.UC3M. ES D EPARTAMENTO D E INFORMÁTICA UNIVERSIDAD CARLOS III D E MADRID