Evaluación e Integración de Toma de Decisiones en Sistemas de Recomendación. Autor: Rus María Mesas Jávega Tutor: Alejandro Bellogín Kouki

Tamaño: px

Comenzar la demostración a partir de la página:

Download "Evaluación e Integración de Toma de Decisiones en Sistemas de Recomendación. Autor: Rus María Mesas Jávega Tutor: Alejandro Bellogín Kouki"

Julián Fuentes Saavedra
hace 5 años
Vistas:

1 Evaluación e Integración de Toma de Decisiones en Sistemas de Recomendación Autor: Rus María Mesas Jávega Tutor: Alejandro Bellogín Kouki

2 Índice Introducción Estado del Arte Toma de Decisiones en Algoritmos de Recomendación Evaluación de Algoritmos que Toman Decisiones Experimentos y Resultados Conclusiones y Trabajo Futuro 2

3 1. Introducción - Motivación Interacciones Pasadas de los Usuarios Recomendaciones Sistema de Recomendación 3

4 1. Introducción - Hipótesis Es mejor no recomendar que fallar 4

5 1. Introducción - Objetivos 1 Introducir la toma de decisión en algoritmos de recomendación 2 Analizar cómo influye la toma de decisión en diferentes dimensiones 3 Estudiar cómo evaluar los nuevos sistemas y proponer nuevas métricas 5

6 2. Estado del Arte Sistemas de Recomendación Filtrado Colaborativo Basado en Contenido K Vecinos Próximos Factorización de Matrices Basado en Usuarios Variational Bayesian Híbridos 6

7 2. Estado del Arte Evaluación Eficiencia Robustez Precisión Confianza Cobertura Sistema de Recomendación Serendipia Diversidad Novedad 7

8 3. Toma de Decisión en Algoritmos de Recomendación Interacciones Estimaciones Pasadas de los Usuarios Estimaciones Sistema de Recomendación 8

9 3. Toma de Decisión en Algoritmos de Recomendación Taxonomía de Técnicas de Toma de Decisión Independiente del Modelo Según el Soporte de la Predicción Según la Incertidumbre de la Predicción KNN Basado en Usuarios KNN Basado en Usuarios Variational Bayesian 9

10 3. Toma de Decisión en Algoritmos de Recomendación Independiente del modelo IDEA: Recomendar ítem cuyo valor de rating sea mayor que un umbral Aplicable a cualquier algoritmo de recomendación Estimación 10

11 3. Toma de Decisión en Algoritmos de Recomendación Según el Soporte de la Predicción IDEA: Cuantas más opiniones se conocen sobre un ítem más confianza genera la estimación final Aplicable a KNN Estimación aplicando KNN basado en usuarios El ítem ha sido votado por al menos n de los k vecinos del usuario? 11

12 3. Toma de Decisión en Algoritmos de Recomendación Según la Incertidumbre IDEA: La desviación típica es sinónimo de incertidumbre. A mayor desviación típica mayor incertidumbre en la estimación y menor confianza en ella. Aplicable algoritmo que proporcionan fórmula para σ Estimación 12

13 3. Toma de Decisión en Algoritmos de Recomendación Según la Incertidumbre K Vecinos Próximos (KNN) Media Ponderada Variational Bayesian 13

14 4. Evaluación de Algoritmos que Toman Decisiones Precisión vs Cobertura HIPÓTESIS: Integración Toma de Decisión PRECISIÓN COBERTURA USC Toma de Decisión Lista 2,5 3,1 4, 5 4,5 3,1 3, 5 3,5 Usuario sin recomendación Usuario lista incompleta Usuario lista completa 4,1 2,1 3, 7 4,1 3,7

15 4. Evaluación de Algoritmos que Toman Decisiones HIPÓTESIS: Precisión vs Cobertura Integración Toma de Decisión PRECISIÓN COBERTURA USC Combinar y USC F-score: G-score: 15

16 4. Evaluación de Algoritmos que Toman Decisiones Métricas Correctness IDEA: Crear una métrica que premie no recomendar a fallar Para la lista de recomendación de cada usuario calculamos: P@N = TP/N NR/N P@N R@N 16

17 4. Evaluación de Algoritmos que Toman Decisiones Métricas Correctness IDEA: Aplicar la misma idea pero desde el punto de vista de ítem Para cada ítem calculamos: TP/ U NR/ U 17

18 5. Experimentos y Resultados - Implementación Implementación Algoritmos Modificaciones KNN Implementación completa y modificaciones Variational Bayesian RankSys Implementación Evaluación RankSys Rival 18

5. Experimentos y Resultados - Datasets Se han utilizado diferentes conjuntos de distintos dominios para poder obtener conclusiones consistentes de los algoritmos sin depender

19 5. Experimentos y Resultados - Datasets Se han utilizado diferentes conjuntos de distintos dominios para poder obtener conclusiones consistentes de los algoritmos sin depender del conjunto que se haya usado Dataset Usuarios Ítems Ratings Densidad Rango ML100K ML1M Jester 943 1,7K 100K 1,33% [1, 5] 6,0K 3,9K 1M 4,26% [1, 5] 59,1K 150 1,7M 1,33% [-10, 10] 19

20 5. Experimentos y Resultados Experimentos realizados Independiente del Modelo Según el Soporte de la Predicción Según la Incertidumbre de la Predicción KNN Basado en Usuarios Variational Bayesian KNN Basado en Usuarios KNN Basado en Usuarios Variational Bayesian 20

21 5. Experimentos y Resultados Estimación Según la incertidumbre de la predicción Variational Bayesian Precisión vs Cobertura de Usuario 21

22 5. Experimentos y Resultados Según la incertidumbre de la predicción Variational Bayesian Detalle evaluación ML100K Mejora del 250% 22

23 5. Experimentos y Resultados Según la incertidumbre de la predicción Variational Bayesian Novedad y Diversidad 23

24 5. Experimentos y Resultados Según la incertidumbre de la predicción Variational Bayesian 24

25 K Vecinos Próximos Variational Bayesian 25

26 5. Experimentos y Resultados Según el soporte de la predicción (KNN) Estimación El ítem ha sido votado por al menos n de los k vecinos del usuario? Precisión vs Cobertura de Usuario 26

27 5. Experimentos y Resultados Según el soporte de la predicción (KNN) Mejora del 562% 27

28 5. Experimentos y Resultados Según el soporte de la predicción (KNN) Novedad y Diversidad 28

6. Conclusiones y Trabajo Futuro Propuesta de taxonomía de técnicas para incorporar la toma de decisión. Con mejoras en P@N de hasta el 560% disminuyendo cobertura, novedad y diversidad.

29 6. Conclusiones y Trabajo Futuro Propuesta de taxonomía de técnicas para incorporar la toma de decisión. Con mejoras en P@N de hasta el 560% disminuyendo cobertura, novedad y diversidad. Propuesta de cómo combinar P@10 y USC a través de métricas parametrizables. Creación de métricas Correctness: UC, RUC, IC y RIC. Métricas que premian no contestar frente a fallar y que no necesitan parametrización 29

30 6. Conclusiones y Trabajo Futuro Ampliar experimentos con nuevos datasets y métricas Estudiar nuevas formas de incorporar la toma de decisión en nuevos algoritmos de recomendación Estudiar cómo combinar otras métricas Realizar estudios con usuarios 30

32 4. Evaluación de Algoritmos que Toman Decisiones Métricas Correctness EJEMPLO

33 5. Experimentos y Resultados Independiente del modelo KNN Precisión vs Cobertura de Usuario

34 5. Experimentos y Resultados Independiente del modelo KNN 34

35 5. Experimentos y Resultados Independiente del modelo KNN Novedad y Diversidad 35

36 5. Experimentos y Resultados Independiente del modelo Variational Bayesian Precisión vs Cobertura de Usuario

37 5. Experimentos y Resultados Independiente del modelo Variational Bayesian

38 5. Experimentos y Resultados Independiente del modelo Variational Bayesian Novedad y Diversidad 38

39 5. Experimentos y Resultados Según la incertidumbre de la predicción KNN 39

40 5. Experimentos y Resultados Según la incertidumbre de la predicción KNN Mejora del 95% Mejora del 322% 40

41 5. Experimentos y Resultados Según la incertidumbre de la predicción KNN Novedad y Diversidad 41

Documentos relacionados

EVALUACIÓN E INTEGRACIÓN DE TOMA DE DECISIONES EN SISTEMAS DE RECOMENDACIÓN

Universidad Autónoma de Madrid Escuela Politécnica Superior Trabajo de Fin de Máster EVALUACIÓN E INTEGRACIÓN DE TOMA DE DECISIONES EN SISTEMAS DE RECOMENDACIÓN Máster en Ingeniería Informática Rus María