BÚSQUEDA VISUAL CON RETROACCIÓN DE RELEVANCIA BASADA EN ACTUALIZACIÓN DE PESOS!!!

Transcripción

1 BÚSQUEDA VISUAL CON RETROACCIÓN DE RELEVANCIA BASADA EN ACTUALIZACIÓN DE PESOS Ada Rubano Febrero 2011

2 ÍNDICE 1. INTRODUCCIÓN 2. REQUERIMIENTOS 3. DISEÑO 4. DESARROLLO 5. RESULTADOS 6. CONCLUSIONES 7. TRABAJO FUTURO 1

3 INTRODUCCIÓN(I) BASE DE DATOS DESCRIPTORES VISUALES MOTOR DE BÚSQUEDA Consulta RETROACCIÓN POR RELEVANCIA 2

4 INTRODUCCIÓN(II) Proyecto desarrollado en el marco del proyecto CENIT Buscameda fnancado por el goberno español y la CCMA (Corporacó Catalana de Mtans Audovsuals). 3

5 REQUERIMIENTOS (I) OBJETIVO: Comprobar s la nteraccón del usuaro puede meorar los resultados obtendos con una sola teracón. El proyecto tene como precedente el trabao fnal de carrera de Carles Ventura. 4

6 REQUERIMIENTOS (II) DESCRIPTORES VISUALES DESCRIPTOR DE COLOR DOMINANTE DESCRIPTOR DE ESTRUCTURA DE COLOR DESCRIPTOR DE DISTRIBUCIÓN DE COLOR DESCRIPTOR DEL HISTOGRAMA DE LA TEXTURA DE LOS CONTORNOS Base de datos utlzada: Common Color Dataset (CCD) 5466 mágenes Ground truth: 50 mágenes como consulta 5

7 REQUERIMIENTOS (III) El dseño del sstema se dea para una futura ntegracón al sstema de recuperacón de mágenes UPSeek. Los resultados son evaluados a través de: Average Normalzed Modfed Retreval Rate (ANMRR) MAP (Mean Average Precson) 6

8 DISEÑO (I) RETROACCIÓN POR RELEVANCIA GENERAR UNA NUEVA CONSULTA ENTRENAR EL SISTEMA CON CLASIFICADORES ACTUALIZACIÓN DE PESOS 7

9 DISEÑO (II) El motor de búsqueda UPSeek No es lo sufcentemente rápdo para manear un conunto grande de datos en un tempo computaconalmente aceptable. Realzar los expermentos sobre resultados de búsqueda precalculados en forma de GRAFOS DE SIMILITUD. 8

10 DISEÑO (III) ESQUEMA DE LA TÉCNICA DE ACTUALIZACIÓN DE PESOS 9

11 DISEÑO (IV) EXPERIMENTOS RUI TAYCHER AKSOY PROPUESTA 1A PROPUESTA 1B PROPUESTA 2 PROPUESTA 3 PROPUESTA 4 PROPUESTA 5 10

12 DISEÑO (V) PROCESO DE ACTUALIZACIÓN DE PESOS Incalzar los pesos a 0. Δw varía en funcón de la relevanca que le da el usuaro y el expermento escogdo. Normalzar los pesos Actualzar las dstancas fusonadas y ordenar la lsta 11

13 DISEÑO (VI) ACTUALIZACIÓN UNIFORME TÉCNICA RUI ORIGINAL 5 sstemas de evaluacón TÉCNICA RUI ADAPTADA 3 sstemas de evaluacón Δw = 3; es altamente relevante = 1; es relevante = 0; no opna = -1; no es relevante = -3; no es altamente relevante Δw = 3, es relevante = 0; no opna = -3; no es relevante INCONVENIENTE No varía en funcón n de la poscón n del grado de smltud con la consulta 12

14 DISEÑO (VII) PROPUESTA 1A Y PROPUESTA 1B ACTUALIZACIÓN SEGÚN POSICIÓN ACTUALIZACIÓN MÁXIMA ENTRE LAS PRIMERAS m POSICIONES Δw Aproxmacón técnca no mplementable. = N pos ( x), es relevante S (la magen es relevante & = 0, no opna = ( N pos ( x)), no es relevante pos ( ) ) x m Δ w = N donde: N= nº de mágenes vsbles para el usuaro pos ( x) = poscón donde se stúa la magen x a evaluar en el descrptor. 13

15 DISEÑO (VIII) PROPUESTA 2 ACTUALIZACIÓN SEGÚN LA DISTANCIA Δw 1 d ( q, x), es relevante (1 d ( q, x)) donde: d ( q, x ) corresponde a la dstanca exstente entre la consulta y la magen a evaluar para el descrptor. 14

16 DISEÑO(IX) ACTUALIZACIÓN SEGÚN MEDIA DE LAS DISTANCIAS RELEVANTES TÉCNICA DE TAYCHER donde: w 1 = ε + µ + µ + : meda de la dstancas normalzadas de las mágenes relevantes. ε: constante que lmta la nfluenca de un descrptor concreto. Para este expermentos y el resto que lo requera su valor es de 0.1. INCONVENIENTE No tene en cuenta las mágenes no relevantes. En el caso de que la meda de las mágenes no relevantes fuera smlar al de las relevantes NO es un buen estmador. 15

17 DISEÑO(X) ACTUALIZACIÓN SEGÚN MEDIA NORMALIZADA DE DISTANCIAS RELEVANTES PROPUESTA 3 PROPUESTA 4 donde: w = ε 1 µ + µ + ± w = ε 1 µ + µ + µ ± : meda de la dstancas normalzadas de las mágenes relevantes y no relevantes. S no exsten mágenes no relevantes. µ = 1 w 1 = ε + µ + 16

18 DISEÑO ACTUALIZACIÓN POR DESVIACIÓN ESTÁNDAR NORMALIZADA DE LAS DISTANCIAS RELEVANTES AKSOY PROPUESTA 5 w σ σ ± = + w = ε 1 σ + σ + ± σ ± : desvacón de la dstancas normalzadas de las mágenes relevantes y no relevantes. σ + : desvacón de la dstancas normalzadas de las mágenes relevantes. 17

19 DESARROLLO (I) DISEÑO ADAPTADO 18

20 DESARROLLO (II) GRAFO DE SIMILITUD Relacona cada elemento de un conunto con los otros elementos más smlares del msmo conunto. Se ha calculado un Grafo de Smltud para cada tpo de descrptor vsual. 19

21 DESARROLLO (III) USUARIO VIRTUAL Anotacón manual generada prevamente. Anotada para los dferentes conceptos que se ncluyen en el expermento. S la nstanca de la magen es: Postva = relevante Negatva = no relevante Neutra = no sabe 20

22 DESARROLLO (IV) ELABORACIÓN DE LA LISTA DE RESULTADOS IMÁGEN PARÁMETROS FIJOS PARÁMETROS VARIABLES - Ruta Local -Valor de las dstancas/descrptor vsual - Vector de la poscón/lstas de cada descrptor vsual - Valor Instanca/consulta d( q, x) = w d ( q, x) 21

23 DESARROLLO (V) ELABORACIÓN DE LA LISTA DE RESULTADOS ESQUEMA RESUMEN 22

24 RESULTADOS(I) CUESTIONES A RESOLVER: 1.- Sn nvolucrar a la retroaccón por relevanca, Qué sstema de fusón de smltudes obtene meores resultados: por poscón o medante combnacón lneal? 2.- Qué expermento obtene meores resultados? 3.- Qué descrptor vsual es más útl para esta base de datos? 4.- Cuanto meoran los resultados al nteracconar el usuaro con los resultados? 5.- Se obtenen las msmas conclusones observando las dos evaluacones? 23

25 RESULTADOS(II) MÉTRICAS DE EVALUACIÓN: MAP ( ) MAP Q Q 1 = AP( Q) Q = 1 AP (Average Precson): Q 1 1 = AP( Q) Precsó n( R k ) Q m m = 1 k = 1 Q R m : número de consultas que se realza : es el conunto de prmeros k resultados devueltos para la consulta : es el número de documentos relevantes para la consulta. 24

26 RESULTADOS(III) MÉTRICAS DE EVALUACIÓN: ANMRR ANMRR Q 1 = NMRR Q = 1 NMRR (Normalsed Modfed Retreval Rank): NMRR = MRR (Modfed Retreval Rank): MRR = AVR 0.5 $ 1+ m " % MRR 1.25 R 0.5 $ 1+ " k m % AVR (Average Rank): AVR m 1 = Rank m k = 1 k # Rankk s Rankk R k = $ % 1.25 R s Rank > R Rank k R k = mn{ 4 m, 2 max $ m, " %} k k k Rank :poscón donde la magen relevante k es devuelta k R :numero de mágenes devueltas para una consulta q. m :número de mágenes relevantes en la base de datos 25

27 RESULTADOS(IV) CUESTIÓN 1. FUSIÓN DE SIMILITUD POR POSICIÓN VS COMBINACIÓN LINEAL ANMRR Q 1 = NMRR Q = 1 F. Poscón F. comb. lneal ANMRR 0, ,1429 Comparacón a nvel de consulta: 100% 26

28 RESULTADOS(V) CUESTIÓN 2. QUÉ EXPERIMENTO ES MEJOR? ANMRR 0,18 0,16 0,14 0,12 RUI PROPOSE 1A PROPOSE 1B PROPOSE 2 TAYCHER PROPOSE 3 PROPOSE 4 AKSOY PROPOSE 5 0,1 Iteracón 0 Iteracón 2 Iteracón 4 Iteracón 6 Iteracón 8 27

29 RESULTADOS(VI) CUESTIÓN 2. QUÉ EXPERIMENTO ES MEJOR? 0,8 MAP 0,725 0,65 0,575 RUI PROPOSE 1A PROPOSE 1B PROPOSE 2 TAYCHER PROPOSE 3 PROPOSE 4 AKSOY PROPOSE 5 0,5 Iteracón 0 Iteracón 2 Iteracón 4 Iteracón 6 Iteracón 8 El expermento de Taycher es el que proporcona el meor resultado en ambas métrcas 28

30 RESULTADOS(VII) CUESTIÓN 3. QUÉ DESCRIPTOR RESULTA MEJOR? reagan person ngress garden scape 3 d horse P R O M E D I O DE PESOS Texture Edge Color Layout Domnant C o l o r Color Structure 0,2786 0,2259 0,1323 0,3631 glasses the red z scene Texture Edge Color Layout Domnant Color Color Structure 100% PROMEDIO DE nd sky shop snake peaker people mage 0,00 0,30 0,60 0,90 1,20 29

31 RESULTADOS(VIII) CUESTIÓN 4. CUÁNTA ES LA MEJORA DE LOS RESULTADOS CON LA INTERACCIÓN DEL USUARIO? Iter. 0 Iter. 1 Iter. 2 Iter.n 3 Iter. 4 Iter. 5 Iter. 6 Iter. 7 Iter. 8 Iter. 9 MAP 0, , , , , , , , , , Iter. 0 Iter. 1 Iter. 2 Iter. 3 Iter. 4 Iter. 5 Iter. 6 Iter. 7 Iter. 8 Iter. 9 ANMRR 0, , , , , , , , , , G MAP 7.55% G. Iter 1 G. Iter 2 ANMRR 16.27% 18% 30

32 RESULTADOS(IX) CUESTIÓN 5. SE OBTIENE LAS MISMAS CONCLUSIONES OBSERVANDO LAS MÉTRICAS UTILIZADAS? SIMILITUDES DIFERENCIAS El expermento de Taycher obtene los meores resultados El expermento Ru y Propuesta 2 no sguen el comportamento habtual n en ANMRR n en MAP. Los meores resultados nteractuando con el usuaro se obtenen en las teracones 1 y 2. S se observa los resultados de ANMRR de la Propuesta 1A y 1B no sguen el comportamento normal de la curba. En cambo, sus resultados MAP son bastante buenos. La mayoría de los resultados de los expermentos no llegan a establzarse en la métrca ANMRR, en cambo en MAP s. 31

33 CONCLUSIONES Se ha demostrado que las técncas de Retroaccón por Relevanca meoran los resultados de los sstemas de recuperacón de mágenes. La retroaccón meora s se tene en cuenta los resultados vecnos. Para la base de datos CCD el expermento que resulta meor es el de Taycher. 32

34 TRABAJO FUTURO Generar los expermentos con una base de datos más extensa. Desarrollar las técncas restantes de Retroaccón por Relevanca: uso de clasfcadores y generacón de una nueva consulta. Medr de forma más precsa cuanta nformacón debe generar el usuaro, al nterpretar una nteractuacón cada vez que el usuaro valora una magen. 33

35