Recuperación de la Información

Transcripción

1 ssema de recuperacón de nformacón Recuperacón de la Informacón consula documenos mach Documenos Concepos Báscos relevane? ssema de recuperacón de nformacón palabras clave ndexado Las palabras clave (keywords) son áomos lngüíscos Palabras Pares de palabras (sems) Frases Se ulzan para caracerzar el conendo de un documeno Dos perspecvas Cómo son usadas (consulas de usuaro) Cómo se asocan a documenos El ndexado es el proceso por el cual un vocabularo de palabras clave es asgnado a odos los documenos de un corpus. Relacón de mapeo que asoca cada documeno (doc) con un conuno de palabras clave (kw) El mapeo nverso capura, para cada palabra clave, el obeo que descrbe Indce doc es acerca de { kw } Indce : :{ descrbe kw } doc ndexado modelos de recuperacón de nformacón (RI) Vsa lógca (o represenacón) del documeno exo compleo conuno de palabras clave (o caegorías) asgnadas por un humano conuno de palabras clave exraídas auomácamene El problema de la RI es deermnar s un documeno es relevane o no y ordenar a aquellos que sean relevanes de acuerdo a su grado de relevanca (rankng) Los dsnos méodos ulzadas en la represenacón de documenos y en el cálculo de la relevanca dan lugar a dsnos modelos de RI.

2 modelos de RI modelo Booleano Un modelo de RI es una cuádrupla [D,Q,F,R(q,d )] donde: D es un conuno de represenacones de los documenos en la coleccón Q es un conuno de represenacones de necesdades de nformacón de los usuaros o consulas F es un marco de modelado de documenos, consulas y sus relacones R(q,d ) es una funcón de rankng que asoca un número real con una consula y un documeno. El rankng defne el orden en el que el documeno sasface la consula. Basado en eoría de conunos álgebra de Boole q = ka ( kb kc ) modelo Booleano Venaas El concepo de conuno es nuvo. Consulas basadas en expresones booleanas, cuya semanca es precsa. Desvenaas Crero de decson bnaro, sn escala de relevanca w {,} No es naural para un usuaro expresar una consula como una expreson booleana. Inena superar las lmacones generadas por el uso de pesos bnaros, asgnando pesos no bnaros a los érmnos en los documenos. Perme la relevanca parcal Compua el grado de smlardad enre documenos y consulas de forma gradual, y no absolua. Perme ordenar documenos de acuerdo al grado de relevanca. Un documeno d y una consula q se represenan como vecores en un espaco de n dmensones, sendo n el número de érmnos ndexados en la coleccón de documenos. d q Smlardad por coseno (cosne smlary) α d q La smlardad enre documenos y consulas se evalúa comparando los vecores que los represenan. Preguna: cómo comparar dos vecores para deermnar s son smlares? r r r r d q sm( d, q) = r r = d q = = w w w q = w q

3 Perme concdenca parcal (paral machng). Se esablece un umbral de relevanca para decdr cuando mosrar un documeno como relevane. El problema para obener la relevanca se reduce a la forma de asgnar pesos a los dsnos érmnos.?q α Méodo TF-IDF para compuar w (peso del ermno k en el documeno d ) freq f = max freq df = log N n w = f df freq es la frecuenca del érmno k en el documeno d f es la frecuenca normalzada del érmno k en el documeno d (el máxmo se obene sobre los érmnos del documeno) [opconal], N es el oal de documenos de una coleccón, n son los documenos en los que aparece el érmno k. df es la frecuenca de documeno nversa Qué problemas presena ese méodo en general? Qué problemas presena ese méodo en el domno de la Web? Eemplo del ulzando el méodo TF-IDF D D4 D: el Danubo pasa por Vena, su es : el de un ascende en Inverno : el Rhn y el Danubo enen mucho D4: s un es navegable, es porque ene mucho Marz con frequenca de ermnos (TF) vena nverno rhn navegable D D4 vena Calculo de frequenca de documeno nversa (IDF) nverno rhn navegable IDF () = log (4/4) = log () = IDF () = log (4/) = log =.3 IDF (vena) = log (4/) = log 4 =.6 IDF () = log (4/) = log 4 =.6 IDF () = log (4/) = log 4 =.6 IDF () = log (4/3) = log.33 =.4 IDF (nverno) = log (4/) = log 4 =.6 IDF (rhn) = log (4/) = log 4 =.6 IDF(navegable)=log(4/)=log 4=.6 fuene Francsco Javer Marínez Méndez fuene Francsco Javer Marínez Méndez dualdad enre érmnos y documenos vena D D4 Marz TF-IDF vena D D4 Q: nverno nverno.6 rhn navegable rhn navegable.6.6 Smplfcando el eemplo aneror D: : : : D, : D, :, D D Q.3.4 fuene Francsco Javer Marínez Méndez 3

4 dualdad enre érmnos y documenos lsa: análss de semánca laene D D ro D D Propueso por Landauer y Dumas (997) Méodo pare exraer y represenarel uso conexual de los érmnos Se basa en concdenca de concepos en lugar de concdenca de érmnos lsa lsa X = T S D S X D X = T d c c c c d d c c c c d redes neuronales conunos dfusos aprendzae supervsado (la red debe ser enrenada) érmnos concepos documenos consula k d k c d c k d c M k L d N La mporanca de un érmno en un documeno es una nocón dfusa. Por lo ano, la relevanca de un documeno con respeco a una consula es ambén dfusa. Los érmnos de una consula pueden expandrse de acuerdo a su semánca ulzando: dcconaros relacones de co-ocurrenca 4

5 conunos dfusos conunos dfusos facor de co-ocurrenca enre k y k l : c l nl = n + n n l l k k k k.3. k.3.7 n = num. de documenos que conenen a k n l = num. de documenos que conenen a k l n l = num. de documenos que conenen a k y k l k..7 Eemplo k k k3 k4 d 3 =(,,,) k k k3 k μ = cl ( cl ) kl d kl d μ3 = c + c3 + c4 =,3 +,7 +, =, μ = (( c ) ( c ) ( c )) = = ((,3) (,7) (,)) = (,7,3,9) = =,89 =,8 Cuál es la mporanca de k en d 3? marz de co-ocurrenca obenda prevamene evaluacón bblografía Coberura (Recall) Fraccón de documenos relevanes que fueron recuperados R A R Precsón (Precson) Fraccón de documenos recuperados que son relevanes R A A Relevanes que son Recuperados R A Relevanes R Coleccón Recuperados A. Mnng he Web: Dscoverng Knowledge from Hyperex Daa, Soumen Charkabar, Morgan Kaufmann,.. Modern Informaon Rereval. Rcardo Baeza-Yaes, Berher Rbero-Neo. Addson Wesley Longman,