Similaridad y Clustering

Transcripción

1 web results Similaria y Clustering motivación Problema : ambigüea e consultas Problema 2: construcción manual e jerarquías e tópicos y taxonomías Problema 3: acelerar búsquea por similaria (clusters más representativos) Agrupamiento e elementos en subconjuntos e tal manera que los elementos asignaos a un mismo conjunto tengan alguna característica en común--- generalmente los elementos entro e un mismo cluster son más similares entre sí que con elementos fuera el cluster. propieaes eseables Hipótesis e Cluster: si el usuario se interesa en un elemento (ocumento/término) probablemente también se interese en elementos similares. escalabilia en tiempo y espacio habilia para manipular istintos tipos e atos mínimos requerimientos e conocimiento sobre el ominio para eterminar el valor e los parámetros capaz e manejar ruio y outliers estable

2 subjetivia subjetivia W B W B W B W B W W B B aaptao Eamonn Keogh subjetivia subjetivia aaptao Eamonn Keogh aaptao Eamonn Keogh sobre ocumentos har vs soft Meias e similaria Representación e ocumentos como vectores TFIDF Distancia Har Clustering caa objeto pertenece a un único cluster Coseno el ángulo Cuestiones Número total e clusters Gran número e imensiones ruiosas La noción e ruio epene el ominio Har vs soft. Soft Clustering caa objeto se asigna probabilísticamente a un cluster 2

3 métoo aglomerativo Aprenizaje no supervisao no existen ejemplos emostrano como los atos eberían ser agrupaos Métoo e exploración e atos una manera e observar patrones e interés en los atos enograma 3

4 elección el valor para k convergencia no-eterminismo co- reucción e imensionalia co- agrupa y ocumentos simultáneamente ocumentos cluster e clusters e ocumentos ocumento ocumento vector e vector e palabra# palabra#k m cluster# cluster#k m latent semantic inexing latent semantic inexing k car D V k D V A t SVD U A t SVD jaguar U auto r k-im vector r k-im vector 4

5 sistemas e recomenación y búsquea en la Web Personas=registros, películas=características Las personas y las películas puees ser agrupaas retro-alimentación mutua e similaria Necesia e moelos avanzaos Lyle Ellen Jason Fre Dean Karen Batman Rambo Anre Hiver Whispers StarWars From Clustering methos in collaborative filtering, by Ungar an Foster Motivaciones ireccionamiento e consultas facilitar la navegación e ocumentos acceer a ocumentos similares mostrar iversia Moos previo a la recuperación e información realizao e antemano sobre toa la colección posterior a la recuperación e información buscaor browser meta-buscaor ireccionamiento e consultas ireccionamiento e consultas ocumentos istribuios en varios serviores ocumentos similares en un mismo servior o serviores próximos generación e escriptores para ientificar clusters urante la recuperación e información ientificación e clusters relevantes ireccionamiento e las consultas a los serviores corresponientes integración e resultaos consulta: ocument Library Science Computer Science Zoology Geology browsing basao en e resultaos Scatter/Gather (Cutting, et. al., SIGIR 92) Agrupar ocumentos en grupos temáticos Presentar resúmenes escriptivos a los usuarios Los usuarios pueen navegar y eterminar posibles jerarquías e clusters Agrupar ocumentos en los clusters seleccionaos y generar e resúmenes Recuperar ocumentos Library Science Computer Science Zoology Geology consultas cortas (poco especificas) resultaos relevantes e irrelevantes realizar sobre resultaos ayua a que los usuarios eterminen su necesiaes reales consulta: Multimeia Information Retrieval Library Automation Vieo Hypermeia Virtual Reality 5

6 e resultaos Grouper requisitos coherentes posible solapamiento buenas escripciones para el usuario velocia (snippet tolerance) Grouper expansión e resultaos ocumentos relevantes porían no coinciir con consultas (vocabulario) recuperar un núcleo (core) e ocumentos que coincia con la consulta expanir resultaos con ocumentos que no coincian con la consulta pero que se agrupen con el núcleo consulta núcleo resultaos expanios refinamiento e consultas Grouper ocumentos relevantes porían no coinciir con consultas (vocabulario) computar inámicamente términos que tengan el potencial e mejorar precision/recall y sugerirlos al usuario sugerencia e términos agrupar ocumentos en clusters por tema el usuario puee usar las frases que caracterizan al cluster para reformular consultas 6

7 páginas web vs. texto simple tags en páginas HTML Diferencia en la istribución léxica Páginas Web enriquecias con recursos mulitmeiales Estructura e enlaces/topología Uso e tags en páginas Web Tags para resaltar importantes Bol <b>, Italic <i>, Unerline <u>, Font <font> Tags para estructura e ocumento Title <title> Heaer <hea> Healine <h>, <h2>, <h3> List Items, <li> Tags para efinir enlaces Anchor <a> análisis e conectivia bibliografía un enlace entre os páginas establece una relación entre esas páginas La similaria entre os páginas poría estimarse meiante longitu el camino más corto entre las páginas suma e longitues e caminos más cortos entre ancestro común y páginas suma e longitues e caminos más cortos entre páginas y esceniente común B E F G A C H I D J Mining the Web: Discovering Knowlege from Hypertext Data, Soumen Chakrabarti, Morgan Kaufmann,