Buscadores & Algebra

Transcripción

1 Buscadores& Algebra

2 Búsquedasde datos Un algoritmo de búsqueda es aquel que está diseñado para localizar un elemento concreto dentro de una estructura de datos Búsqueda lineal K = 14 V es vector de elementos de dimensión N K es elemento para i <- 1 hasta N repite: si V[i]=K entonces salida <- "Encontrado" fin para Existen un sin número de métodos de búsqueda V[1]. V[n] Búsqueda burbuja Búsqueda por profundidad Búsqueda binaria Que pasa cuando buscamos datos que no se pueden comparar por tamaños? Se buscará en una BD palabra por palabra hasta encontrar un termino buscado? Que es lo que se busca en las paginas web? Teniendo en cuenta la cantidad de palabras que tiene una sola pagina 2

3 Términos: Palabras y expresiones Palabras Expresiones ej. palabras: tren, mosca, mesa, álgebra ej. expresiones: meter la pata, dar gato por liebre, tren de aterrizaje Términos significativos Objetivo extraer documentos (html, pdf,ps, doc, rtf, etc.) que contengan de forma destacada los términos de la petición de búsqueda. Que pasa con los sinónimos? 3

4 Tipos de búsqueda Imaginemos que buscamos automóvil Búsqueda Literal (Búsqueda al pie de la letra) fallos polisemia u homonimia: la búsqueda trae documentos con la palabra buscada en los que tiene distintos significado. Ejemplo: Tarifa, ciudad y tarifa de precios. sinonimia: la búsqueda ignora documentos con palabras sinónimas ventajas búsqueda semántica Traería a nuestra atención documentos con el término cochee incluso sería preferible que recuperase los que contienen palabras asociadas en menor extensión. Cómo podemos asociar automóvil con coche? Hay algún método matemático? palabras asociadas usualmente: conductor, chófer, coche, automóvil, motor, vehículo, chasis, gasolina, parabrisas, neumático, rueda, lunas, volante, Seat, Renault, etc. mayor simplicidad del software empleado. 4

5 Búsqueda semántica Los textos de las páginas web tienenruido lingüístico. Las palabras tienen diversos significados Qué debemos hacer? Las computadoras no conocen los idiomas. Análisis semántico latente Tipo de análisis computacional que, basado en un algoritmo matemático, permite determinar y cuantificar la similitud de significado entre piezas textuales. Supongamos! BD del buscador contiene mtérminos diferentes y ndocumentos o páginas A = (aij),m n que muestra las incidencias de las términos en cada documento. 5

6 Analisissemantico latente Ejemplo D j relacionar D k hacemos el producto escalar Si el producto escalar es 0 D j ortogonales D k Su producto escalares cero, no comparten ningún término. ejemplo: una página que contiene a mandrily otra página que contiene algebra. Palabras relacionadas 6

7 Análisis semántico latente Necesitamos una distancia que ignore la cantidad de términos iguales que se repiten, para ello calculamos el ángulo, o su coseno, entre ambos vectores columnas. Se ha dado un vector de búsqueda umbral de tolerancia Existe un número τ / 0 < τ < 1 Si cos θj τ, hacemos que el buscador traiga la página j a la atención del peticionario Debemos hallar el ángulo que forma q con cada una de las páginas dj Busca el Angulo entre los términos de la búsqueda y los términos de las web existentes con un 1 en el lugar j-ésimo, j {1,..., n} los vectores de la base canónica el ángulo θj es casi 0 ó que su coseno cos θj es casi 1 7

8 Conclusiones En los buscadores no se pueden utilizar los algoritmos comunes de búsqueda. Con AL se pueden realizar comparaciones entre los términos buscados y los términos de las paginas existentes en las BD de los buscadores Las búsquedas por medio del AL resuelven un problema que sería muy costoso realizando algoritmos diferentes. 8

9 Preguntas En el año 2007 se estimaron 155 millones de sitios Web como puede hacer google para encontrar resultados en segundos? de que manera puedo reducir la masa de datos en donde queremos realizar la búsqueda? 9

10 Preguntas? A.P.U Esteban Musacchio Buscadores & Algebra Junio