- PDF Free Download

Transcripción

1 MOTORES DE BÚSQUEDA EN INTERNET David Lambertucci Resumen En este trabajo de investigación se presenta un servicio que se ofrece en Internet y que es de vital importancia para los usuarios de la Web como son los motores de búsqueda. Se describen la arquitectura y funcionamiento de los motores de búsqueda, se presenta un relevamiento que se realizo referente a los motores de búsqueda más usados en la actualidad describiendo sus características principales y se especifican las características de como funcionan los metabuscadores. Los motores de búsqueda son una herramienta que basan su funcionamiento en palabras claves que tienen como finalidad tomar los recursos disponibles en Internet para formar una base de datos. Los metabuscadores son sistemas que trabajan de manera diferente, toman una consulta y se encargan de enviarla a los diferentes buscadores que hay en Internet [3]. Introducción Actualmente, y desde hace un tiempo, con los avances continuos en las telecomunicaciones y en el tema que nos es de interés especial: Internet, podemos observar que a medida que pasa el tiempo se esta convirtiendo en un medio de comunicación común y de gran importancia. Sin embargo, la utilización de este medio puede que no se lo utilice en su esplendor si no se utiliza de una manera adecuada. Por esto, la utilización de los motores de búsqueda son de gran importancia para adquirir información de Internet. Los motores de búsqueda tienen como función realizar una búsqueda dentro de una base de datos, la cual pudo haber sido armada por un robot o bien puede ser un índice. En cualquier caso, el motor de búsqueda recibe la consulta del usuario, el cual ingresa una o varias palabras, realiza la búsqueda en la base de datos y luego devuelve los resultados en forma de lista que cumplan con la consulta del usuario. A diferencia de los motores de búsqueda, un metabuscador basa su búsqueda en los buscadores que tiene disponibles, no disponen de base de datos propia, podría decirse que actúan de intermediarios entre los usuarios y los motores de búsqueda. MOTORES DE BÚSQUEDA Un motor de búsqueda o también llamado mecanismo de búsqueda (search engine) es un programa que realiza búsquedas dentro de una base de datos, su funcionamiento se basa en palabras claves que file:///c /WINDOWS/Escritorio/zzz/Monografia.htm (1 of 10) [10/11/2001 9:08:11 AM]

2 como objetivo tienen tomar e indexar los recursos disponibles en la Red para formar una gran base de datos [2]. Recibe una consulta del usuario compuesta de una o mas palabras, realiza la consulta a la base de datos y muestra un listado ordenado de documentos que pueden o no cumplir con los objetivos de la consulta del usuario, en forma parcial o total. El lenguaje con el que trabaja para realizar la búsqueda esta formado de varios tipos diferentes de operadores: [4] Operadores lógicos con los cuales pueden realizarse tres operaciones: suma o unión (and, +), producto o intersección (or) y exclusión (no, -). Operadores de comparación que se aplican para especificar el rango de una búsqueda en forma numérica o alfabética. Utilización de mascara y truncamiento Operadores de proximidad ofrecen un mayor contexto en la búsqueda. Especificación de campo que se utiliza para limitar la búsqueda, está formada por prefijos y sufijos que se añaden al descriptor [5]. Estructura de un Motor de Búsqueda Los Motores de Búsqueda están compuestos por tres elementos principales: 1. La araña es un programa que en forma automática atraviesa la estructura de documentos Web extrayendo un documento y a partir de éste extraen recursivamente todos los documentos que están referenciados por enlaces. Los documentos son introducidos en una base de datos e indexados para su posterior localización por un mecanismo de búsqueda. 2. Un índice o directorio recibe toda la información obtenida por la araña, es una recopilación manual de documentos, que pueden mantenerse como directorio o bien ser introducidos también en una base de datos para permitir que se realicen búsquedas. 3. El Software, cuya función es extraer la información cuando se realiza una búsqueda, realizando para esto un recorrido por todas las páginas buscando la información solicitada, y posteriormente entregarla en orden de relevancia para ser mostrada al usuario en respuesta a la consulta a la base de datos por parte de éste. La información se muestra en forma de enlaces hacia las páginas. Componentes de un motor de búsqueda: 1. Un robot es un programa residente en una máquina conectada a Internet que recupera de forma automática los títulos, las cabeceras y/o el texto de las páginas Web. A partir de estos elementos genera unos índices de palabras clave que se pueden buscar desde los clientes WWW. Es el encargado de crear un listado de direcciones URL, acceder y leer los documentos contenidos, y mantener el listado de direcciones. Cuando un robot entra en un nuevo servidor, busca un fichero que se llama robots.txt, en el que se le indican los directorios permitidos y no permitidos. Si este fichero no existiera, los considera a todos permitidos. [1] 2. Una Base de datos que contiene información derivada de las páginas analizadas por el robot. file:///c /WINDOWS/Escritorio/zzz/Monografia.htm (2 of 10) [10/11/2001 9:08:11 AM]

3 3. Un sistema automático de análisis de contenido e indexación de los documentos localizados. 4. Un sistema de interrogación, que se basa generalmente en álgebra de Boole. Esta compuesto por un conjunto de órdenes que permiten buscar registros que contengan uno o más términos, simples o compuestos, en la estructura de almacenamiento de un sistema de información. 5. Un programa que actúa de enlace entre el servidor de documentos web y la base de datos. Se pueden distinguir tres tipos de motores de búsqueda, también estos son conocidos como Servicios de Búsqueda en Internet: [3] Motores de Búsqueda verdaderos. Directorios. Motores de Búsqueda híbridos. La diferencia entre cada uno de estos se encuentra en la forma en que se obtiene la información sobre los diferentes sitios [6]. Motores de Búsqueda verdaderos: son enormes basas de dato que almacenan todas las paginas Webs y de los recursos que encuentran, operan haciendo un barrido de la Web, unos programas llamados robots se encargan de explorar la red navegando por las distintas páginas y con la información que toman generan los índices de búsqueda. En caso de que las páginas se modifiquen, estos cambios pueden influir en la forma en que aparecen listados los sitios por los Motores de Búsqueda. Es de importancia tener en cuenta los encabezamientos de las páginas y su contenido. Aunque almacenan más información que los otros son menos precisos en la búsqueda que realizan. Directorios: dependen de personas para obtener sus listas. Se les envía información con una descripción pequeña del contenido del sitio o a veces tienen personas que se encargan de revisar los sitios y de incorporarlos dentro de sus listados. Por lo tanto la información entregada por el sitio depende de la descripción que se le de sobre el sitio. Los modificaciones que se realicen en las páginas no tendrán ninguna influencia sobre la forma en que los sitios aparecen listados por los Directorios. Estos motores se encargan de indexar las direcciones web en categorías. La principal característica de estos, es que las direcciones que encontremos en cada categoría son asignadas por una persona, no por un programa. Para buscar algo en un índice podemos navegar las diferentes secciones hasta encontrar lo que buscamos, o podemos hacer una búsqueda. Motores de Búsqueda Híbridos: se caracterizan por utilizar un Directorio asociado; en estos, además de hacer un barrido por los diferentes sitios de la Web, cuentan con personas que se encargan de revisar los sitios y de hacer la descripción del mismo. Relevamiento Tabla 1: Características de los principales motores de búsqueda Lycos Yahoo Altavista HotBot Infoseek file:///c /WINDOWS/Escritorio/zzz/Monografia.htm (3 of 10) [10/11/2001 9:08:11 AM]

4 Navegación y búsqueda por categorías Palabras prohibidas Palabras obligadas Búsqueda de frases Búsqueda restringida por lenguaje Búsqueda en otros medios Búsqueda restringida por tiempo Conector lógico por defecto Otras características Sí Sí No Sí No Sí Sí Sí Sí Sí Sí Sí Sí Sí Sí Sí Sí Sí Sí Sí Sí No Sí Sí Sí Por defecto busca dentro del WWW, y de servidores Gopher y FTP. Usenet, imágenes, páginas amarillas, y otros. No ftp, nombres de dominio, otros. Sí Sí Sí Sí Si AND AND OR AND OR Búsqueda dentro de No permite muchos títulos de las refinamientos en las páginas y búsquedas dentro de urls. Campos de búsqueda: domain: host: image: title: url: link: like: anchor: applet: Puede restringir la búsqueda por países (por sus dominios), puede buscar páginas conteniendo recursos (applets, video, mp3, etc.) En el WWW, en las News, o entre las Web FAQs. Su robot indexa de forma automática todas las palabras contenidas en una página web, exceptuando los artículos y las proposiciones Características generales de los principales motores de búsqueda Altavista Este motor indexa los primeros 1024 caracteres de cada documento. Está considerado como el mejor motor de búsqueda existente en la actualidad, con más de 40 millones de referencias. Ordena los documentos según una puntuación que sigue ciertos criterios referentes a las palabras ingresadas por el usuario. La búsqueda permite especificar algunos parámetros que permiten acotar y delimitar los recursos que se encuentran, mejorando así los "aciertos" de su base de datos. Los operadores básicos que podemos usar son: comillas, mayúsculas y minúsculas, incluida (+), eliminar (-) y raíz (*). Las búsquedas pueden ser simples o avanzadas. Cada uno de estas tiene asociada una página de ayuda en la que se explica como puede hacerse la búsqueda en cuanto a alcance como pueden ser preferencias en cuanto al idioma, seleccionar los campos de salida a visualizar y otras. Altavista considera las frases como palabras separadas por espacios. Para que considere una frase completa, debe encerrarse entre comillas, o bien sustituir los espacios entre las palabras por ";". file:///c /WINDOWS/Escritorio/zzz/Monografia.htm (4 of 10) [10/11/2001 9:08:11 AM]

5 Cuando las palabras clave se introducen en minúsculas, Altavista buscará esas palabras tanto en minúsculas como en mayúsculas; mientras que si se introduce alguna letra en mayúscula, buscará la coincidencia exacta. Otra forma de localizar información con Altavista es dirigir la búsqueda a Usenet. La red de los grupos de noticias contiene información más actualizada que la Web, dado que es todo texto y a que se actualizada diariamente. Altavista utiliza los siguientes criterios de ordenación: Las palabras o frases requeridas se encuentran en las primeras palabras del documento. Cuanto más cerca se encuentren entre sí las palabras o frases requeridas. Cuantas más veces aparezcan las palabras o frases solicitadas. Infoseek El método que sigue de elegir y ordenar los resultados de las búsquedas se basa en ciertos criterios al igual como lo realiza Altavista. Estos serían: Número de veces que la palabra o frase aparece en la página Las palabras muy usuales generan puntuación menor que las poco usuales. Las frases generan mayor puntuación que las palabras sueltas.asocia una puntuación de 0 a 100 a las páginas, basada en los criterios. Coincide con Altavista en muchos puntos de la nomenclatura para realizar búsquedas. Como un ejemplo puede ser: para agrupar palabras para formar una frase se puede realizar con comillas. Con los signos + y - delante de palabras implica su presencia o ausencia en la búsqueda. También distingue mayúsculas de minúsculas. Los resultados de la búsqueda también tienen información complementaria muy valiosa, que son los Related topics. Otro punto interesante es que permite realizar otra búsqueda únicamente en los documentos encontrados en la primera (en el campo de búsqueda al pie de página). Cuando se realiza la búsqueda se puede elegir dónde se puede realizar: en el WWW, en las News, o entre las Web FAQs. La búsqueda en las FAQ (documentos de preguntas frecuentes) es muy útil cuando buscamos información general sobre un tema. El aspecto más interesante que presenta es que su robot indexa de forma automática todas las palabras contenidas en una página web, exceptuando los artículos y las proposiciones. El principal defecto que presenta es que no permite la utilización de operadores booleanos ni truncados. Su uso es muy interesante para realizar la búsqueda de texto. Lycos Este indexa el título, cabecera del documento, cabeceras y subcabeceras, enlaces, las 100 palabras más utilizadas en el documento y las primeras 20 líneas. Parte de su base de datos no está totalmente indexada sino que únicamente tiene el título y el URL. El método que sigue de elegir y ordenar los resultados de las búsquedas se basa en ciertos criterios como son: file:///c /WINDOWS/Escritorio/zzz/Monografia.htm (5 of 10) [10/11/2001 9:08:11 AM]

6 Número de veces que aparece la palabra buscada. En qué campos aparece (título, cabeceras o texto). Número de veces que este documento está referenciado por otros Asocia una puntuación de 1 a 1000 a las páginas, basada en los criterios que utiliza. En la lista de resultados, cada página listada tiene asociada esta puntuación, que indica cuánto se acerca la página a la búsqueda deseada. No permite muchos refinamientos en las búsquedas. Lycos no permite muchos refinamientos en las búsquedas. Por defecto busca dentro del WWW, y de servidores Gopher y FTP. Las posibilidades que ofrece son: Utilizar el signo "-" inmediatamente delante de una palabra para obligar a la ausencia de una palabra en la búsqueda. Un punto inmediatamente detrás de una palabra buscará la coincidencia exacta. El símbolo $ se puede utilizar como comodín. Recientemente ha incorporado versiones en diferentes idiomas (sueco, francés, alemán, holandés e italiano), así como en castellano También agrego una opción de consulta muy interesante: la búsqueda de cualquier tipo de documento multimedia, ya sea imagen, vídeo o sonido. Yahoo! Se trata del servicio más conocido y utilizado de Internet, ya que es el lugar dónde prácticamente todo el mundo que se inicia en el uso de la Red realiza las primeras consultas. El indexado de las páginas se hace de forma manual. El usuario solicita la inclusión de una página y propone en qué directorio del índice incorporarlo. Cuando se solicita se incluye el título del servidor y una pequeña descripción, son los campos en que se basa el motor de búsqueda, no deja introducir palabras clave, ni tiene en cuenta los elementos <META>. Los resultados no vienen ordenados según una puntuación, sino en el orden en que se encuentran en el directorio. Además de hacer búsquedas concretas, permite también navegar buscando por temas. Dada que el índice es extenso actualmente a veces interesa combinar ambos métodos. Entre algunas características las categorías están en negrita; con el número de entradas que corresponde a esa categoría entre paréntesis al lado. La arroba al final de una categoría significa que ésta está listada en múltiples sitios en Yahoo!. En general, los motores de búsqueda permiten al usuario modificar ciertos parámetros para personalizar la búsqueda. Yahoo!, por defecto busca las palabras solicitadas dentro de las categorías, títulos y descripción de las páginas listadas. Cuando se realizan las búsquedas, los resultados que se obtienen pueden ser de tres tipos de información: Categorías en Yahoo! que cumplen el criterio de búsqueda Servidores o websites que cumplen el criterio Categorías de Yahoo! donde estas páginas están listadas. Esta característica le da al usuario la posibilidad de consultar otras páginas listadas en el mismo directorio de temática similar file:///c /WINDOWS/Escritorio/zzz/Monografia.htm (6 of 10) [10/11/2001 9:08:11 AM]

7 Si el buscador no encuentra nada relacionado con la palabra solicitada en su base de datos, realiza una conexión con Altavista con la misma petición, y al usuario le aparecen los resultados de la búsqueda en Altavista. Como es un índice temático está dividido en catorce áreas temáticas que a su vez se subdividen en otras áreas. Se actualiza diariamente y ofrece diferentes servicios. Hotbot Entre sus características permite utilizar operadores booleanos (AND/OR/NOT) y de proximidad. Utiliza un amplio formulario detallado y funcional donde el usuario puede seleccionar fácilmente su estrategia de búsqueda. Permite consultar simultáneamente los recursos del Web y Usenet. Ofrece resultados por contexto, y es uno de los más "inteligentes" en cuanto al análisis de la frase de búsqueda. También permite utilizar sistemas avanzados de búsqueda (por condiciones). Al realizar la búsqueda se puede limitar la consulta por fechas, zonas geográficas, dominio y tipo de documento. Ofrece diversos formatos de visualización y permite definir el número de registros por página de los resultados de la consulta. Por las características de búsqueda que presenta se adapta perfectamente al usuario final. METABUSCADORES Teniendo conocimiento de la función de los buscadores, la creación de nuevas herramientas para ofrecer nuevos servicios y cubrir las diferentes necesidades de los usuarios en la recuperación de la información apareció con bastante rapidez. La gran cantidad de información y el notable aumento de buscadores accesibles en la Internet acabó en la posibilidad de realizar diferentes búsquedas con diversos buscadores simultáneamente con una única estrategia de búsqueda. Hay que tener en cuenta que cada buscador tiene sus características específicas y esto dificulta su integración. Un metabuscador es un sistema que apoya el acceso unificado a los motores de búsqueda locales múltiples. Basa su búsqueda en los buscadores que tiene disponibles y que previamente han acordado y solicitado el permiso pertinente. Por lo tanto, la simplicidad de estos metabuscadores contará con una variable importante, que es el popular ruido documental en relación con el resultado final que se obtiene. El tiempo de espera también es un factor importante que algunos permiten precisar. Como dato se puede decir que si el tiempo definido para la búsqueda es demasiado corto el resultado seguramente no será tan profundo. Por esta razón, surgió otro tipo de metabuscadores con otra filosofía de operación: el acceso directo a diversos buscadores simultáneamente pero con una única interface. Cuando un metabuscador recibe una pregunta de un usuario, invoca los motores de búsqueda de los cuales dispone para recuperar información útil para el usuario. La selección de la base de datos es uno de los desafíos principales construyendo un metabuscador de gran potencia. Cabe decir que no poseen una base de datos de páginas Web como una de sus características principales; actúan como intermediarios entre los usuarios y los buscadores, ellos envían sus términos de búsqueda a los bases de datos mantenidos para otros motores de búsqueda. Estos buscadores múltiples buscan en los contenidos de varios buscadores al mismo tiempo. Generalmente no se obtiene toda la potencia de cada uno de los sistemas (dado que los formatos de consultas varían), pero pueden ser un buen punto para empezar alguna búsqueda a fondo. file:///c /WINDOWS/Escritorio/zzz/Monografia.htm (7 of 10) [10/11/2001 9:08:11 AM]

8 Por otro lado, suelen tener características adicionales que les permiten búsquedas más limpias, más eficaces. Estos sistemas van más allá de los buscadores: admiten una consulta y se encargan de lanzarla a los diferentes sistemas de búsquedas públicos que hay en Internet. Ofrecen detalles de las respuestas de cada uno de los servicios, o bien el listado completo de coincidencias [7]. Arquitectura de un Metabuscador: [8] El metabuscador toma como entrada palabras claves y el número de documentos que pueden ser mostrados por cada base de datos. El usuario puede seleccionar las bases de datos desde donde quiere que se busque la información. El usuario puede seleccionar una o más bases de datos. El usuario también puede especificar el número de documentos que deberían ser mostrados por cada base de datos en la página de resultados. Cada base de datos tiene sus propias reglas. Por ejemplo, algunas bases de datos no soportan AND y OR. Si el usuario ingresa palabras claves las cuales no son soportadas, el resultado no será mostrado. Haciendo clic en el link de ayuda de la página principal, el usuario puede ver la información acerca de las palabras claves que son soportadas por cada base de datos. El usuario hace clic en el botón de búsqueda después de ingresar las palabras claves, el número de documentos y haber seleccionado las bases de datos. Luego el programa lee el archivo Metafile.txt. El contenido del archivo por cada base de datos o motor de búsqueda. 1. El nombre de la base de datos o motor de búsqueda. 2. El URL de la base de datos. 3. El punto de inicio. 4. El punto de finalización. Modelo de arquitectura de un metabuscador. [9] Características de los principales metabuscadores file:///c /WINDOWS/Escritorio/zzz/Monografia.htm (8 of 10) [10/11/2001 9:08:11 AM]

9 MetaCrawler: es el ejemplo principal de metabuscador. Al hacer una consulta, se conecta con Open Text, Lycos, Webcrawler, InfoSeek, Excite, Inktomi, AltaVista, Yahoo y Galaxy, devolviendo por defecto las diez primeras coincidencias de cada uno de los servicios. Se puede personalizar por tiempo máximo de espera, aciertos o región, así como usar búsquedas booleanas. También ofrece unas páginas de enlace para metaenvíos de páginas a los buscadores (para darlas de alta automáticamente). Savvy Search: incluye una función muy útil que es la metabúsqueda a través de Archie (archivos almacenados en servidores FTP) y DejaNews. Starting Point: ofrece una metabúsqueda en bases de datos sobre la Web, a partir de otros buscadores, que hay que seleccionar manualmente (unos 10-12). También incluye un índice de categorías. Search.com: reúne tanto a los buscadores por palabras más populares como colecciones de índices: personas, números de teléfono y punteros a otros índices de interés. Net Locator: es básicamente una página que reúne a diversos buscadores, y que permite realizar las búsquedas en varios de ellos para comparar los resultados. REFERENCIAS 1. Optimal robot scheduling for web search engines. E. G. Coffman, Jr., Zhen Liu, and Richard R. Weber. Technical report, INRIA, Searching the Web Arvind Arasu, Junghoo Choo, Hector Garcia-Molina, Andreas Paepcke, Sriram Raghavan. Computer Science Department, Standford University. 3. Searching the World Wide Web. Steve Lawrence and C. Lee Giles. Science, Boolean Query Mapping Across Heterogeneous Information Sources. Kevin Chen-Chuan Chang, Héctor García-Molina, Andreas Paepcke 5. Evaluating the Cost of Boolean Query Mapping. Chen-Chuan K. Chang, Héctor García-Molina. Standford University 6. Accessibility of information on the web. Steve Lawrence and C. Lee Giles. Nature, file:///c /WINDOWS/Escritorio/zzz/Monografia.htm (9 of 10) [10/11/2001 9:08:11 AM]

10 7. Managing gigabytes: compressing and indexing documents and images. Van Nostrand Reinhold, New York, Metasearch Engine for NWRC final Report. Swathi Chitteddi. 9. Architecture of a Metasearch Engine that Support User Information Needs. Eric J. Glover, Steve Lawrence, William P. Birminghan, C. Lee Giles. file:///c /WINDOWS/Escritorio/zzz/Monografia.htm (10 of 10) [10/11/2001 9:08:11 AM]