Trabajo Práctico: Fundamentos

Transcripción

1 Trabajo de Investigación Motores de Búsqueda en Internet Silvia Edith Maidana Legajo: Universidad Nacional de Luján Delegación Escobar Introducción La red puede llegar a pensarse como una gran enciclopedia temática, pero sólo si se sabe como utilizar sus recursos, caso contrario, solo son un montón de datos que tal vez podría llegar a utilizarse, pero eso sería por casualidad o mucha suerte. Aquí es donde entran a trabajar los buscadores. Sin éstos Cómo haríamos para encontrar la información que buscamos? Tendríamos que ir página por página, incluyendo las que no contiene ni parecido a lo que buscamos y, además Cómo saber a dónde ir si no conocemos los URL s? A continuación se da una explicación como para que se llegue a entender como funcionan y como mejorar nuestras búsquedas, en la RED, claro está. Introducción a la búsqueda de información en Internet mediante Buscadores. Se pueden definir básicamente dos tipos de buscadores: Directorios (también llamados: Buscadores temáticos) Es un índice temático en el que la información está dividida en temas y subtemas. Este trabajo es realizado por personas que van incorporando los nuevos sitios, clasificándolos en categorías predeterminadas a la base de datos que forma el directorio. Esto lo hacen ya sea navegando en busca de nuevas páginas o estudiando los pedidos de las personas, empresas o diseñadores que desean ingresar su sitio a esa base de datos. El objetivo de estos directorios es que el usuario pueda encontrar documentos pertenecientes a un área temática seleccionada. Su composición se puede dividir en dos partes: - Una base de datos construida por URL (Uniform Resource Locator, sistema de direccionamiento utilizado en la WWW) - Una estructura jerárquica que hace más fácil la consulta a la base Entre sus desventajas se pueden encontrar las siguientes: - Generalmente no están muy actualizados (hay que tener en cuenta que está hecho manualmente) file:///a /TPMB.htm (1 of 10) [16/12/2001 7:24:04 PM]

2 - Como este método se maneja con jerarquías de temas de las cuales dependen un grupo de subtemas, se torna lenta la búsqueda - El hecho de entrar en una y otra capa de jerarquía puede llevarnos a perdernos - Existen elementos difíciles de encapsular en una categoría. Motores de Búsqueda Su composición consta de tres partes: - Los robots o arañas - La base de datos - El motor de búsqueda que facilita la consulta a la base. Al igual que los directorios, es una base de datos pero éstos no están catalogados como en el caso anterior, simplemente se escribe la palabra clave, mediante el llenado de un formulario, y el buscador devuelve una lista con los sitios donde figura literalmente los datos ingresados. Esta base de datos contiene el título de la página, una descripción, palabra clave y los enlaces, entre otros datos. Los motores de búsqueda utilizan programas complejos llamados robots o arañas (también conocidos como crawler o bots) que rastrean los datos solicitados revisando las páginas y extrayendo los enlaces que se incluyen en éstas. Las arañas revisan cada dos meses los sitios en busca de cambios y van actualizando la base de datos Se nombran algunos a continuación: Arañas (Spiders) Es un robot, pero otorga resultados más fríos. Gusanos (Worms) Es lo mismo que un robot, aunque técnicamente un gusano es una réplica de un programa, a diferencia de un robot que es un programa original. Orugas (Web crawlers) Es lo mismo que un robot, pero hay que aclarar que es un tipo específico de robot. Hormigas (WebAnts) Cooperativa de robots También se los puede nombrar a los agentes. Que son los siguientes: Agente autónomo: este programa se mueve entre los sitios. Ellos deciden cuando moverse a otros lugares, como así también, que hacer. Sólo pueden moverse entre sitios ubicados en servidores especiales. Agente inteligente: ayudan al usuario a elegir productos, llenar formularios o encontrar un determinado file:///a /TPMB.htm (2 of 10) [16/12/2001 7:24:04 PM]

3 elemento. Agente usuario: son programas que ejecutan tareas para un usuario en la red, como por ejemplo Microsoft Internet Explorer. [1] Qué función cumplen y cómo trabajan los Robots? Los propósitos de los robots son los de indexación, validación de HTML y links, monitoreo de lo nuevo y el de generación de imágenes. Los robots comienzan a trabajar a partir de una lista histórica de Url s, Generalmente son documentos con muchos links, y de los sitios más visitados de la Web. También son usados recursos como las listas de correo y foros de discusión. El mecanismo es analizar las paginas visitadas para luego usarlas como recurso incluyéndolas en su base de datos. Cada robot tiene una forma distinta de indexar. Generalmente utilizan los títulos de HTML o los primeros párrafos o selecciona la HTML completa indexando las palabras contenidas, exceptuando las de uso habitual (WEB, página, etc.) e incluso es común que indexen los comentarios de los gráficos. Opciones para impedir la visita de un Robot en nuestra página. Cuando se es visitado por un robot se nota porque en las estadísticas de las páginas muestra un mismo IP que accede en términos mínimos de tiempo a todas las paginas de su Web. La manera de evitar ser visitado por un ROBOT es creando un archivo robot.txt con las siguiente líneas y ponerlo en su servidor. User-agent: * Disallow: / Sino incluyendo las siguientes líneas en su página Web para que esta no sea indexada. <META name="robots" content="noindex"> Y si desea que los links no sean indexados por el robot, incluya: <META name="robots" content="nofollow">[1] Cómo se desempeña un motor de búsqueda? Una vez escrita la clave de búsqueda el buscador arrojará una lista de sitios que se encuentren relacionados con la clave escrita. La clave puede ser una palabra o secuencias de palabras que nos permite representar lo que estamos buscando La búsqueda estará basada en conceptos o contexto, en las palabras claves o en páginas encontradas previamente. También busca las ocurrencias en campos como título, URL y comentarios. Tiene en cuenta la ocurrencia de una sola clave, de todas o de frases. Selecciona el listado de resultado como: Estándar, compacto o detallado. file:///a /TPMB.htm (3 of 10) [16/12/2001 7:24:04 PM]

4 La desventaja que se puede mencionar es que no maneja información poco precisa. [2] Otras variantes de buscadores También debemos considerar a los buscadores especializados, que no son ni más ni menos que directorios pero que abordan un área específica,, y los metabuscadores que son los que realizan búsquedas en varios servicios a la vez. Cómo optimizar una búsqueda? La mejor manera de buscar información es primero seleccionar un directorio para información genérica (por ejemplo: Yahoo) y luego un motor de búsqueda para información más específica (por ejemplo: Altavista), y se puede terminar con buscadores especializados (por ejemplo: Education World) Dada al gran volumen de información que podemos encontrar en la red puede que, encontrar lo que buscamos no sea tan sencillo. Podemos encontrarnos con algunos problemas como por ejemplo: demasiados resultados o demasiado poco, lentos. Demasiados resultados: Para contrarrestar esto se debe ser más específico en la descripción de lo buscamos, podemos hacer un uso mayor de las claves e incluso utilizar operadores, usar frases en vez de palabras sueltas, Colocándoles mayúsculas a la primera letra de los Nombres y utilizar acentos. Demasiado pocos Para evitarlo se deben escribir las claves más relevantes, se utilizan operadores distintos al caso anterior, se debe ser cuidadoso con la ortografía, poner todas las palabras en minúsculas, usar buscadores más universales Resultados demasiado lentos. Para agilizar la búsqueda se deben eliminar las palabras frecuentes como las superfluas, no se deben utilizar demasiadas palabras, el buscador puede estar sobrecargado y sería una buena idea cambiar por otro, desactivar la carga automática de gráficos. Los buscadores proveen herramientas con el fin de lograr mejores resultados. Se trata de la búsqueda avanzada, los operadores lógicos y los tips. Aquí van algunos. Operadores Se ajusta la búsqueda para ampliarla reducirla o dirigirla según los resultados que se quiera obtener. Los operadores se pueden clasificar como Para obtener los resultados deseados el buscador deberá permitir el ajuste en la búsqueda para ampliarla, reducirla o dirigirla según la observación de los resultados o de nuestras previsiones iniciales. Existen diversas clases de operadores que lo facilitan: lógicos, de proximidad, de existencia, de exactitud. Lógicos Se utilizan los operadores lógicos o boléanos. Para los siguientes los ejemplos se utilizan dos conjuntos de elementos, los deportistas y los americanos. file:///a /TPMB.htm (4 of 10) [16/12/2001 7:24:04 PM]

5 AND Conocida como conjunción "y". Indica que han de aparecer en el mismo documento los dos términos que están a cada lado del operador, juntas o separadas. Aparece en el resultado únicamente los elementos comunes en los dos conjuntos. Concatena las palabras. Es un operador de reducción. Deportistas AND americanos Según el ejemplo: Devuelve las páginas que contengan ambos elementos. También se puede usar & en vez de AND. NOT Es el único operador que tan sólo necesita un argumento y su función es negar lo que viene después. Excluye los elementos del conjunto que se indique, dando como resultado solamente los elementos que no aparecen en el conjunto indicado. Es un operador de reducción. Deportistas AND NOT americanos. Según el ejemplo devuelve las páginas que incluyan el primer elemento Se puede utilizar! en vez de NOT. OR es la conjunción "o"; busca todas las cadenas en donde aparezca uno, otro o ambos argumentos. Aparecen todos los elementos. Es un operador de ampliación. deportistas OR americanos. Devuelve las páginas que contengan algún elemento de los dos o los dos. Se usa en vez de OR. Cuando no se indica ningún operador entre palabras, los buscadores lo interpretan como si se hubiese colocado OR. Operadores de proximidad el operador de proximidad nos permite obtener resultados precisos especificando la relación entre elementos presentes de nuestra búsqueda. NEAR Es la intersección de los dos conjuntos de búsqueda. Tiene una semejanza al AND, pero exige que entre ambas palabras no haya más de 10 palabras. Deportistas NEAR americanos Las palabras deportistas y americanos aparecen relativamente juntas. ADJ file:///a /TPMB.htm (5 of 10) [16/12/2001 7:24:04 PM]

6 Al igual que el anterior pero además exige que entre ambas palabras no haya otra. deportistas ADJ americanos Las palabras deportistas y americanos aparecen juntas Operadores de existencia Presencia. Las palabras deben aparecer en el resultado. Se exige la presencia de alguna clave en el documento, de tal forma que si no está presente en él no se incluirá en la lista de resultado. Habitualmente se añade al inicio de la palabra clave el signo más (+).sin espacio entre el signo y la palabra a buscar. Por ejemplo: +olímpico rugby fútbol voleibol Ausencia Al inverso que el anterior si está presente la clave en él no lo incluirá en la lista de resultado. Habitualmente se indica añadiendo el signo menos - al inicio de la palabra clave. Por ejemplo: gobernantes -religión cumple la misma función que el operador lógico Not Operadores de exactitud Familia. Permite que la clave sea parte de otras palabras. Se selecciona la opción substring Yahoo o se coloca el signo * en altavista o el signo $ en Lycos a continuación de la palabra a buscar. Truncar la palabra. Encuentra las referencias que tengan la palabra exacta. Se selecciona la opción Complete words en Yahoo y en Lycos se usa el punto (.) al final de una palabra.[3] Tip Función Ejemplo + Busca sitios que incluyan todas las palabras Autos +antiguos Interpreta la frase literalmente. No busca las palabras en forma aislada. Podría buscar sitios que hablen sobre autos antiguos No los voy a defraudar Busca sitios donde se mencione la palabra completa file:///a /TPMB.htm (6 of 10) [16/12/2001 7:24:04 PM]

7 * Se emplea para sustituir cualquier terminación Escri* de la palabra. Escritorio, escribano, etc. t: Acota la búsqueda solo a los títulos t:ac DC u: SE restringe la búsqueda a los sitios que tenga la clave en su dirección. A continuación se hace un breve análisis de distintos buscadores: Yahoo Aparecen las páginas que incluyan en su título el nombre de la banda u:periodismo Fue creado en el año 1994 con la finalidad de catalogar los recursos de la WEB. Su servicio es gratuito pero mientras el usuario lo está utilizando ve algunas publicidades. Posee una interfaz agradable y completa, haciendo que su uso sea sencillo. Se calcula que tiene más de categorías y ciento de miles de páginas en su base de datos. Yahoo es una base de datos de enlaces a otros sitios web. No cuenta con contenido original, de modo que sólo puede brindar referencias a sitios que ya existen. Su construcción es como la de cualquier otro directorio: los empleados buscan personalmente nuevas páginas y las incluyen en su base de datos, ordenados por categorías y jerarquías; hacen un resumen de su contenido y lo publican en un catalogo en forma de árbol que va de lo más general a lo más específico. Al lado de cada categoría un número indica la cantidad de referencias y subcategorías que contiene. La mayor parte de los sitios web enumerados son sugeridos por los usuarios. Yahoo cataloga de forma prioritaria los documentos de preguntas frecuentes (denominados FAQ) y los recursos que contiene otros índices. Los números que aparecen entre paréntesis junto a las categorías representan la cantidad de documentos enumerados directamente bajo ese encabezado temático. Dicha cifra no incluye los documentos de otros posibles directorios enlazados. Los directorios enlazados son los que llevan una arroba (@) al final. Significa que dicho encabezado está incluido en más de un lugar dentro de la jerarquía. Si se hace clic en el encabezado, se pasará a la sección principal de dicha categoría. La búsqueda de Yahoo abarca tres sectores principales: las categorías, los sitios web enumerados en Yahoo y las páginas web contenidas en el índice de Google. En el caso de los dos primeros, Yahoo busca las correspondencias en su propia base de datos y después ordena los resultados comenzando por los más relevantes. Algunos de los factores que determinan el nivel de relevancia son: el número de palabras clave que se hayan encontrado (mientras más palabras clave haya en la correspondencia, más relevante es el resultado); las correspondencias exactas con las palabras (que tienen mayor relevancia que las correspondencias aproximadas); y en qué lugar del documento se encontraron las palabras buscadas (se le asigna mayor relevancia a una correspondencia en el título del sitio web que a las que ocurren en los comentarios o en la URL). Las búsquedas pueden limitarse o ampliarse, en función de las opciones y la sintaxis de búsqueda que se seleccione. Las opciones básicas de búsqueda se podrá encontrar en la página file:///a /TPMB.htm (7 of 10) [16/12/2001 7:24:04 PM]

8 Junto con las nuevas incorporaciones aparece un ícono (NEW), esta perdura unas semanas y si el sitio es interesante (COOL). Desde el menú principal de Yahoo también se puede acceder a noticias y novedades procedentes de agencias o acceder a servicios personalizados.[6] Altavista Fue creado en diciembre de Se calcula que ha indexado más de de páginas y de palabras. Cuenta con un robot buscador, llamado Scooter (quien es muy eficiente: viaja a través de las páginas tratando de no sobrecargar ningún servidor con consultas repetidas, además de visitar más asiduamente a las páginas que cambian con más frecuencias como en el caso de noticias), de páginas y motores de búsquedas, indizado y clasificación. Todo funcionando en servidores Alpha con varios gigabytes de RAM y disco RAID, el ancho de banda supero los 100 Mbps. Los sitios espejos reciben más de de consultas por día. Con respecto al funcionamiento, sólo hay que tipear la clave y esperar los resultados. Haciendo clic sobre ellos el navegador lo dirige a destino. Altavista trabaja analizando la base datos teniendo en cuenta cuántas veces aparecen las palabras (claves), la cercanía de las mismas, si aparece en un título, etc., extrayendo las páginas que contienen esas palabras o varias de ellas y las presenta.. También cuenta con búsqueda avanzada utilizando distintos operadores para optimizar la búsqueda (ya vistos anteriormente). Otra cosa interesante que tiene es que se puede especificar la cantidad de palabras de separación que puede haber entre dos palabras claves. Una novedad reciente de Altavista es la selección por idiomas, y esto depende en gran medida del correcto diseño de las páginas HTML que han sido publicadas en la red.[6] Google Posee la tecnología de PageRank de patente pendiente para la búsqueda en Internet. PageRank aprovecha la naturaleza estructural de la Web, lo que se define por el modo en que cada página Web puede vincularse con cualquier otra, de manera instantánea, directa y sin un intermediario. Esto elimina la jerarquía y permite que la información y las ideas circulen sin obstáculos de un sitio a otro. Fundamentalmente, Google interpreta un vínculo de la página A con la página B como un voto, de la página A, por la página B. Google evalúa la importancia de una página por los votos que ésta recibe. Pero Google considera más que simplemente el volumen de votos o los vínculos, también analiza la página que emite el voto. Los votos emitidos por páginas que son "importantes" tienen mayor ponderación y ayudan a hacer que otras páginas sean también "importantes". Estos resultados valiosos y de alta calidad reciben PageRank superior y son colocados más arriba al ordenar los resultados. De esta forma, PageRank es el indicador general de importancia de Google y no depende de una consulta específica. Más bien, se trata de la característica de una página, basada en datos de la Web que Google analiza utilizando algoritmos complejos que evalúan la estructura de vínculo. Los métodos de búsqueda automatizados y complejos de Google evitan la interferencia humana. A diferencia de otros motores de búsqueda, Google está estructurado de tal manera que nadie pueda comprar una PageRank superior o alterar los resultados con fines comerciales. file:///a /TPMB.htm (8 of 10) [16/12/2001 7:24:04 PM]

9 En vez de resúmenes de páginas Web, Google extrae el texto que coincide con la consulta (con sus términos de búsqueda resaltados). Google ha instalado un botón denominado "Me siento afortunado", que lleva directamente al sitio Web del primer resultado de búsqueda. La característica "Me siento afortunado" de Google tiene el objetivo de llevar rápidamente a una información útil. Google almacena muchas páginas Web en su memoria caché con el fin de recuperarlas para los usuarios como una copia de seguridad, en caso de que el servidor de la página falle temporalmente. Con frecuencia, este material en caché puede ser mucho más rápido que seguir el vínculo normal, aunque la información que se reciba puede estar menos actualizada [7] Excite Fue creado a finales de Absorbió a dos de sus competidores Magellan y WebCrawler. Posee un índice de tamaño medio e integra materiales no relacionados con Internet como marcadores deportivos u otras noticias en sus resultados de búsqueda, cuando es apropiado. Permite búsquedas con frases simples. Su base de datos contiene mayormente sitios en inglés.[4] Deguate.com Es de tipo portal, de origen guatemalteco, permite encontrar fácilmente información de nuestro país básicamente. El funcionamiento es semejante al de Altavista, permitiendo ajustar los criterios de búsqueda a palabras clave o frases completas que aparecen en las páginas indexadas. También permite hacer búsquedas en las bases de datos de otros buscadores populares, tales como Altavista, Yahoo, Infoseek, Lycos, Olé y otros más.[5] Terra Utiliza el popular motor de búsqueda Inktomi, que es el mismo que utiliza Yahoo Permite hacer búsquedas en la base de datos de terra y en la base de datos de Inktomi, la cual es muchísima más amplia. Aquí en nuestro país fue lanzado en marzo del 2000.[5] InfoSeek Fue creado en enero de brinda resultados de calidad gracias a su tecnología especial 'ESP'.. También tiene un gran directorio de sitios web compilado manualmente. Localiza páginas en la WWW y permite: buscar frases, buscar nombres, forzar a que incluya o excluya palabras o frases, Utilizar comas para separar palabras, distinguir entre mayúsculas y minúsculas. [4] Lycos Fue creado en abril de Posee un modelo similar al de Yahoo. Los resultados de las búsquedas en Lycos provienen del Open Directory Project, un proyecto que busca ordenar la información publicada en Internet. Lycos adquirió en 1998 a su competidor HotBot, y posteriormente fue comprado en mayo de este año por Terra Networks de España. Resumen Los buscadores se dividen en 2 tipos: file:///a /TPMB.htm (9 of 10) [16/12/2001 7:24:04 PM]

10 - Directorios: mantenidos manualmente por personas. Contiene la información en categorías y jerarquías. Son más fáciles de usar que lo motores de búsqueda. - Motores de Búsqueda: Poseen robots que recorren la red actualizando e incorporando nuevas páginas. Sus bases de datos son más amplias que la de los directorios. Para una búsqueda se recomienda usar: primero un directorio para búsquedas generales, luego, un motor de búsqueda para búsquedas más específicas y luego se puede terminar con un buscador especializado. Además se deben conocer los operadores para obtener la información necesaria y en breves lapsos de tiempo. Personalmente como conclusión puedo mencionar que a ninguno se lo puede considerar como el mejor. Algunos tendrán otros beneficios que quizás otros no lo tienen pero en gran parte depende de la astucia y paciencia que tenga el usuario al enfrentarse con esa gran masa de información que se encuentra en la RED: Bibliografía [1] Sitio en Internet: [2] Sitio en Internet: [3] Sitio en Internet: [4] Universidad De Cordoba (España) Sitio en Internet : [5] Sitio en Internet: [6] Sitio en Internet: [7] Sitio en Internet: Universidad de Chile Sitio en Internet: Sitio en Internet: Sitio en Internet: (Universidad de Sevilla) Sitio en Internet: bib.us.es/referencia/buscadores.asp Sitio en Internet: La información que encontré en las distintas páginas son semejantes por lo tanto, sólo referencié numéricamente algunas, pero las he leído a todas extrayendo un poco de cada una. file:///a /TPMB.htm (10 of 10) [16/12/2001 7:24:04 PM]