IA Y LOS BUSCADORES WEB

Transcripción

1 IA Y LOS BUSCADORES WEB Inteligencia Artificial para la Internet y la Web Máster Universitario en Informática Escuela Técnica Superior de Ingeniería Informática

2 ÍNDICE INTRODUCCIÓN MOTORES DE BÚSQUEDA Historia. Avances en los algoritmos de búsqueda. Clasificación Arañas Directorios Metabuscadores FFA Otros: Temáticos, ficheros, sociales...

3 ÍNDICE ALGORITMOS DE RELEVANCIA Pagerank Hits SEO (Search Engine Optimization) Directrices de diseño Directrices técnicas Uso de Tags Herramientas de ayuda a robots. Análisis.

4 INTRODUCCIÓN OBJETIVOS. Recuperación, Clasificación y Valoración de la información. Ordenar Internet. Responder eficientemente a la búsqueda de un usuario RETOS La cantidad de información crece rápidamente.

5 INTRODUCCIÓN El número de usuarios también crece rápidamente millón millones Actualidad supera los 1000 millones España Supera los 17 millones Heterogeneidad de los usuarios. Adaptar las soluciones a la heterogeneidad de los usuarios. Los propios generadores de contenidos intentan engañar a los buscadores.

6 INTRODUCCIÓN PRETENDE SER EL NEXO DE COMUNICACIÓN ENTRE USUARIOS E INFORMACIÓN

7 HISTORIA La web se comenzó a idear en 1980 A partir de 1990 aparecen los primeros sitios web Primer buscador: Wandex (MIT) Índice. Robot de búsqueda desarrollado en Perl.

8 HISTORIA Aliweb apareció meses más tarde Indexaba MetaTags de las páginas dadas de alta en su índice. No era un robot Todavía en funcionamiento. Comienzan a desarrollarse las primeras arañas que indexan: URL Título Descripción

9 HISTORIA El problema de los motores que utilizan estas arañas se produce al mostrar los resultados ya que lo hacía sin utilizar algoritmos de relavancia. Paralelamente aparecía nuevos directorios (no robots) como Yahoo que posteriormente evolucionaría incorporando robots de búsqueda

10 HISTORIA Webcrawler Produce la primera revolución en los buscadores Indexaba las páginas de forma completa al contrario que sus antecesores que sólo buscaban en dirección web título y metagags. Mejores resultados En 7 meses llegó a un millón de consultas en 1995 fue comprado por AOL, en 1997 por Excite y que en 2001 pasó a ser parte de InfoSpace.

11 HISTORIA Lycos (Carnegie Mellon University) Al principio, sólo indexaba una parte de las páginas. Algoritmo interesante que incluía el concepto de proximidad entre palabras Near para indicar la proximidad entre dos términos de búsqueda, separados por hasta X palabras, garantizando así que estén relacionados entre sí y, por tanto, en el contexto que interese. Far, opuesto a Near, para indicar que los términos habrán de estar separados como mínimo, X palabras entre sí en el documento recuperado, al menos en un caso. Llego a ser una de los motores con más éxito.

12 HISTORIA 1995 Excite Introduce un concepto base para los buscadores de la actualidad. Su algoritmo intentaba crear un sistema parecido a los sinónimos mediante estadísticas entre las relaciones de palabras, de forma que se podía realizar una búsqueda obteniendo resultados aunque la misma no existiera en la página. Aparecen los metabuscadores Metacrawler

13 HISTORIA Altavista permitía consultas en lenguaje natural consultas avanzadas mediante operadores lógicos (AND, OR ) permitía hacer búsquedas en los nombres de imágenes y algunos ficheros multimedia

14 HISTORIA Ozu: Primer desarrollo en España Actualmente utiliza la tecnología de google. Aparecen nuevos directorios y motores

15 HISTORIA 1996 Comienza a desarrollarse google. 2 años más tarde se crea google Inc Interfaz clara y sencilla Algoritmo de relevancia innovador Las propias páginas web son las que indican la relevancia de otras páginas webs.

16 HISTORIA 1998 Aparece Msn Search Aparece Open Directory Project (DMOZ) 2000 Primer directorio colaborativo Teoma (2001 fue comprado por Ask Jeeves.) Utilizaba un sistema de para organizar los sitios en base al Subject-Specific Popularity (actualmente Expert Rank) se daba un ranking a una página web según el tema tratado.

17 HISTORIA 2003 Cobra mucha relevancia el SPAM a los buscadores Los algoritmos de los buscadores comienzan a luchar contra el spam Textos ocultos link ocultos web farms Bombing, Alt con imágenes ocultas

18 HISTORIA 2004 Aparece Nutch 2005 Código abierto Java Usa Lucene Windows Live Otros buscadores Noxtrum Hakia Exalead

19 CLASIFICACIÓN Basados en arañas (Web crawlers, spiders o web walkers) Rastrean las páginas periódicamente, clasificando la información. Son capaces de seguir los enlaces que aparecen en los documentos web.

20 CLASIFICACIÓN Tareas imposibles de realizar por humanos. Devuelven los resultados en función de la relevancia de los mismos. Capaces de clasificar las información según su contenido. Usado por la mayoría de los grandes buscadores. Se requieren muchos recursos hardware y software.

21 CLASIFICACIÓN Casi sinónimos de motores de busqueda, pero: Crear informes sobre empresas competidoras Avisar cuando se publique información relevante (Políticos, webs fraudulentas...) Googlebot, MSN Search Hotbot

22 CLASIFICACIÓN Directorios Algoritmos de clasificación sencillos (en función del título, descripción, palabras clave) No rastrean la información, son los usuarios los que incorporan los sitios.

23 CLASIFICACIÓN Son operadores humanos los que aceptan o rechazan la información. Mantienen una clasificación jerarquizada por categorías. Debido al gran aumento de información, la mayoría se han convertido en colaborativos. Open Directory Project (DMOZ)

24 CLASIFICACIÓN Metabuscadores Buscador de buscadores No necesitan arañas, con el consiguiente ahorro en recursos. Lanzan búsquedas sobre otros buscadores. Analizan y muestran los resultados Centran sus esfuerzos en aplicar algoritmos de relevancia a los resultados de los buscadores. Webcrawler, Metacrawler

25 CLASIFICACIÓN FFA acrónimo del inglés "Free For All" Páginas de enlaces sin control. Normalmente los enlaces no son permanentes. Pueden ser clasificados por otros buscadores como generadoras de SPAM.

26 CLASIFICACIÓN Otras clasificaciones. Buscadores sociales: Los resultados de las búsquedas estarán influenciados por nuestros amigos contactos... Swicki:buscador regido por una comunidad, y que aprende de las búsquedas que hacen sus miembros para ofrecer resultados más concretos. MyWeb 2.0: Buscador social de Yahoo.

27 CLASIFICACIÓN Buscadores verticales Sólo indexan contenidos de una temática específica. Permiten hilar más fino Interfaz de búsqueda especializada. Infojobs: Buscador de empleo Buscadores de ficheros pdf-search-engine.com

28 Algortimos de relevancia Pagerank Registrado y patentado en 2001 por Google. Algoritmo que asigna de forma numérica la relevancia de las páginas web indexadas por un motor de búsqueda. También bautizado como algoritmo de relevancia democrático se basa en un sistema de votaciones.

29 Algortimos de relevancia Un enlace de una página A a una página B, se interpreta como un voto de la página A a la página B. Todos los votos valen los mismo? No, el algortimo analiza quien vota y cuantas veces vota: Los votos emitidos por las páginas más votadas tendrán mayor peso. Cuantos más votos, menos peso por voto.

30 Algoritmos de relevancia Algoritmo recursivo: Donde: * PR(A) es el PageRank de la página A * PR(Ti) es el PageRank de las páginas Ti que enlazan a A, * C(Ti) es el número de enlaces salientes de la página Ti; * d es un factor de amortiguación que tiene un valor entre 0 y 1, el beneficio del PageRank para una página producido por otra que enlaza con ella se reduce.

31 Algoritmos de relevancia Si obviamos el factor de amortiguación

32 Algoritmos de relevancia HITS Algoritmo de Jon Kleinberg alternativo a Pagerank no patentado. Se basa en la existencia de dos tipos importantes de sitios web: Hubs: Páginas web que sin recibir muchos links, enlazan a muchas páginas que consideran relevantes. (DMOZ YAHOO). Recursos de enlaces. Authority: Agrupa a los sitios que reciben una gran cantidad de links, porque otras páginas estiman que son una referencia en un tema en concreto y además disponen de pocos enlaces salientes. Recursos de información.

33 Algoritmos de relevancia La idea es que los buenos hubs apuntan a buenas autoridades, y las buenas autoridades son apuntadas por buenos hubs. Este algoritmo puntua a las páginas indicando como de buena es como recurso de enlaces o como recurso de información Authority, para su cálculo se usa una suma ponderada de valores hub de los enlaces que apuntan hacia esta página. el hub, se calcula como una suma ponderada de valores authority de las páginas a las que apunta ésta.

34 Algoritmos de relevancia

35 SEO (Search engine optimization) Conjunto de estrategias para maximizar los rankings de nuestra web en los buscadores.

36 SEO (Search engine optimization)

37 SEO (Search engine optimization) La mayoría de los buscadores diferencian en los resultados de sus búsquedas entre resultados originados por publicidad y los originados por sus algortimos de relevancia. SEO no se encarga de la optimización de los resultados publicitarios. SEM (Search engine marketing) englobaria SEO y pagos por inclusión.

38 SEO (Search engine optimization) Tener en cuenta distintos tipos de motores de búsqueda: Motores de búsqueda basados en arañas que leen no ven nuestra web Motores de búsqueda valorados por humanos (Directorios) que ven nuestra web. Híbridos.

39 SEO (Search engine optimization) Directrices de diseño Los sitios deberán tener una jerarquía y enlaces de texto claros. Se debe poder acceder a todas las páginas desde al menos un enlace de texto, facilitando así el acceso de de las arañas a todo el sitio web, al encontrar una sóla página de nuestro sitio. Debemos disponer de un mapa del sitio con enlaces que conduzcan a las secciones importantes del mismo. Si el mapa contiene más de cien enlaces, se aconseja dividirlo en varias páginas, ya que páginas con más de 100 enlaces pueden ser consideradas como SPAM. Cuanta más información, más facilidad para indexar.

40 SEO (Search engine optimization) Deberemos pensar en las palabras que podrían introducir los usuarios para localizar nuestras páginas y asegúrarnos de que esas palabras estén incluidas en su sitio, aunque los buscadores poseen algoritmos de proximidad entre palabras (sinónimos). Utilizararemos texto en lugar de imágenes para mostrar nombres, contenido o enlaces importantes. Los rastreadores normalmente no reconocen el texto incorporado a imágenes. Los elementos title y los atributos "alt" de su sitio sean descriptivos y precisos.

41 SEO (Search engine optimization) Comprobar enlaces dañados ni código HTML incorrecto, ya que pueden penalizar y dificultar la lectura de nuestro sitio web. Páginas dinámicas (es decir, si la URL contiene el carácter "?"): No todos los motores de búsqueda rastrean tanto páginas dinámicas como páginas estáticas. Se recomienda que los parámetros sean cortos y reducidos en número, y preferiblemente usar urls semánticas. Una página no debería contener más de cien enlaces. (se considera spam)

42 SEO (Search engine optimization) Directrices técnicas Comprobaremos nuestra web con un navegador de solo texto tipo Lynx, ya que la mayoría de las arañas de los motores de búsqueda visualizarán el sitio igual que Lynx. Si el uso de funciones avanzadas (como JavaScript, cookies, identificadores de sesión, marcos, DHTML o Flash) impide la visualización de todo el sitio en un navegador de texto, es posible que las arañas de los motores de búsqueda tengan problemas para rastrearlo.

43 SEO (Search engine optimization) Permitir que los robots de búsqueda rastreen los sitios web sin identificadores de sesión ni argumentos que efectúen un seguimiento de su ruta por el sitio. Estas técnicas son de gran utilidad para supervisar el comportamiento de un determinado usuario, pero el patrón de acceso de los robots es completamente distinto. El uso de estas técnicas podría dar lugar a una indexación incompleta del sitio, ya que es posible que los robots no puedan eliminar las URL que parezcan distintas aunque conduzcan a la misma página.

44 SEO (Search engine optimization) Nuestrouestro servidor web debe admitir la cabecera HTTP "If-Modified-Since". Esta función permite que su servidor web avise a los buscadores si el contenido de su sitio ha cambiado desde la última vez que lo rastreamos. El uso de esta función le permitirá ahorrar ancho de banda y reducir gastos generales. robots.txt para evitar el rastreo de páginas de resultados de búsqueda u otras páginas generadas automáticamente que carecen de valor para los usuarios procedentes de motores de búsqueda.

45 TAGS Tags (meta, title, h,links, etc) Tag title: Si el documento aparece en una página de resultados de búsqueda, el contenido de la etiqueta title por lo general aparece en la primera línea de los resultados. Describe con precisión el contenido de la página. Crea etiquetas title únicas para cada página. Usa títulos descriptivos breves.

46 TAGS Metaetiquetas Etiquetas invisibles para los usuarios. Su propósito es el de incluir información de referencia sobre la página: autor, título, fecha, palabras clave, descripción, etc podría ser utilizada por los robots de búsqueda para incluirla en las bases de datos de sus buscadores y mostrarla en el resumen de búsquedas

47 TAGS Etiquetas de cabecerca h1.. h6 Uso semántico del contenido, indican la importancia de títulos en una web, facilita indicar la importancia a las arañas. Alt: Textos descriptivos para las imágenes. Links Transmisores de PageRank Nofollow: Permite indicar a los algoritmos de relevancia que no sigan el enlace, usado para sitios de dudosa reputación, asegurándonos no ser penalizados. Negrita, cursiva, subrayado, indican importancia al texto aplicado

48 URLS SEMÁNTICAS Facilita la identificación tanto a usuarios como buscadores Modrewrite apache para webs dinámicas

49 SITEMAPS El Protocolo Sitemap le permite informar a los motores de búsqueda acerca de qué URL de sus sitios web se pueden rastrear Sirven de ayuda a los robots de los buscadores. <?xml version="1.0" encoding="utf-8"?> < urlset xmlns=" < url> < loc> < lastmod> </lastmod> < changefreq>monthly</changefreq> < priority>0.8</priority> // entr 0 y 1 </url> </urlset> GOOGLE Y YAHOO

50 Análisis Estudio de las técnicas utilizadas para las webs mejor situadas de nuestra competencia. Análisis de logs (google analytics) para reforzar los puntos débiles de nuestra estrategia.