ETDE-OA-237(ES) ETDEWEB versus la World-Wide-Web: Una base de datos específica/comparación en Internet

Transcripción

1 ETDE-OA-237(ES) ETDEWEB versus la World-Wide-Web: Una base de datos específica/comparación en Internet Debbie Cutler Energy Technology Data Exchange (ETDE) Operating Agent DOE/OSTI, Oak Ridge, TN (United States) Fecha de publicación: Junio de 2010

2 Traducción: Delegación Mexicana en ETDE Instituto de Investigaciones Eléctricas Gerencia de Inteligencia e Información Tecnológica Reforma 113, Col. Palmira Cuernavaca, Morelos, México vocampo@iie.org.mx; pontigo@iie.org.mx Instituto de Investigaciones Eléctricas,

3 Resumen: Se efectuó un estudio comparando los resultados de la búsqueda del usuario de la base de datos especializada sobre información relacionada con la energía, ETDEWEB, con los resultados de la búsqueda en Internet, en Google y en Google Scholar. El objetivo fundamental del estudio fue determinar si ETDEWEB (Base de datos del Energy Technology Data Exchange) continúa ofreciendo al usuario resultados de búsqueda que fueron encontrados por Google y Google Scholar. Como una iniciativa de intercambio de información multilateral, los países miembros de ETDE y socios contribuyen con sufragar los costos y la tarea de compartir para construir la base de datos más grande en el mundo de información relacionada con la energía. Desde principios de 2010, la base de datos ETDEWEB tiene 4.3 millones de registros de la literatura de la energía a nivel mundial. Una de las fortaleza de ETDEWEB es su enfoque a la literatura científica y el acceso directo al texto completo de la literatura gris, más de 300,000 documentos disponibles en archivos PDF y más de 1,000,000 de enlaces adicionales, en donde los documentos se pueden encontrar. Google y Google Scholar son bien conocidos por la amplitud de la información que buscan; en Google se obtienen noticias e información factual relacionada con la opinión, y Google Scholar enfatiza el contenido científico a través de muchas disciplinas. El análisis comparó los resultados de 15 preguntas relacionadas con la energía, efectuadas en los tres sistemas, utilizando estrategias de búsqueda idénticas. Se escogió una variedad de temas, aunque los tópicos fueron principalmente sobre áreas de energía renovable, debido al gran interés internacional. Se evaluaron más de 40,000 registros de resultados de búsqueda de las tres fuentes. El estudio concluyó en que ETDEWEB es un recurso importante para los expertos en energía para descubrir información relevante de la energía. De los 15 temas en este estudio, ETDEWEB demostró encontrar para al usuario, resultados no mostrados por Google o Google Scholar en el 86.7% de las veces. Mucho se 3

4 aprendió del estudio más allá de comparaciones estadísticas. Las observaciones acerca de las fuerzas de cada sistema y factores que impactan los resultados de la búsqueda también son compartidas con información de fondo y tablas de resumen de los resultados. Si un usuario conoce un título específico de un documento, los tres sistemas son útiles para que el usuario encuentre una fuente del documento. Pero si el usuario está tratando de encontrar documentos relevantes sobre un tópico específico, cada uno de los tres sistemas le devolverá un volumen considerable de información, pero muy diferente en el enfoque. Google es ciertamente una herramienta valiosa y muy usada para encontrar información no especializada; por otro lado, Google Scholar sí ayuda al usuario a enfocarse en disciplinas científicas. Pero si el interés del usuario es científico y específico de la energía, ETDEWEB continúa manteniendo una posición nicho en información en el campo de la I&D+I en energía y añade un valor considerable en la adquisición del conocimiento. Reconocimientos: El autor aprecia la retroalimentación ofrecida por miembros del ETDE, a través del proceso de revisión del estudio, desde los resultados iniciales hasta la publicación del reporte. ETDEWEB versus la world-wide-web: una base de datos específica/ comparación en Internet Internet ha cambiado dramáticamente la forma cómo los negocios e individuos buscan información. Internet se ha convertido en una parte integral de la vida diaria de un porcentaje siempre creciente de la población mundial, tanto en el lugar de trabajo como en la casa. Los motores de búsqueda tales como Google mejoran consistentemente la percepción de que todas las cosas están allí para tomarlas y para mirarlas sin costo, dando numerosos resultados para casi cualquier búsqueda. Los administradores analizan los presupuestos para los recursos bibliográficos e 4

5 información, más cuidadosamente que nunca, dejando con frecuencia a los empleados por sí solos, pensando que pueden encontrar fácilmente todo lo que necesitan, sin costo. La cantidad no es problema cuando se trata de resultados de búsqueda, pero qué hay acerca de otros aspectos? Quién controla la calidad y la integridad de la información y lo qué los motores de búsqueda encuentran? Quién es responsable de obtener la información de Internet? Cuánto tiempo les toma ahora a las personas depurar individualmente este mar virtual de información? Creen ellos que la información que ven es la mejor o más confiable? Son las bases de datos de una especialidad y la información del portal de más utilidad para los usuarios? Y si eso es así, agregan algún valor? Estas preguntas son de particular interés en la comunidad científica, en donde el intercambio de información es vital para el avance de la ciencia. Para la base de datos científica más grande del mundo en el campo de la energía, llamada ETDEWEB 1 se ha realizado un estudio comparativo que busca respuesta a algunas de esas preguntas. En el estudio, los resultados de ETDEWEB se comparan con los resultados de dos de los motores de búsqueda más populares, Google y Google Scholar o GS. La meta fundamental era determinar si ETDEWEB continúa dando al usuario resultados que no han sido encontrados por esos buscadores, ilustrando de esa manera su valor permanente. El estudio concluyó que aún con la plétora de información que se puede encontrar en Internet, ETDEWEB continúa siendo un nicho significativo de recursos para los expertos en energía, para descubrir información relevante en la energía. El análisis mostró que ETDEWEB proporciona resultados de búsqueda que son únicos en el 86.7% de los casos, cuando se comparan con resultados para la misma búsqueda, en Google o GS. Mucho se ha aprendido del estudio más allá de sólo las estadísticas. También se comparten las observaciones acerca de las fortalezas de cada sistema y los factores que influyen en los resultados de la búsqueda. El documento proporciona información de respaldo sobre el estudio y un resumen de los resultados. 5

6 Antecedentes del estudio La idea del estudio de ETDEWEB fue impulsada por un análisis a principios del 2009, comparando los resultados de la búsqueda de la WorldWideScience (WWS) (un metabuscador libre) con los resultados de Google y de GS. Tratándose de un sistema de información más reciente, los patrocinadores de WWS estaban interesados en conocer cómo se comparaban los contenidos de WWS, con lo que podían encontrar en Internet. Como también los patrocinadores de ETDEWEB, han sido acuciosos por conocer cómo se compara la base de datos de ETDEWEB con Google y GS, se inició un estudio por separado, siguiendo una metodología similar. El patrocinador de ETDEWEB es el Energy Technology Data Exchange (ETDE) que es un acuerdo de intercambio multilateral de la información formado en 1987 bajo el marco de la Agencia Internacional de Energía (IEA). Los países miembros de ETDE contribuyen con el fondeo, los miembros, alimentan a la base de datos con los registros bibliográficos y documentos, que contienen los resultados de la investigación de la energía en el mundo entero, I&D+I en ciencia, tecnología, incluyendo políticas energéticas y aspectos ambientales y económicos. La misión de ETDE es proporcionar a los gobiernos, la industria y la comunidad de investigación en los países miembros, el acceso a la información recolectada y la diseminación en países en desarrollo. Más de 110 países tienen libre acceso a ETDEWEB y ETDE da la bienvenida al interés de países que aún no tienen acceso. La misión del ETDE se logra a través de la creación colaborativa de la Base de Datos de la Energía. La versión en Internet, ETDEWEB HTPP:// es la que se utilizó para la comparación. El estudio lo llevó a cabo el Agente Operativo de ETDE que es la Oficina de Información Técnica y Científica (OSTI) del 6

7 Departamento de Energía de los Estados Unidos (DOE) quien le da mantenimiento a la base de datos ETDEWEB. Comprensión de los sistemas de búsqueda ETDEWEB es reconocida como la base de datos más grande del mundo de información relacionada con energía. A partir de 2010 la base de datos tiene más de 4.3 millones registros de la literatura de la energía a nivel mundial. Una de las fortalezas de ETDEWEB es su enfoque científico y el acceso al texto completo de la literatura (más de 300,000 documentos en PDF), disponibles desde el sitio web de ETDE y más de un millón registros contienen ligas, a donde se pueden encontrar los documentos. La estructura de la base de datos ETDEWEB permite opciones sencillas y avanzadas de búsqueda, y otras características de interfase que ayudan a los usuarios a acotar los resultados. La información contenida en ETDEWEB espera ser de naturaleza científica y es filtrada por los países miembros para su inclusión. Las fuentes incluyen informes técnicos de importantes organizaciones de investigación, conferencias técnicas, revistas científicas arbitradas y mucho más. Un usuario que busca en ETDEWEB no se tiene que cambiar a través de comunicados de prensa, promociones de productos, anuncios y sitios de medios sociales para ver los resultados de la investigación, orientados fundamentalmente a la comunidad científica. Los documentos que están en otros idiomas, generalmente tienen títulos y resúmenes en inglés para ayudar al usuario a encontrar contenidos relevantes del tema que le ayuden a tomar decisiones de si la traducción del texto completo vale la pena. El indexado de temas usa un vocabulario controlado y se agrega a cada registro bibliográfico de la base de datos, para ayudar también a una recuperación más precisa. Una nueva herramienta disponible de búsqueda de materia agrupada en ETDEWEB que está disponible desde febrero de 2010 ayuda a acotar las búsquedas, tomando buena ventaja de este indexado de temas. Google es un producto notable que ha transformado la experiencia del usuario, aún abriéndose camino en el uso común como un verbo. 7

8 Su fortaleza reside en la basta cantidad de información accedida en unos cuantos milisegundos y su jerarquización de algoritmos que son a menudo extraños en su habilidad para dar al usuario la información de su interés. Una búsqueda generalmente regresa millones de hits con los 10 primeros desplegados, y el resto disponible en incrementos de 10. Google trata verdaderamente de indexar todo lo que pueda acceder. Los tipos de información encontrados en Google incluyen algún contenido científico desde la superficie de la red, pero parece existir un enfoque mayor sobre las noticias, información de negocios y productos, boletines electrónicos, materiales promocionales, reseñas, sitios de información/referencia como Wikipedia y grandes establecimientos comerciales como Amazon. Google Scholar, como el nombre lo indica, se enfoca típicamente a recursos orientados a la comunidad académica y de la investigación. Los editores de revistas científicas importantes, sociedades de información y muchas bases de datos científicas, consideradas anteriormente como parte de la red profunda, se han hecho más fácilmente accesibles mediante este buscador. Es útil entender la estructura de cada sistema de búsqueda. Los buscadores, tales como Google/Google Scholar (GS) generalmente no son la fuente subyacente del contenido de la información, aunque tiene muchos socios. Los motores de búsqueda tienen robots y rastreadores ( bots y crawlers ) que buscan sitios de la web y construyen índices que ayudan a jerarquizar y reconocer cuestiones similares, contribuyendo/controlando con la jerarquización, lo que el usuario mira como resultados de la búsqueda. Para muchos de los datos de la web, una persona o entidad tiene que hacer un esfuerzo deliberado y consciente, para garantizar que la información que producen se pone en un formato aceptable que sea visible para los robots, permitiendo a los ingenieros de búsqueda saber dónde y qué indexar. Compañías de especialidades que claman ser capaces de incrementar la visibilidad de la información de una compañía en la red son rampas y sin duda ofrecen algunas sugerencias para hacerlo. Pero la realidad es que no todos los motores de búsqueda 8

9 buscan las mismas fuentes ni tampoco hacen eso en la misma forma. La frecuencia y el método de indexar varían considerablemente de un buscador a otro y de un sitio a otro, variando desde un indexado instantáneo, para relatos de noticias importantes y del clima en forma mucho más lenta, y algunas veces solamente parcial, o el indexado selectivo de grandes archivos aún cuando son dados a conocer a los robots (más acerca de este aspecto es tratado posteriormente en este documento). La misma estrategia de búsqueda dará diferentes resultados de un buscador a otro, no sólo debido al contenido, sino también debido a la jerarquización de asuntos desplegados al usuario. Como los algoritmos de jerarquización son generalmente patentados, se desconoce cuánto peso se da a la puntualidad de la información, popularidad del sitio, confiabilidad de datos, relaciones de los patrocinadores y/o anunciantes y otros factores. Pero a pesar de esas variables los usuarios están generalmente muy satisfechos con los resultados especialmente de Google y rara vez cuestionan si está faltando alguna información, ya que obtienen más información de la que pueden revisar. En forma detallada se observan fortalezas en el estudio, donde Google y GS manejan indistintamente los plurales y los singulares (encuentran tanto celda como celdas, por ejemplo, en donde normalmente ETDEWEB no lo hace a menos que el usuario específicamente lo requiera) y también ellos tienen aparentemente algún nivel de las ayudas de búsqueda basadas en la semántica. Se infiere que Google y GS también dan resultados basados en el texto completo de los documentos, cuando están disponibles, mientras que las búsquedas ETDEWEB hechas para este estudio imitaron la Búsqueda Fácil (Easy Search) que no incluye todo el texto (nota: ETDEWEB sí tiene disponibles búsquedas de texto completo, sin embargo hubiera significado un resultado mas copioso) 9

10 Detalles del estudio y resultados El análisis comparó los resultados de 15 preguntas relacionadas con la energía, efectuadas en los tres sistemas, utilizando estrategias de búsqueda idénticas. Se escogió una variedad de temas, aunque los temas fueron principalmente sobre áreas de energía renovable, debido al gran interés internacional. Los términos específicos usados fueron orientados para ser lo suficientemente específicos para mantener el número de registros devuelto a un nivel manejable. Los resultados de cada consulta se capturaron como 45 bloques de datos con títulos e información de la fuente que luego fueron usados para la comparación. Más de 40,000 registros formaron parte del estudio. La confrontación de las comparaciones fue un fenómeno interesante observado en el estudio de WWS y se encontró que fueron ciertos también en el estudio de ETDEWEB. Aunque las cantidades iniciales resultantes, enunciadas por Google y GS (p.ej.: resultados del 1 al 10 de alrededor de 658,000 ). Es muy impresionante, que en realidad, el número máximo de registros que un usuario puede realmente hojear y ver nunca excede 1,000. Más aún, a medida que el usuario se desplaza página por página, Google y GS refinan esas cantidades (eliminando aparentemente duplicados y resultados muy similares) y el recuento final siempre será inferior a las cantidades inicialmente enunciadas. Puesto que muchos usuarios típicamente ni siquiera ven más allá de varias de las primeras páginas de resultados, este patrón no es tan evidente para el usuario casual, ni tampoco puede ser tan importante. Pero sí significó que el número real de registros disponibles para comparación en el estudio siempre fue limitado a menos de 1,000, para los resultados de Google y GS. Una vez que los registros estuvieron en los conjuntos de datos, se observó alguna duplicación adicional dentro de cada conjunto de resultados y estas duplicaciones se eliminaron antes de que fuera hecha la comparación final. La Tabla 1 muestra los términos de búsqueda usados para las consultas y el número de registros realmente 10

11 extraídos por cada uno de los sistemas de búsqueda, eliminando los duplicados. El título del artículo o documento fue el común denominador, a través de los sistemas y el campo principal usado para las comparaciones. El análisis buscó el campo de la fuente, así como también otros factores, pero no para una comparación directa. Se dio una mayor escrutinio a los subconjuntos de los registros de ETDEWEB (tales como artículos en publicaciones arbitradas) que se esperaba estuvieran presentes en los resultados de búsqueda de Google y/o GS, para garantizar que las comparaciones fueran precisas. Tabla 1. Términos de búsqueda y conteo de los resultados Como se refleja en los datos que manejan la Tabla 1, ETDEWEB promedió 1,403 registros para las búsquedas, mientras que Google 11

12 tenía 556 y GS 704 respectivamente. Los resultados de promedio más altos de ETDEWEB, obviamente están bien reflejados en ETDEWEB, pero es un poco confuso como un promedio, dados los límites de los resultados de Google/GS. ETDEWEB no tenía un límite superior en sus resultados retornados, no obstante se orientó hacia un límite de unos cuantos miles. La coincidencia exacta del título entre los conjuntos de cada una de las preguntas produjo solamente 57 coincidencias por búsqueda en promedio, entre los registros de ETDEWEB y los conjuntos de resultados de Google/GS. Las coincidencias de GS fueron más prevalentes que las coincidencias Google por una proporción de alrededor 17:1. Esta proporción no fue inesperada, ya que GS subraya más el contenido científico/técnico. Las fuentes principales observadas en los datos reales para los conjuntos GS incluyeron editores de revistas científicas internacionales, publicaciones técnicas de sociedades, ponencias de conferencias, fuentes académicas y también registros de dos de las propias bases de datos de OSTI, el Information Bridge y Energy Citations. Los resultados de Google fueron mucho más variados con contenidos que van desde boletines electrónicos (blogs), boletines electrónicos interactivos (wikis), artículos de noticias, boletines de prensa, negocios, sitios del gobierno y sitios orientados al consumidor, patentes y libros de comerciales y descripciones de productos. Uno de los resultados del estudio que se esperaba ver fue el que cuando menos algunas de las coincidencias en los conjuntos de los resultados de Google habrían sido títulos cuyo origen era ETDEWEB. No obstante que ETDE ha puesto a disposición un porcentaje significativo del contenido de sus bases de datos al robot del Google y otros rastreadores desde principios de 2009, fue decepcionante al que solo rara ocasión se encontrara un registro de ETDEWEB en los conjuntos de Google. El seguimiento de las pruebas mostró que ETDE no está posicionado muy alto en los resultados listados en la mayoría de los casos, cuando se busca con Google, o de otra manera los registros se eliminan como parte del proceso de selección del motor de búsqueda. En una posterior revisión de estadísticas 12

13 relacionadas con la actividad rastreadora en 2010 se estimó que Google está indexando menos del 10% de los registros de ETDEWEB, puestos a disposición de ella. Está en camino la investigación para determinar los pasos que puedan tomarse por parte de ETDE para mejorar el porcentaje de indexado. Si la información de ETDE no está, a pesar de haberla facilitado. Cuántas otras colecciones son parcialmente indexadas? El siguiente paso del estudio muestreó resultados no coincidentes en ETDEWEB del editor internacional de revistas científicas, Elsevier que se sabía estaban indexados por GS. Esta revisión a fondo condujo a posteriores refinamientos en la coincidencia de títulos. Después de estos refinamientos se obtuvo un promedio adicional de 129 coincidencias. La Tabla 2 proporciona el porcentaje de los resultados de ETDEWEB que fueron únicos para la misma búsqueda en cada sistema después de estos refinamientos. Tabla 2. Porcentaje de documentos extraídos de ETDEWEB no extraídos por Google o GS Términos de la búsqueda Porcentaje único del conjunto de resultados de ETDEWEB "wind turbine arrays" offshore 90.0% "energy recovery" "waste heat" 87.3% CCS "underground storage" 87.1% "biomass fuels" ethanol 87.8% "radioactive waste management" dismantling 85.4% "solar cells" energy output 87.3% "fly ash" transport fossil fuel "power plants" 77.6% "climate change" ocean circulation 85.9% hydroelectric power plants turbines 87.8% daylighting office buildings 82.3% 13

14 plasma accelerator performance 84.5% geothermal heat pumps 86.4% photovoltaic power plants design 88.1% proton exchange membrane fuel cells performance 86.0% solar collectors water heating efficiency 86.1% Promedios 86.7% Revisando a continuación los registros únicos remanentes de ETDEWEB, se intentaron otras formas de encontrar los registros en Google/GS para ver si los registros estaban ciertamente ahí. En muchos casos eran recuperables si se entraba con las palabras exactas del título del artículo. Pero una vez más, estos mismos registros NO habían sido recuperados en los conjuntos de conjuntos Google y GS, en las consultas tópicas usadas en el estudio. El análisis mostró que solo porque un documento está disponible en la red no significa que será recuperado en una búsqueda en Google o GS. Ocurre mucho filtrado y posicionamiento y lo que al usuario se está mostrando se sospecha estar cuando menos parcialmente basado en la popularidad de la fuente, dado que muchos registros encontrados están desviados hacia ciertas fuentes. Y si los registros son similares la fuente de prestigio era típicamente la que se desplegó. El estudio concluyó que si un usuario conoce un título muy específico, los tres sistemas son de utilidad al usuario para encontrar la fuente del documento. Pero si el usuario está pretendiendo encontrar documentos relevantes sobre un tópico específico, como lo era este enfoque del estudio, cada uno de los tres sistemas volverá a recuperar un volumen considerable de datos, pero diferentes. Para los tópicos en el estudio, EDTEWEB demostró recuperar resultados únicos no mostrados por Google o GS el 86.7% del tiempo. 14

15 En conclusión, Google ciertamente da a los usuarios una herramienta valiosa para encontrar en abundancia, buena información y GS ayuda al usuario que se enfoca a disciplinas científicas. Pero si el interés del usuario es científico y relacionado con la energía, ETDEWEB continúa manteniendo una posición nicho en información en el campo de la I&D+I en energía y añade un valor considerable en la adquisición del conocimiento. 15