SEMINARIO INTERNACIONAL SOBRE ESTUDIOS CUANTITATIVOS Y CUALITATIVOS DE LA CIENCIA Y LA TERCNOLOGIA INFO 2002, La Habana, CUBA. 25 de Abril de 2002

Transcripción

1 SEMINARIO INTERNACIONAL SOBRE ESTUDIOS CUANTITATIVOS Y CUALITATIVOS DE LA CIENCIA Y LA TERCNOLOGIA INFO 2002, La Habana, CUBA. 25 de Abril de 2002 MEDIDAS DE POPULARIDAD, VISIBILIDAD, IMPACTO Y DIVERSIDAD EN LA DESCRIPCIÓN CUANTITATIVA DEL WEBESPACIO ACADÉMICO Y DE INVESTIGACIÓN. Introducción. Isidro F. Aguillo CINDOC-CSIC Joaquín Costa, Madrid. ESPAÑA isidro@cindoc.csic.es El Web se ha convertido en una de las principales fuentes de información de la actividad académica y científica y, por tanto, en una excelente plataforma, para probar nuevos métodos de evaluación de dicha actividad. Una nueva disciplina llamada cibermetría pretende aplicar técnicas bibliométricas y cienciométricas a los procesos de comunicación científica en Internet con el fin de conocerlos y describirlos de una forma cuantitativa. En este trabajo se discuten de forma teórica las principales unidades que deben ser tenidas en cuenta en la descripción y análisis cuantitativo de los recursos web. Sobre la unidad sede definida tanto de acuerdo a criterios documentales como institucionales se proponen diversos indicadores, así como los métodos más adecuados para obtenerlos. Finalmente se comprueban estos indicadores mediante un análisis empírico de una población de universidades europeas e iberoamericanas Definiciones básicas Tras realizar una revisión bibliográfica de los principales indicadores cibermétricos propuestos se consideró necesario realizar en primer lugar una descripción de nuevas unidades de trabajo entre las que destaca por su aplicabilidad el concepto de sede. Se entiende por sede un conjunto de páginas web ligadas jerárquicamente, que pueden ser representadas por la página de mayor nivel, que forman una unidad documental diferenciada y que tiene una unidad institucional reconocible como tal. Esta unidad institucional puede establecerse a diversos niveles y permite la existencia jerárquica de sedes anidadas. El reconocimiento de la unidad documental se establece según criterios formales. En la Tabla siguiente se establecen diversos niveles de aproximación de la realidad Web y la metodología propuesta para el análisis en el entorno de la investigación científica técnica. Unidad Escenario Tipo de análisis

2 Dominio/ Subdomi nio Sede Sitio Documen tos Recursos académicos y relacionados con la I+D Presencia en la web de instituciones (públicas y privadas) de I+D Todos los sitios académicos y de I+D Artículos científicos (publicación formal), artículos o informes técnicos distribuidos informalmente Análisis geográfico Análisis por tipología institucional Distribuciones informétricas Análisis horizontal Análisis vertical Web data-mining Análisis bibliométrico Páginas Contenidos Distribuciones Objetos Objetos multimedia informétricas Enlaces Enlaces hipertextuales ( sitas ) Distribuciones de características Análisis de citas Análisis de co-enlaces Páginas web académicas por región / país Distribuciones e indicadores de los tipos institucionales de la I+D independientes de la escala la auto-organización del sistema regionales idiomáticos Estudios de caso cienciométricos tipología Estudios e indicadores de género bibliométricos riqueza, tamaño y densidad tipología y tamaño (ancho de banda requerido) visibilidad endogamia conectividad diversidad cooperación (colegios invisibles)

3 Tráfico Visitas recibidas por sedes Web Tráfico Inter/intra servidores Análisis de los ficheros de visitas ( log-files ) Análisis del tráfico en Internet Medidas de popularidad Estudio del comportamiento de usuarios en la recuperación de información Grandes proyectos de cooperación telemática. cuellos de botella Principales indicadores. Para los diferentes niveles de descripción presentados anteriormente pueden ser desarrollados distintos indicadores, algunos de los más relevantes son definidos a continuación: 1. Indicador: TAMAÑO (documental) 1.1. Definición. El tamaño documental de un dominio o sede es el número total de páginas html o asimiladas bajo dicho dominio o sede Cálculo Definida la entidad a calcular mediante una dirección URL inequívoca se pueden utilizar tanto métodos indirectos (mediante el uso de delimitadores en los motores de búsqueda) o directos mediante agentes volcadores y mapeadores Google Alltheweb Altavista Hotbot dominio sitio url SI SI SI (site) (site) (allinurl) SI SI (filtro) CADENA (filtro) CADENA (formulario) (formulario) SI CADENA CADENA (domain) SI (formulario, domain) (host) SI (formulario, domain) LycosPro NO SI (h) NorthernLight SI (numérico) CADENA (url) (url) CADENA (domain) CADENA (u) CADENA (url) 1.3. Interpretación y comentarios Algunas sedes en Internet han adquirido un volumen notable de páginas, lo que viene a indicar que en muchas instituciones se ha pasado de un modelo web centrado en la presentación de las mismas a otro que hace hincapié en los contenidos y son por tanto mejor reflejo de las actividades que realizan.

4 Es necesario señalar el fuerte carácter discriminador de este indicador al comprobarse que existen grandes diferencias entre instituciones similares y algunas de ellas totalmente inesperadas. A efectos comparativos y en el cálculo de otros estadísticos es determinante fijar un valor mínimo a determinar en cada caso, pues puede generar artefactos. 2. Indicador: TAMAÑO (informático) 2.1. Definición. El tamaño en bytes de la sede 2.2. Cálculo. Un volcador ofrece la medida más ajustada. Ofrecemos una lista de los principales programas que se pueden utilizar a tal fin: AaronWebVacuum 1.0 ( BackStreet 1.5 (softwaresolutions.net/backstreet) BlackWidow 4.14 ( Ecatch 3.0 ( HttpWeazel 1.10 (ww.httpweazel.com) HTTrack Website Copier 3.04 ( insite 1.0 ( Internet Angel 5.0 (ineta.de) JOC WebSpider 3.31 ( Leech ( MemoWeb 4.0 ( Offline Explorer Pro 2.0 ( SuperBot 2.60 ( Surf Saver 2.2 ( Teleport Pro 1.29 ( WebCopier 2.8 ( Webleech 2.4 ( WebMirror 1.40 ( WebReaper 9.8 ( Website Extractor 7.70 ( WebStripper 2.02 ( WebVCR 2.16 ( WebWhacker ( WebZip 4.1 ( Interpretación y comentarios. Fuertemente sesgado por la presencia de objetos multimedia. Una única secuencia de video puede llegar a suponer varios Mb, el equivalente a miles de páginas de texto o docenas de imágenes de alta calidad. 3. Indicador: DENSIDAD (hipertextual) 3.1. Definición. Se define como la media de enlaces por página, aunque podrían utilizarse otras medidas centrales según la distribución de frecuencias de las páginas Cálculo.

5 Ningún de los motores permite contar directamente el número de enlaces, por lo que ha de recurrirse a programas de segunda generación, especialmente los llamados inspectores de enlaces ( linkcheckers ) o los mapeadores. Inspectores Alert Link Runner 4.55 ( CheckWeb 1.2 ( CSE HTMLValidator 5.00 ( CyberSpyder ( KyoSoftLinkChecker ( Linkbot 6.0 ( LinkMan Prof 6.01 ( LinkScan 9.0 ( LinXCop 2.6 ( SiteChecker 3.5 ( WebLinkValidator 2.0 ( WebSpector 2.3 ( Xenu 1.2b ( Mapeadores Astra Site Manager 2.0 ( Blueprint ( Content Analyzer 3.0 ( IntelliTamper 2.08 ( LinkBot Pro 6 ( LinkViewer 3.0 ( Personal Internet Engine 3.06 ( Site Mapper 1.04 ( SiteXpert 5.1 ( Star Tree Studio 1.5 ( WebAnalyzer 2.01 ( WebFeedback 3.0 ( WebKing 3.0 ( WebMaster Pro 5.0 ( WebTrends Prof Suite 7.0 ( Interpretación y comentarios. Es aconsejable utilizar el valor que corresponde al número total de enlaces a páginas (documentos HTML y asimilables). Algunos mapeadores no distinguen la naturaleza exacta del enlace e incluyen pasarelas y direcciones de correo en sus cómputos. En otros casos los programas distinguen número de enlaces distintos del número total de enlaces. Puesto que se pretende describir la naturaleza del documento se aconseja utilizar el número total, más aún teniendo en cuenta la existencia de páginas de gran tamaño 4. Indicador: DENSIDAD (multimedia) 4.1. Definición. Se trata de la media de objetos multimedia por página 4.2. Cálculo

6 Al igual que en el caso anterior se requiere el uso de herramientas de segunda generación Interpretación y comentarios. Se pueden agrupar los resultados atendiendo a la diferente tipología de los objetos, tanto en términos de categorías (audio, video) como de formatos (gif, jpg, mpg). 5. Indicador: PROFUNDIDAD 5.1. Definición Número máximo de niveles (directorios-subdirectorios) de una sede 5.2. Cálculo. Los mapeadores resultan las herramientas adecuadas para estos fines, ya que ofrecen este dato como resultado directo de su exploración Interpretación y comentarios. Este valor ha de ser tenido en cuenta conjuntamente con los de tamaño. Desde un punto de vista práctico, una elevada profundidad puede hacer invisible parte de la sede a los robots de los motores de búsqueda. 6. Indicador: LUMINOSIDAD 6.1. Definición Total de enlaces emitidos desde una sede (tanto internos, con fines de navegación, como externos, de referencia a sedes ajenas) Cálculo. El número total de enlaces se puede obtener tanto de algunos de los inspectores de enlaces como de ciertos mapeadores Interpretación y comentarios. Los enlaces considerados son el total de ellos, aunque estén repetidos. 7. Indicador: NAVEGABILIDAD 7.1. Definición Número total de enlaces internos respecto del total de páginas Cálculo. Los enlaces internos se pueden extraer de ciertos inspectores de enlaces y mapeadores Interpretación y comentarios. De nuevo, los enlaces considerados son el total de ellos, aunque estén repetidos 8. Indicador: DISPERSION 8.1. Definición Se calcula dividiendo la luminosidad entre el número de enlaces distintos menos uno Cálculo. Algunos inspectores de enlaces y mapeadores ayudan en su obtención Interpretación y comentarios. Una medida pensada para describir la estructura hipertextual de una sede. 9. Indicador: ENDOGAMIA 9.1. Definición Porcentaje de enlaces distintos internos respecto del total de enlaces distintos emitidos Cálculo. El número de enlaces se puede obtener igualmente de la mayoría de los inspectores de enlaces y mapeadores Interpretación y comentarios.

7 Al contrario que en casos anteriores sólo se consideran los enlaces distintos, no las veces que estén repetidos. Eventualmente habría que introducir una corrección derivada del tamaño de la sede. Se trata de una importante medida de calidad, cuya interpretación puede ser problemática. Dicho objetivo evaluativo implica el uso de valores totales y no sólo enlaces diferentes (lo que estaría correlacionado tanto con el tamaño como la organización de la sede). 10. Indicador: VALIDEZ (hipertextual) Definición Porcentaje de enlaces válidos respecto del total Cálculo. Se utilizan los inspectores de enlaces Interpretación y comentarios. El fenómeno de los enlaces inalcanzables o rotos está bastante extendido en la Web. Aunque tradicionalmente utilizado como indicador de calidad, hay que tener en cuenta la propia naturaleza volátil de la información en Internet, por lo que la falta de actualización por parte de los autores no debe ser considerada como un criterio robusto en la medida de la calidad de una sede. 11. Indicador: PATRON DE ENLACES Definición Distribución de los enlaces externos según criterio prefijado que clasifique las sedes enlazadas Cálculo. Se pueden utilizar tanto inspectores de enlaces como mapeadores Interpretación y comentarios. Se recomienda utilizarlo para dominios, para medir la distribución geográfica de los enlaces. 12. Indicador: POPULARIDAD Definición Número y distribución de las visitas recibidas en un plazo determinado. Se utilizan conjuntamente sesiones y usuarios distintos. Eventualmente se pueden utilizar posiciones en listado de sitios más visitados Cálculo. Si se dispone de los ficheros de visitas (log-files) se pueden utilizar programas de estadísticas de visitas. Sin embargo esto suele ser difícil, por lo que resulta más adecuado recurrir a listados ordenados según el número de visitas a través de un sistema pre-fijado ( Interpretación y comentarios. Los listados de Alexa están notablemente sesgados hacia el mundo anglosajón, pero son enormes y cubren un elevado número de sedes. No ofrece valores absolutos. 13. Indicador: CONECTIVIDAD Definición Número total de enlaces diferentes emitidos y recibidos por una sede. Alternativamente se puede utilizar el número de páginas para corregir el valor Cálculo. En este caso, además de las herramientas de segunda generación es necesaria la ayuda de los motores de búsqueda que soportan explícita o implícitamente delimitadores.

8 link Google PARCIAL (sólo página) Alltheweb SI (formulario) Altavista SI (domain) Hotbot SI (linkdomain) NO (formulario) LycosPro SI (ml) MSN Search SI (linkdomain) NO (formulario) NorthernLight SI (link) Interpretación y comentarios. La conectividad excluye explícitamente los enlaces internos, que se pueden utilizar para una nueva aproximación a la medida de la endogamia Indicador: VISIBILIDAD Definición Número total de enlaces externos diferentes recibidos por una sede. Una variante es medir la visibilidad nacional utilizando los enlaces recibidos del mismo país, excluyendo obviamente los del propio dominio Cálculo. Se utilizan los buscadores descritos anteriormente. Se recomienda extender el concepto de enlaces externos eliminando no solo los de la sede sino todos los del dominio institucional Interpretación y comentarios. La visibilidad parece una medida más adecuada para el conjunto de sedes, mientras que el impacto (ver siguiente) resulta inadecuado para sedes pequeñas. 15. Indicador: IMPACTO Definición Resultado de dividir el número total de enlaces externos diferentes recibidos por una sede por su tamaño expresado en número de páginas Cálculo. Los motores de búsqueda son la herramienta recomendada, aunque debido a la heterogeneidad de comportamiento se puede utilizar como valor el máximo obtenido de una batería de ellos Interpretación y comentarios. Este es el factor de impacto Web propuesto por Ingwerson, aunque su aplicabilidad resulta reducida para sedes de pequeño tamaño y alta visibilidad, lo que da lugar a notables artefactos. 16. Indicador: DIVERSIDAD Definición Distribución de las características de los enlaces recibidos por una sede Cálculo. La utilización de operadores boléanos en los motores de búsqueda permite descomponer los enlaces recibidos según diferentes criterios. La presentación puede ser descriptiva o sintética utilizando la fórmula de Shannon Interpretación y comentarios.

9 La diversidad se puede descomponer en dos componentes: riqueza y equitabilidad, aunque su formulación es muy diversa con distintos métodos de cálculo disponibles. A efectos prácticos los dominios us, edu, mil y gov son estadounidenses y los com, org, net e int se pueden entender como internacionales. El subdominio eu.int es europeo y los numéricos forman una categoría única. Resultados empíricos. Se han calculado los indicadores para dos poblaciones de sedes universitarias, una europea y otra iberoamericana, de forma que se han podido realizar análisis comparativos. Los datos se han ordenado según diferentes indicadores de forma que ha sido posible correlacionar los distintos valores relativos y posiciones y realizar una evaluación sobre la utilidad de cada una de las medidas. Para cada sede se ha dibujado un gráfico radial y se han establecido varios modelos con diferentes interpretaciones respecto a su significado.