Isidro F. Aguillo Cybermetrics Lab. CCHS-CSIC

Transcripción

1 UNAM, 16 de Octubre de 2009 Isidro F. Aguillo Cybermetrics Lab. CCHS-CSIC

2 Agenda El mercado académico global y la Web Clasificando las Universidades El Ranking Web UNAM y las universidades mexicanas (y brasileñas) Debate abierto 2

3 Quienes somos? Laboratorio de Cibermetría Grupo de Investigación Publicaciones científicas Principales actividades Rankings Web Ministerio de Ciencia (España) Financiación Proyectos europeos Consejo Superior de Investigaciones Científicas Mayor Centro PÚBLICO de Investigación en España 3

4 Por qué hacer un Ranking? Mercado Global Rankings Nacionales no satisfactorios Ranking de Shanghai Pero Crecimiento explosivo de la movilidad internacional de los estudiantes Producidos por entidades sospechosas Investigadores de una universidad pública Posibles errores en datos Gran demanda de información Criterios confusos y poco científicos Ranking mundial, centrado en la excelencia Metodología cuestionada Competencia por profesores e investigadores Datos no públicos Publicación en la Web genera impacto global Basado en datos de la actividad investigadora Recursos propios limitados Múltiples clasificaciones, complejas de interpretar Resultados sorprendentes causan reacciones políticas Centrado solo en las World Class Universities Ausencia de Rankings mundiales (hasta 2003) Orientados a estudiantes de primeros años Fácil de entender Tamaño, misión, excelencia, posición en el Ranking 4

5 Como hacer un Ranking? Selección de indicadores a 1 : Número de alumnos/profesor a 2 : Porcentaje de alumnos egresados a 3 : Número de tesis doctorales leídas a 4 : artículos publicados en revistas de calidad a 5 : Citas recibidas por dichos artículos.. a 98 : Tamaño de la biblioteca a 99 : Alumnos internacionales a 100 : Computadores por alumno Asignación de pesos Rank=w 1 *a 1 +w 2 *a 2 +w 3 *a 3 +.w 100 *a w i 1 Σw i =1 Estimación de pesos a priori según modelo, o Aplicando estadística no-paramétrica multivariante (econometría) 5

6 Pero, es viable? Selección de los indicadores (correlaciones, coherencia, representatividad) Datos no disponibles o difíciles de obtener (países en vías de desarrollo, universidades privadas) No comparables por falta de estándares ( Qué es un profesor?, y un alumno internacional?) Datos de encuestas poco fiables (experiencia en múltiples universidades) Datos con problemas (sesgos bibliométricos) Poca capacidad discriminatoria (Premios Nobel, alumnos/profesor) Sesgos temáticos (tecnologías, cc. sociales y humanas) Sesgos geográficos e idiomáticos 6

7 Entonces, Por qué la Web? La Web es ya la principal herramienta de comunicación científica Alcanza a públicos académico y general en cualquier lugar del mundo Publicar es fácil y barato Los indicadores Web son sencillos de construir e interpretar Miden las tres misiones de la Universidad: Docencia, Investigación y Transferencia La visibilidad o impacto Web está detrás del éxito de Google (PageRank) 7

8 Más justificaciones Objetivo original Promover la publicación en abierto (Open Access) Usar la Web en la evaluación académica: Web Publish or Perish Agenda política Incluir los países en vías de desarrollo Considerar todas las misiones, no solo la investigación Novedades metodológicas Los nuevos intermediarios: Motores de búsqueda Análisis de enlaces, más allá de las citas bibliográficas Indicador compuesto, similar al factor de impacto Resultados Brecha digital académica ( entre los países ricos!) Impacto de las malas prácticas web (nombres de dominio) Correlación con otros rankings (más caros, desactualizados y complejos) 8

9 Nuestro modelo académico Actividad (50%) Impacto (50%) Tamaño Ficheros Ricos Scholar Visibilidad Número de páginas Web 20% Número de documentos 15% Número de artículos 15% Número de enlaces recibidos Referendum virtual 9

10 Ranking Web Se edita desde 2004, a partir de trabajos cibermétricos iniciados en 1996, inspirado por el Ranking de Shanghai Es el Catálogo de Universidades, con sus dominios web, más completo y actualizado: universidades de todo el mundo Se publican los datos de las primeras universidades incluyendo las de nivel mundial y aquellas que tienen importancia regional para los países en vías de desarrollo Hay dos ediciones al año (Enero y Julio) y se publica conjuntamente con los Rankings de Centros de Investigación (+70.00) y de Repositorios Los datos web son indicadores del compromiso de la universidad con la publicación electrónica, pero también de la calidad de su investigación, docencia y transferencia de conocimiento y del impacto global de estas actividades 10

11 11

12 Resumen Region/Países Top 100 Top 200 Top 500 Top 1000 Total Norte América EEUU us Canada ca Europa Reino Unido uk Alemania de Italia it Francia fr Asia Japón jp Taiwan tw China y HK cn/hk Corea kr Latino America Brasil br México mx Oceania Australia au Mundo Árabe África MUNDO WR (Julio 2009) 12

13 Resultados esperados Norte América M.I.T. (1º mundo), Harvard (2ª), Stanford (3ª), Berkeley (4ª) Toronto (28º mundo) Europa Cambridge (1ª región, 22ª mundo), Oxford (42ª) ETH Zurich (46º) Latino América Universidade de Sao Paulo (38ª) Universidad Nacional Autónoma de México (44ª) Asia University of Tokyo (24ª), National Taiwan University (26ª), Kyoto University (49ª) Oceanía Australian National University (77ª) Africa University of Cape Town (405ª) WR (Enero 2009) 13

14 Rankings Mundiales de Universidades CRITERIA WEBOMETRICS ARWU HEEACT QS-THES Spain (research lab) China (university) Taiwan (gov agency) United Kingdom (firm) Univs analysed Univs ranked Teaching Alumni Nobel 10% Students/Staff 20% Internationalisation % Foreign Students 5% % Foreign Professors 5% Size Webpages 20% University 10% Research Documents 15% Nature&Science 20% Papers S&SSCI Papers GS 15% Papers S&SSCI 20% 20% Impact Links 50% Highly Cited Researchers 20% Prestige Faculty Nobel 20% Highly Cited Res Cit High IF Journals 50% Citations S&SSCI 30% Citations Scopus 20% Academic Survey 40% Employers Survey 10% 14

15 Comparando (Top 200) Country WEBR09 ARWU08 HEEACT08 QSTHES08 USA United Kingdom Germany 17 14* Canada Netherlands Japan Australia Switzerland France Sweden Italy Israel Belgium Denmark China & HK Korea Singapore Taiwan India Thailand

16 Crítica y auto-crítica ARWU (Shanghai) Excesivo énfasis en la super-excelencia (premios Nobel) Errores de asignación en origen no solucionados (alta estabilidad) THE-QS HEEACT (Taiwan) Leiden Rankings Nacionales US News/CHE Encuesta sesgada teórica y metodológicamente A partir de la posición 200 faltan universidades Solo datos bibliométricos sesgados geográfica y temáticamente Asignación de pesos en HEEACT caprichosa Orientados a estudiantes Múltiples rankings CHEPS (UE) Enorme esfuerzo humano y financiero para clasificar 200 universidades: Peligro de profundizar la brecha intra-europea Webometrics No segrega aportación relativa de cada misión Muy sensible a malas y óptimas prácticas web 16

17 Otros:

18 Otros: 18

19 Otros: CROWN INDICATOR BRUTE FORCE

20 Otros:

21 Brecha digital académica 21

22 Universidades Mexicanas Instituciones de Educación Superior 218 Institutos Tecnológicos 145 Universidades públicas Centros privados (planteles diferentes) Directorio de Webometrics 460 entradas con dominio web propio (Julio 2009) Ampliadas a 950 entradas (Enero 2010) Algunas universidades con dos dominios (20, incluyendo ITESM!) Planteles con dominio propio (UNIVER, La Salle, Anahuac) Pendientes Varios cientos de IES sin dominio o presencia web 22

23 Latinoamérica 3 (17) 2 (6) 0 (4) UNIVERSIDAD NACIONAL AUTONOMA DE MEXICO (44ª) 6 (30) 0 (1) 0 (1) 0 (2) 0 (2) 1 (5) 0 (1) 1 (4) 0 (1) 2 (7) 4 (14) UNIVERSIDADE DE SAO PAULO (38ª) 27 (82) 0 (1) 1 (1) 3 (21) Top 50 (200) Región WR (Julio 29) 23

24 Julio

25 Producción Científica 25

26 Valores desagregados 26

27 Visibilidad International 27

28 Vecindario: UNAM 28

29 Vecindario: USP 29

30 Popularidad 30

31 Mejorando su clasificación Tamaño Dominio único Contenidos variados Visibilidad Español e Inglés Enlaces externos F. Ricos y Scholar Páginas Personales Repositorio Resultados de Investigación Desde otras Universidades! Contenidos de terceros 31

32 Tomándose en serio la Web La Web es el principal medio de comunicación científica, es universal y alcanza audiencias millonarias, y es económico tanto para acceder como para publicar información. Frente a la globalización y un mercado académico cada vez más competitivo, una agresiva presencia Web incrementa la visibilidad y prestigio internacional de la universidad y atrae estudiantes brillantes, profesores excelentes y financiación adicional En un futuro próximo los indicadores Web jugaran un papel relevante en la evaluación de las universidades, por lo que sus sedes web deben reflejar todas las actividades que realizan y los resultados que producen. La excelente posición de USP es debida a una fuerte interconexión con otras universidades brasileñas. Canadá tiene sus universidades entre las mejores del mundo por su fuerte interconexión con las estadounidenses. La UNAM puede aprender de ambas experiencias 32

33 MUCHAS GRACIAS! PREGUNTAS? ISIDRO F. AGUILLO, H.C. DR. CYBERMETRICS LAB. CCHS-CSIC ALBASANZ, MADRID. ESPAÑA