Cómo interpretar para nuestros gestores la información de los rankings y los indicadores bibliométricos?

Transcripción

1 Cómo interpretar para nuestros gestores la información de los rankings y los indicadores bibliométricos? Domingo Docampo I Reunión de servicios de evaluación científica en los vicerrectorados de investigación: Qué necesitan nuestras universidades y gestores? Granada, Octubre 2017

2 Vale la pena tomarse interés en las clasificaciones internacionales? De verdad miden algo? En su caso, qué miden? Tiene interés lo que miden? Pueden ser útiles para informar la política científica de las instituciones? Cómo combinar la información que aportan los rankings con otros datos bibliométricos institucionales?

3 Global Rankings ARWU (China) THE (UK) US News (USA) NTU (Taiwan) CWUR (United Arab Emirates) URAP (Turkey) RUR (Russia) LEIDEN (Holanda) SIR (España)

4 Ranking Taxonomy RANKING INDICATORS RANKING WEIGHTS (%) THE URA CWU NTU USN ARW RUR Teaching Performance Teaching Reputation 15 8 Research Performance Research Reputation International awards Citations International outlook Knowledge transfer 2.5 5

5 Underlying structure Size-dependent (total research throughput) Size-independent? (Avg Norm Citation Impact) In-between (Institutional H-Index) R^2 hindex MNCS pub hindex 0.49 R^2 urap cwur ntu* rur arwu usn the pub hindex MNCS

6 Fiducial PCA based upon the H-index Results for the seven scales SEVEN INDICATORS Tot Var Explained(%) Cumulative Extraction Method: PCA Sampling adq KMO 0.87 Reliability Statistics Cronbach's Alpha 0.95 seven scales and H-index Sampling adq KMO 0.90 Reliability Statistics Cronbach's Alpha 0.96 SEVEN IND and H Tot Var Expl Cum Ext Meth: PCA

7 Fiducial PCA: H-index and two (size-dependent and size-independent?) Leiden indicators Sampling adq KMO 0.88 Reliability Statistics Cronbach's Alpha 0.96 SEVEN -H - LEIDEN Tot Var Expl (%) Cumul Rotated pca Extraction Method: PCA

8 Fiducial Analysis: adding Leiden size-dependent and size-independent variables

9 What ever happened to the teaching dimension

10 ntu vs hindex R² = ARWU vs hindex R² =

11 Para vicerrectores de investigación La dimension investigadora es la compo-nente principal (y única) del conjunto de clasificaciones internacionales. De extender a dos componentes, una daría cuenta de la cantidad y otra de la calidad de la producción investigadora La mejor dirección (para estar adecuadamente indexado enlosrankings) eshacer (seguir haciendo) un buen trabajo investigador.

12 Posición Shanghai/N. Funcionarios doctores a tiempo completo Posición ARWU 2016 y FTE RKG 2016 UDC UC3M UCA UAL UPO UDG UMH UCAN URJCUNA UCLM UCO UJI UPF UIB URV UAH VIGO UVA UMA UMU USAL ULL OVI UPC USC UAB UPV UAM UPM ZAR EHU US UV UGR UB UCM FTE 2016

13 Puntuación Shanghai 2016/H INDEX Puntuación ARWU 2016 y HINDEX R² = 0.70 UB arwu score 2016 UCM UPV UPC USC EHU URV UIB US OVI UAH VIGO ZAR UPMUJI ULL UMH UMUUCO USAL UPOUCLMUMA UCAN UCAURJCUAL UDG UNA UC3MUVA UDC UGR UPF UAM UV UAB HINDEX

14 Ciencias Sociales en ARWU

15

16

17 Lib Sciences ARWU DATA INCITES RAW DATA TOP vs RK UNIV PUB CNCI IC TOP Total PUB CNCI IC TOP H TOTAL 11 UGR % 71 UPV % 117 UB % 131 UCM % 151 UV % 155 UEX % 156 UNIZAR % 161 UMU % 168 UNA % 181 UPM % 193 UAH % MAX ARWU % AVGE ARWU % MEDIAN ARWU %

18 COMPUTER ARWU DATA INCITES RAW DATA H^2.5/ RK UNIV PUB CNCI IC TOP Total PUB CNCI IC TOP H TOT 33 UGR % 50 UPC % 72 UJAEN % 98 UPV % 104 UPM % 108 UC3M % 209 UPF % 263 US % 263 UAB % 274 UNIZAR % 278 UCM % 304 UMA % 305 UPNA % 323 EHU % 349 UCO % 352 UB % 378 URV % 388 UNIOVI % 405 UVIGO % 405 UCLM % MAX ARWU % AVGE ARWU % MEDIAN ARWU %

19 VET SCIENCES ARWU DATA INCITES RAW DATA TOP vs RK UNIV PUB CNCI IC TOP Total PUB CNCI IC TOP H TOTAL 9 UAB % 19 UCM % 36 UMU % 46 UCLM % 56 UCO % 62 UNIZAR % 85 ULEON % 98 ULPGC % 105 USC % 112 UdL % 114 UB % 128 UEX % 169 CEUCH % EQUINE VETERINARY JOURNAL MAX ARWU % TOP VETERINARY JOURNAL AVGE ARWU % VETERINARY RESEARCH MEDIAN ARWU % UAX 4 UCV 1

20 RANK Vet Sciences PUB CNCI IC TOP 9 UAB UCM UMU UCLM UCO UNIZAR ULEON ULPGC USC UDL UB UEX UCEUCH

21 TELECOM ARWU DATA INCITES RAW DATA TOP/ RK UNIV PUB CNCI IC TOP Total PUB CNCI IC TOP H TOT 24 UPC % 66 UPF % 85 UC3M % 88 UPV % 238 UMA % 243 UPM % 287 UPNA % 303 UMU % 308 EHU % 310 UVIGO % 317 UPCT % 331 US % 340 UAB % 344 UNIZAR % 388 UNIOVI % 397 UAH % 421 UAM % MAX ARWU AVGE ARWU MEDIAN ARWU % % %

22 TOP 20 TELECOM top 20 journals Telecommunications: 2015 JIF VIGO IEEE COMM SURVEYS AND TUTORIALS IEEE COMMUNICATIONS MAGAZINE IEEE WIRELESS COMMUNICATIONS IEEE J SELECTED AREAS COMM INTERNET RESEARCH IEEE TRANS WIRELESS COMM IEEE NETWORK IEEE VEHICULAR TECHNOL MAGAZINE J OF LIGHTWAVE TECHNOLOGY IEEE TRANS ON MULTIMEDIA IEEE TRANS ON MOBILE COMPUTING IEEE TRANS ON BROADCASTING IEEE TRANS ON COMMUNICATIONS IEEE TRANS VEHICULAR TECHNOL IEEE-ACM TRANS ON NETWORKING J OPTICAL COMM NETWORKING

23 Category Normalized Citation Impact TELECO-VIGO REVISTA PUB CNCI TOTAL CNCI ratio IEEE TRANS ANT AND PROP % IEEE TRANS WIRELESS COMM % IET MICROW ANTENNAS & PROPAG % INT J ANTENNAS AND PROPAGATION % IEEE ANT AND PROP MAGAZINE % IEEE ANT AND WIR PROP LETTERS % PROGRESS ELECTROM RES-PIER % IEEE COMM LETTERS % J LIGHTWAVE TECHNOLOGY % IEEE TRANS COMM % INT J SATELLITE COMM & NET % EURASIP J WIRELESS COMM & NET % IEEE TRANS CONSUMER ELECTRON % TRANS EMERGING TELECTECHNOL %