SCImago Institutions Ranking La investigación en los rankings. Félix de Moya Anegón CSIC/IPP/SCImago Research Group

Transcripción

1 SCImago Institutions Ranking La investigación en los rankings Félix de Moya Anegón CSIC/IPP/SCImago Research Group 1

2 Previos Global vs nacional o regional Holístico vs especializado Caracterización vs ranking 2

3 Excellence and leadership in one scientific domain (country or institution) Authors from different domains Excellence Output as main contributor Participated Excellence output Total output output Innovative knowledge Output as main contributor Exclusive output Author/s only from one domain 3

4 Indicadores Factor Investigación: Tamaños: Output y STP Performance: %E, %L, %EwL, %IC, NI y %Q1 Factor innovación: Output innovador (IK) Impacto tecnológico (TI) Factor Social: Output en la web Enlaces entrantes 4

5 Ponderación de indicadores SOCIETAL FACTOR 20% WS; 5 IL; 15% O; 8% STP; 5% %Exc; 2% %L; 5% RESEARCH FACTOR 50% %EwL; 13% TI; 20% IK; 10% NI; 13% %IC; 2% INNOVATION FACTOR 30% %Q1; 2% 5

6 - Nivel de certidumbre + Liderazgo- corresponding author País Institución Autor 6

7 Georeferenciación de la producción científica universitaria 2013 Producción científica de total excelencia con liderazgo Universidades Universidades

8 Distribución de rangos por países 8

9 Distribución de rangos por CCAA 9

10 Problemas con el uso de indicadores compuestos Posible interdependencia de componentes La alteración de los pesos da lugar a diferentes ramkings Los resultados pueden ser opacos e irreproducibles Los errores aleatorios de las funciones estadísticas son a menudo ignorados El espacio multidimensional se rompe transformandolo en lineal Información valiosa finalmente se pierde glänzel & debackere: the multidimensionality of ranking 10 10

11 % de producción de excelencia con liderazgo 14 Relación Output/%EwL UDL UJI URV 8 6 UAB UCM UB Producción científica total 11

12 Impacto Normalizado promedio Relación Output/NI 1,8 1,6 UPF 1,4 URV UAB UB 1,2 1 UCM 0,8 0,6 0,4 0, Producción científica total 12

13 Problemas con el uso de indicadores compuestos (cont.) Además de los problemas estadísticos y metodológicos mencionados, hay varios problemas de datos relevantes: La desambiguación" y por lo tanto la fiabilidad de los datos utilizados (información correcta dirección, la asignación de país correcto, la asignación institucional correcta...) Se utilizan ciertos tipos de documentos bibliográficos seleccionados o todos (artículo, nota, carta, revisión...) en la generación de indicadores bibliométricos La naturaleza variable en el tiempo de las fuentes de datos subyacentes 13

14 Diferencias por campos científicos Tasas de coautoría Salami publication o Salami Slicing Tipos de documentos

15 Tasas de coautoría Medicina Ciencias Sociales

16 Salami publication o Salami slicing Fraccionamiento de un tema de investigación en múltiples publicaciones Muy usual en las ciencias experimentales y muy inusual en las sociales y humanidades Contribuye a aumentar la media de trabajos por autor y campo científico

17 Tipos de documentos por campo Los artículos en revistas y contribuciones a congresos los tipos de trabajos usuales en Ciencias Experimentales y Básicas Los libros más frecuentes en Ciencias Sociales y Humanidades La diferente extensión de los trabajos hace que el ritmo de publicación sea más bajo en CCSS&HH y más alto en Experimentales y Básicas

18 EL Ranking y su SI El ranking como subproducto de un SI El SI proporciona al Ranking: Una oportunidad para la depuración en contexto Un instrumento para el diseño de indicadores Una herramienta para la validación de los mismos Respuestas para las preguntas que el Ranking produce: por qué tengo esa ubicación? En conclusión: La caracterización de la actividad académica debería ser posible a través de los SI que respaldan los Rankings 18

19 Qué hacemos? Hacemos un ranking, caracterizamos instituciones de investigación mediante indicadores Nuestro foco es sólo la investigación. No tenemos aspiraciones holísticas Caracterizamos todo tipo de instituciones con resultados de investigación, no sólo las académicas Buscamos una caracterización tanto cuantitativa como cualitativa El contexto de la comparación es global puesto que los indicadores reflejan procesos de generación de conocimiento El orden y la ponderación de los indicadores debe ser el resultado de la decisión del usuario. Nosotros sólo hacemos unas propuestas. 19

20 EL Futuro El mundo es aún peor de lo que nos dicen los rankings. Más desequilibrado (NYT). El problema del liderazgo científico Qué parte de la producción científica que se nos atribuye pertenece a otros? 20

21 Conclusiones Miramos donde se ve! La mera producción tiene severos sesgos El impacto científico medido de diversas formas es la clave en el caso de dominios científicos consolidados El liderazgo de las instituciones en la investigación es crítico para medir el desempeño científico Analizar las productividades considerando las diferencias de pautas de comunicación científica entre áreas científicas En todo caso, las evidencias en forma de indicadores son esenciales para generar mejores prácticas de gestión 21

22 Gracias! 22