Indicios de calidad y herramientas para medir los impactos de la investigación

Transcripción

1 Evaluación de la investigación Indicios de calidad y herramientas para medir los impactos de la investigación Seminario Publicación en abierto y mejora de la reputación del investigador. Facultad de Ciencias de la Educación de la Universidad de Sevilla (14, 15 y 16 de junio de 2016). Víctor M. Moya-Orozco (vmoya@us.es)

2 Autoevaluar la producción científica Por qué autoevaluarse? Por qué evaluar? Saber si estamos consiguiendo nuestro objetivo Modificar nuestro plan si es necesario Conocer el impacto propio Facilitarnos tareas administrativas: Sexenios, acreditaciones, etc.

3 Autoevaluar la producción científica Por qué autoevaluarse? Herramientas Métricas tradicionales: ICR, citas, Índice H Estadísticas del repositorio Altmetrics

4 Índices de Calidad Relativos (ICR) Índices de calidad relativos (ICR) Journal Impact Factor (JIF) Scimago Journal & Country Rank (SJR) Journal Scholar Metric (H5)

5 Journal Impact Factor (JCR) Basado en citas. Mide la calidad de la revista. Período de espera de 2 años.

6 Journal Impact Factor (JCR) Ventajas Principal indicador para la evaluación científica. Larga trayectoria en su uso. Muy afianzado en los procesos de evaluación. Gran reconocimiento. Limitaciones Indicador de calidad de la revista, no del artículo. Sesgo: hay idiomas y campos de conocimiento mal representados. No es inmediato. Puede ser manipulado.

7 Journal Impact Factor (JCR) Buscar revista Seleccionar categoría Año de la publicación Seleccionar edición

8 Journal Impact Factor (JCR) Buscar revista

9 Journal Impact Factor (JCR) Indicadores principales JIF JIF sin autocitas Cuartil por año y categoría

10 Scimago Journal & Contry Rank (SJR)

11 Scimago Journal & Contry Rank (SJR) Ventajas Contiene más revistas que JCR. Menos sesgo lingüístico y más representación temática. Reconocido para la evaluación en determinadas áreas. Limitaciones Indicador de calidad de la revista, no del artículo. No es inmediato. Puede ser manipulado.

12 Scimago Journal & Contry Rank (SJR) Buscar revistas (por título, ISSN o editor) Acceder al ránking de revistas

13 Scimago Journal & Contry Rank (SJR) Resultados de la búsqueda

14 Scimago Journal & Contry Rank (SJR) Ficha de la revista (Pt. 1) Índice H de la revista en Scopus Cuartil por año y categoría

15 Scimago Journal & Contry Rank (SJR) Ficha de la revista (Pt. 2) Factor de Impacto SJR Valor para un año concreto

16 Scimago Journal & Contry Rank (SJR) Localización en el ránking Ver ránkings de revistas Buscar revista Seleccionar área y año Mostrar sólo revistas OA Ránking

17 Scimago Journal & Contry Rank (SJR) Posición en el ránking = 77

18 Journal Scholar Metrics (H5)

19 Scimago Journal & Contry Rank (SJR) Ventajas Contiene más revistas que JCR y SJR. Menos sesgo lingüístico y más representación temática. Limitaciones Indicador de calidad de la revista, no del artículo. Está basado en Google Scholar, con sus limitaciones.

20 Journal Scholar Metrics (H5) Buscar revistas

21 Journal Scholar Metrics (H5) Total de citas Índice H5 Cuartil y posición por categoría Visibilidad (indexación en BBDD)

22 Journal Scholar Metrics (H5) Buscar por categorías Desplegar las materias de Arte y Humanidades

23 Journal Scholar Metrics (H5) Desplegar para limitar por país Ránking del área de Psicología

24 Journal Scholar Metrics (H5) Datos de la revista Índice H5 Posición Cuartil

25 Citas de las publicaciones Citas de las publicaciones Web of Science (WoS) Scopus Google Scholar

26 Citas de las publicaciones (Web of Science) Selección Búsqueda de autores

27 Citas de las publicaciones (Web of Science) Escribir el nombre unificado

28 Citas de las publicaciones (Web of Science) Ordenar por Veces citado

29 Citas de las publicaciones (Web of Science) Citas

30 Citas de las publicaciones (Web of Science) De las 42 citas, sólo 37 son de la Colección principal. Listado de publicaciones que citan el artículo

31 Citas de las publicaciones (Scopus) Selección Búsqueda de autor

32 Citas de las publicaciones (Scopus) Selección Búsqueda de autor

33 Citas de las publicaciones (Scopus) Seleccionar el autor para ver sus publicaciones.

34 Citas de las publicaciones (Scopus) Ordenar las publicaciones por citas.

35 Citas de las publicaciones (Scopus) Comprobar qué documentos citan la publicación

36 Citas de las publicaciones (Google Scholar) Ordenar las publicaciones por citas.

37 Citas de las publicaciones (Google Scholar) Escribir el nombre del autor.

38 Citas de las publicaciones (Google Scholar) Comprobar que los artículos son del autor buscado.

39 Citas de las publicaciones (Google Scholar) Ver el número de citas.

40 Citas de las publicaciones (Google Scholar) Comprobar que las citas provienen de artículos científicos (o en su caso de libros de carácter científico).

41 Índice Hirsch (Índice H) Índice Hirsch (Índice H) Web of Science (WoS) / Researcher ID Scopus Google Scholar

42 Índice H Diez artículos han recibido 10 citas o más.

43 Índice H Orden Citas Orden 1 1 Citas H=1 1 artículo ha recibido 1 citas o más H= 5 5 artículos han recibido 5 citas o más Orden Citas Orden 1 0 Citas H=3 3 artículos han recibido 5 citas o más H=0 No hay citas

44 Índice H (Web of Science) Selección Búsqueda de autores

45 Índice H (Web of Science) Escribir el nombre unificado

46 Índice H (Web of Science) Crear informe de citas

47 Índice H (Web of Science) Índice H

48 Índice H (Web of Science) Evita la búsqueda guardando tus publicaciones en ResearcherID

49 Índice H (Scopus) Selección Búsqueda de autor

50 Índice H (Scopus) Selección Búsqueda de autor

51 Índice H (Scopus) Seleccionar el autor para ver sus publicaciones.

52 Índice H (Scopus) Índice H

53 Índice H (Google Scholar) Buscar por nombre de autor

54 Índice H (Google Scholar) Seleccionar el autor Es imprescindible tener un perfil

55 Índice H (Google Scholar) El índice H aparece en el gráfico de citas

56 Otros impactos Tendencias en la medición del impacto de la investigación Otras métricas para otros impactos

57 Otros impactos Tendencias en la medición del impacto de la investigación

58 Otros impactos Tendencias en la medición del impacto de la investigación 2010 Manifiesto Altmetrics (Priem, Taborelli, Groth y Neylon) - El peer-review está obsoleto. Es lento y no limita el volumen de la investigación. - Las herramientas de recuento de citas son insuficientes, lentas, no admiten trabajos que no sean artículos, ignoran el contexto y no miden otros impactos. - El FI mide revistas y no puede usarse para evaluar el impacto de un artículo Declaración de San Francisco (Declaration on Research Assessment) - Promueve la eliminación de las métricas basadas en revistas. - Hay que evaluar la investigación por sí misma y no por la revista en que se publique. - Hay que aprovechar las oportunidades de la publicación en línea NISO Alternative Assessment Metrics Initiative - Pretende normalizar las altmetrics y definir sus usos en la evaluación científica. - También busca definir criterios para la evaluación de documentos distintos a artículos Research Excellence Framework

59 Otros impactos Tendencias en la medición del impacto de la investigación Qué tienen estas iniciativas en común? 1. La forma de evaluar la producción científica no es eficaz. 2. Hay que tener en cuenta no sólo los artículos, sino también otros productos que resultan de la investigación científica. 3. Estos otros productos crecerán en importancia 4. Las métricas basadas en revistas, como el FI y otros índices similares no pueden usarse para evaluar el impacto de un artículo, de un investigador o de una institución. 5. Las tecnologías de la información y la comunicación permiten nuevas formas de evaluar y medir la ciencia. 6. Es necesario contar con una variada gama de métricas que permitan conocer mejor el impacto de los resultados de la investigación.

60 Otros impactos Tendencias en la medición del impacto de la investigación Conclusiones del Consejo de la Unión Europea sobre la transición a un modelo de Ciencia abierta Todos los artículos científicos europeos, o al menos los financiados, en su totalidad o en parte, con fondos públicos, en Acceso Abierto en el año Estudiar el uso de métricas alternativas. Adaptación de los sistemas de retribución y evaluación. La evaluación de la calidad científica, además de basarse en la propia labor científica, debe ampliarse para medir también la influencia de la ciencia en la sociedad en su conjunto, en lugar de poner el énfasis, como ocurre actualmente, en una serie de indicadores basados en la repercusión de las revistas especializadas y el número de citas de las publicaciones.

61 Otros impactos Tendencias en la medición del impacto de la investigación Research Excellence Framework (REF) Nuevo modelo de evaluación de la calidad de la investigación del Reino Unido. Se evalúan diferentes tipos de impacto: político, tecnológico, económico, cultural, legal, social, medioambiental... Casos de estudio en impacto cultural.

62 Otros impactos Altmetrics: las otras métricas Qué son? Conjunto de indicadores basados en herramientas de la web social. Complementan a las métricas tradicionales. Miden otros impactos de la investigación que no miden las métricas tradicionales.

63 Otros impactos Altmetrics vs. Métricas tradicionales Referidas a una aportación concreta o a las portaciones de un autor (a diferencia del FI, que se refiere al valor de la revista ) Mayor rapidez en su actualización Obtenidas del impacto individual del autor o el documento en una comunidad determinada Número de lectores, número de visitas, interacción con otros usuarios, cuánto se ha compartido en redes sociales

64 Otros impactos Altmetrics: las otras métricas Ventajas 1. Diversidad: muestran datos sobre otro tipo de resultados de investigación, como conjuntos de datos, presentaciones, software, patentes, monografías, etc. 2. Otros impactos: no sólo ofrecen información sobre el impacto académico y científico, sino también en otras audiencias y tipos de impacto: social, económico, medioambiental, cultural, etc. 3. Ampliación del impacto: amplían la imagen del impacto de una investigación, con datos más allá de las propias citas. 4. Métricas a nivel de artículo: miden el impacto del artículo o resultado de investigación, no solo de la revista que lo contiene. 5. Inmediatez de los datos: ofrecen información desde el mismo momento de la publicación e incluso antes. 6. Contexto: permiten visualizar la acogida de un producto de investigación y la respuesta inmediata del autor. 7. Visibilidad: permiten realizar el seguimiento de la difusión de los resultados de investigación y tomar decisiones para obtener mayor visibilidad e impacto.

65 Otros impactos Altmetrics: las otras métricas Limitaciones 1. Falta de normalización: presentan problemas de normalización tanto para su recopilación como para su uso en la evaluación científica. 2. No están reguladas: al tratarse de herramientas poco controladas, pueden dar lugar a la manipulación y falsificación. 3. Fiabilidad: no está tan claro que sirvan para medir la calidad científica. 4. Tiempo y dificultad: hacer un seguimiento de las altmetricas puede ser difícil y llevar mucho tiempo si no se utiliza un proveedor de datos altmétricos. 5. Saturación: existen muchas medidas y proveedores diferentes, por lo que puede ser difícil determinar cuáles son las más relevantes para la evaluación científica. 6. Aceptación: aunque se empiezan a tener en cuenta como medidas complementarias de evaluación, en España evaluadores y organismos de financiación aún no las están teniendo en cuenta. 7. Contexto: el uso de las aplicaciones de la web social puede variar según la disciplina, la ubicación geográfica o a lo largo del tiempo, haciendo difícil interpretarlas. 8. Falta de correlación: no se ha podido demostrar que exista una correlación clara entre las citas recibidas por un trabajo y las altmetrics cosechadas, aunque esto varía según las fuentes.

66 Otros impactos Altmetrics vs. Métricas tradicionales Número de lectores, número de visitas, interacción con otros usuarios, cuánto se ha compartido en redes sociales Mayor rapidez en su actualización Miden el impacto individual del autor o el documento en diferentes comunidades Número de citas de la revista Actualización anual Miden el impacto de una revista en una BBDD determinada Miden el impacto individual del autor o el documento en diferentes comunidades

67 Otros impactos Altmetrics vs. Métricas tradicionales Fuente

68 Otros impactos Altmetrics: las otras métricas

69 Otros impactos Altmetrics: las otras métricas Fuentes de los datos ,25 1 0,5 0,5 0, ,25 0,25 3

70 Otros impactos Altmetrics: las otras métricas Fuentes de obtención de noticias en Entre otros

71 Otros impactos Altmetrics: las otras métricas Cómo medir otros impactos: IdUS Scopus Altmetric ImpactStory Kudos

72 Otros impactos Estadísticas de uso en idus Total visitas al documento Visitas mensuales al docuemento Descargas del fichero Visitas al documento por país Visitas al documento por ciudad

73 Otros impactos Scopus Article Level Metrics

78 Otros impactos Altmetric Marcador Altmetric Se instala en la barra de marcadores del navegador. Detecta automáticamente un DOI en la página y presenta las altmétricas para ese artículo. Permite generar alertas para conocer cambios en las métricas del artículo.

79 Otros impactos Altmetric Marcador Altmetric Permite medir cualquier artículo con DOI en una Web.

80 Otros impactos Altmetric Marcador Altmetric El donut de Altmetric marca la fuente de las altmétricas obtenidas y el peso otorgado a su conjunto.

81 Otros impactos Altmetric Marcador Altmetric El score marca el impacto detectado en la Web social. También marca el percentil en el conjunto de artículos puntuados por Altmetric.

82 Otros impactos Altmetric Marcador Altmetric El número de lectores de Mendeley está separado. Suponen impacto académico.

83 Otros impactos Altmetric Marcador Altmetric Crear alertas

84 Otros impactos Altmetric Marcador Altmetric Crear alertas

85 Otros impactos Altmetric Altmetric ORCID Profile

88 Otros impactos ImpactStory ImpactStory

91 Otros impactos Kudos Kudos

95 Gracias. Más información: Víctor M. Investigación 2.0 Imágenes con licencia CC0 obtenidas de Se permite cualquier explotación de la obra, incluyendo una finalidad comercial, así como la creación de obras derivadas, la distribución de las cuales también está permitida sin ninguna restricción.