Evaluación de la investigación Indicios de calidad y herramientas para medir los impactos de la investigación Seminario Publicación en abierto y mejora de la reputación del investigador. Facultad de Ciencias de la Educación de la Universidad de Sevilla (14, 15 y 16 de junio de 2016). Víctor M. Moya-Orozco (vmoya@us.es)
Autoevaluar la producción científica Por qué autoevaluarse? Por qué evaluar? Saber si estamos consiguiendo nuestro objetivo Modificar nuestro plan si es necesario Conocer el impacto propio Facilitarnos tareas administrativas: Sexenios, acreditaciones, etc.
Autoevaluar la producción científica Por qué autoevaluarse? Herramientas Métricas tradicionales: ICR, citas, Índice H Estadísticas del repositorio Altmetrics
Índices de Calidad Relativos (ICR) Índices de calidad relativos (ICR) Journal Impact Factor (JIF) Scimago Journal & Country Rank (SJR) Journal Scholar Metric (H5)
Journal Impact Factor (JCR) Basado en citas. Mide la calidad de la revista. Período de espera de 2 años.
Journal Impact Factor (JCR) Ventajas Principal indicador para la evaluación científica. Larga trayectoria en su uso. Muy afianzado en los procesos de evaluación. Gran reconocimiento. Limitaciones Indicador de calidad de la revista, no del artículo. Sesgo: hay idiomas y campos de conocimiento mal representados. No es inmediato. Puede ser manipulado.
Journal Impact Factor (JCR) Buscar revista Seleccionar categoría Año de la publicación Seleccionar edición
Journal Impact Factor (JCR) Buscar revista
Journal Impact Factor (JCR) Indicadores principales JIF JIF sin autocitas Cuartil por año y categoría
Scimago Journal & Contry Rank (SJR)
Scimago Journal & Contry Rank (SJR) Ventajas Contiene más revistas que JCR. Menos sesgo lingüístico y más representación temática. Reconocido para la evaluación en determinadas áreas. Limitaciones Indicador de calidad de la revista, no del artículo. No es inmediato. Puede ser manipulado.
Scimago Journal & Contry Rank (SJR) Buscar revistas (por título, ISSN o editor) Acceder al ránking de revistas
Scimago Journal & Contry Rank (SJR) Resultados de la búsqueda
Scimago Journal & Contry Rank (SJR) Ficha de la revista (Pt. 1) Índice H de la revista en Scopus Cuartil por año y categoría
Scimago Journal & Contry Rank (SJR) Ficha de la revista (Pt. 2) Factor de Impacto SJR Valor para un año concreto
Scimago Journal & Contry Rank (SJR) Localización en el ránking Ver ránkings de revistas Buscar revista Seleccionar área y año Mostrar sólo revistas OA Ránking
Scimago Journal & Contry Rank (SJR) Posición en el ránking = 77
Journal Scholar Metrics (H5)
Scimago Journal & Contry Rank (SJR) Ventajas Contiene más revistas que JCR y SJR. Menos sesgo lingüístico y más representación temática. Limitaciones Indicador de calidad de la revista, no del artículo. Está basado en Google Scholar, con sus limitaciones.
Journal Scholar Metrics (H5) Buscar revistas
Journal Scholar Metrics (H5) Total de citas Índice H5 Cuartil y posición por categoría Visibilidad (indexación en BBDD)
Journal Scholar Metrics (H5) Buscar por categorías Desplegar las materias de Arte y Humanidades
Journal Scholar Metrics (H5) Desplegar para limitar por país Ránking del área de Psicología
Journal Scholar Metrics (H5) Datos de la revista Índice H5 Posición Cuartil
Citas de las publicaciones Citas de las publicaciones Web of Science (WoS) Scopus Google Scholar
Citas de las publicaciones (Web of Science) Selección Búsqueda de autores
Citas de las publicaciones (Web of Science) Escribir el nombre unificado
Citas de las publicaciones (Web of Science) Ordenar por Veces citado
Citas de las publicaciones (Web of Science) Citas
Citas de las publicaciones (Web of Science) De las 42 citas, sólo 37 son de la Colección principal. Listado de publicaciones que citan el artículo
Citas de las publicaciones (Scopus) Selección Búsqueda de autor
Citas de las publicaciones (Scopus) Selección Búsqueda de autor
Citas de las publicaciones (Scopus) Seleccionar el autor para ver sus publicaciones.
Citas de las publicaciones (Scopus) Ordenar las publicaciones por citas.
Citas de las publicaciones (Scopus) Comprobar qué documentos citan la publicación
Citas de las publicaciones (Google Scholar) Ordenar las publicaciones por citas.
Citas de las publicaciones (Google Scholar) Escribir el nombre del autor.
Citas de las publicaciones (Google Scholar) Comprobar que los artículos son del autor buscado.
Citas de las publicaciones (Google Scholar) Ver el número de citas.
Citas de las publicaciones (Google Scholar) Comprobar que las citas provienen de artículos científicos (o en su caso de libros de carácter científico).
Índice Hirsch (Índice H) Índice Hirsch (Índice H) Web of Science (WoS) / Researcher ID Scopus Google Scholar
Índice H Diez artículos han recibido 10 citas o más.
Índice H Orden Citas 1 55 2 20 3 11 Orden 1 1 Citas H=1 1 artículo ha recibido 1 citas o más 4 9 5 5 6 2 7 1 8 1 9 0 10 0 11 0 12 0 13 0 0 H= 5 5 artículos han recibido 5 citas o más Orden Citas 1 15 2 11 3 8 4 3 5 0 6 0 7 0 Orden 1 0 Citas H=3 3 artículos han recibido 5 citas o más H=0 No hay citas
Índice H (Web of Science) Selección Búsqueda de autores
Índice H (Web of Science) Escribir el nombre unificado
Índice H (Web of Science) Crear informe de citas
Índice H (Web of Science) Índice H
Índice H (Web of Science) Evita la búsqueda guardando tus publicaciones en ResearcherID
Índice H (Scopus) Selección Búsqueda de autor
Índice H (Scopus) Selección Búsqueda de autor
Índice H (Scopus) Seleccionar el autor para ver sus publicaciones.
Índice H (Scopus) Índice H
Índice H (Google Scholar) Buscar por nombre de autor
Índice H (Google Scholar) Seleccionar el autor Es imprescindible tener un perfil
Índice H (Google Scholar) El índice H aparece en el gráfico de citas
Otros impactos Tendencias en la medición del impacto de la investigación Otras métricas para otros impactos
Otros impactos Tendencias en la medición del impacto de la investigación
Otros impactos Tendencias en la medición del impacto de la investigación 2010 Manifiesto Altmetrics (Priem, Taborelli, Groth y Neylon) - El peer-review está obsoleto. Es lento y no limita el volumen de la investigación. - Las herramientas de recuento de citas son insuficientes, lentas, no admiten trabajos que no sean artículos, ignoran el contexto y no miden otros impactos. - El FI mide revistas y no puede usarse para evaluar el impacto de un artículo. 2012 Declaración de San Francisco (Declaration on Research Assessment) - Promueve la eliminación de las métricas basadas en revistas. - Hay que evaluar la investigación por sí misma y no por la revista en que se publique. - Hay que aprovechar las oportunidades de la publicación en línea. 2013 NISO Alternative Assessment Metrics Initiative - Pretende normalizar las altmetrics y definir sus usos en la evaluación científica. - También busca definir criterios para la evaluación de documentos distintos a artículos. 2014 Research Excellence Framework
Otros impactos Tendencias en la medición del impacto de la investigación Qué tienen estas iniciativas en común? 1. La forma de evaluar la producción científica no es eficaz. 2. Hay que tener en cuenta no sólo los artículos, sino también otros productos que resultan de la investigación científica. 3. Estos otros productos crecerán en importancia 4. Las métricas basadas en revistas, como el FI y otros índices similares no pueden usarse para evaluar el impacto de un artículo, de un investigador o de una institución. 5. Las tecnologías de la información y la comunicación permiten nuevas formas de evaluar y medir la ciencia. 6. Es necesario contar con una variada gama de métricas que permitan conocer mejor el impacto de los resultados de la investigación.
Otros impactos Tendencias en la medición del impacto de la investigación Conclusiones del Consejo de la Unión Europea sobre la transición a un modelo de Ciencia abierta Todos los artículos científicos europeos, o al menos los financiados, en su totalidad o en parte, con fondos públicos, en Acceso Abierto en el año 2020. Estudiar el uso de métricas alternativas. Adaptación de los sistemas de retribución y evaluación. La evaluación de la calidad científica, además de basarse en la propia labor científica, debe ampliarse para medir también la influencia de la ciencia en la sociedad en su conjunto, en lugar de poner el énfasis, como ocurre actualmente, en una serie de indicadores basados en la repercusión de las revistas especializadas y el número de citas de las publicaciones.
Otros impactos Tendencias en la medición del impacto de la investigación Research Excellence Framework (REF) Nuevo modelo de evaluación de la calidad de la investigación del Reino Unido. Se evalúan diferentes tipos de impacto: político, tecnológico, económico, cultural, legal, social, medioambiental... Casos de estudio en impacto cultural.
Otros impactos Altmetrics: las otras métricas Qué son? Conjunto de indicadores basados en herramientas de la web social. Complementan a las métricas tradicionales. Miden otros impactos de la investigación que no miden las métricas tradicionales. http://guiasbus.us.es/altmetrics
Otros impactos Altmetrics vs. Métricas tradicionales Referidas a una aportación concreta o a las portaciones de un autor (a diferencia del FI, que se refiere al valor de la revista ) Mayor rapidez en su actualización Obtenidas del impacto individual del autor o el documento en una comunidad determinada Número de lectores, número de visitas, interacción con otros usuarios, cuánto se ha compartido en redes sociales
Otros impactos Altmetrics: las otras métricas Ventajas 1. Diversidad: muestran datos sobre otro tipo de resultados de investigación, como conjuntos de datos, presentaciones, software, patentes, monografías, etc. 2. Otros impactos: no sólo ofrecen información sobre el impacto académico y científico, sino también en otras audiencias y tipos de impacto: social, económico, medioambiental, cultural, etc. 3. Ampliación del impacto: amplían la imagen del impacto de una investigación, con datos más allá de las propias citas. 4. Métricas a nivel de artículo: miden el impacto del artículo o resultado de investigación, no solo de la revista que lo contiene. 5. Inmediatez de los datos: ofrecen información desde el mismo momento de la publicación e incluso antes. 6. Contexto: permiten visualizar la acogida de un producto de investigación y la respuesta inmediata del autor. 7. Visibilidad: permiten realizar el seguimiento de la difusión de los resultados de investigación y tomar decisiones para obtener mayor visibilidad e impacto.
Otros impactos Altmetrics: las otras métricas Limitaciones 1. Falta de normalización: presentan problemas de normalización tanto para su recopilación como para su uso en la evaluación científica. 2. No están reguladas: al tratarse de herramientas poco controladas, pueden dar lugar a la manipulación y falsificación. 3. Fiabilidad: no está tan claro que sirvan para medir la calidad científica. 4. Tiempo y dificultad: hacer un seguimiento de las altmetricas puede ser difícil y llevar mucho tiempo si no se utiliza un proveedor de datos altmétricos. 5. Saturación: existen muchas medidas y proveedores diferentes, por lo que puede ser difícil determinar cuáles son las más relevantes para la evaluación científica. 6. Aceptación: aunque se empiezan a tener en cuenta como medidas complementarias de evaluación, en España evaluadores y organismos de financiación aún no las están teniendo en cuenta. 7. Contexto: el uso de las aplicaciones de la web social puede variar según la disciplina, la ubicación geográfica o a lo largo del tiempo, haciendo difícil interpretarlas. 8. Falta de correlación: no se ha podido demostrar que exista una correlación clara entre las citas recibidas por un trabajo y las altmetrics cosechadas, aunque esto varía según las fuentes.
Otros impactos Altmetrics vs. Métricas tradicionales Número de lectores, número de visitas, interacción con otros usuarios, cuánto se ha compartido en redes sociales Mayor rapidez en su actualización Miden el impacto individual del autor o el documento en diferentes comunidades Número de citas de la revista Actualización anual Miden el impacto de una revista en una BBDD determinada Miden el impacto individual del autor o el documento en diferentes comunidades
Otros impactos Altmetrics vs. Métricas tradicionales Fuente
Otros impactos Altmetrics: las otras métricas
Otros impactos Altmetrics: las otras métricas Fuentes de los datos 3 8 5 1 3 0,25 1 0,5 0,5 0,25 1 0.25 0,25 0,25 3
Otros impactos Altmetrics: las otras métricas Fuentes de obtención de noticias en Entre otros https://www.altmetric.com/about-altmetrics/our-sources/news/
Otros impactos Altmetrics: las otras métricas Cómo medir otros impactos: IdUS Scopus Altmetric ImpactStory Kudos
Otros impactos Estadísticas de uso en idus Total visitas al documento Visitas mensuales al docuemento Descargas del fichero Visitas al documento por país Visitas al documento por ciudad
Otros impactos Scopus Article Level Metrics
Otros impactos Scopus Article Level Metrics
Otros impactos Scopus Article Level Metrics
Otros impactos Scopus Article Level Metrics
Otros impactos Scopus Article Level Metrics
Otros impactos Altmetric Marcador Altmetric https://www.altmetric.com/products/free-tools/bookmarklet/ Se instala en la barra de marcadores del navegador. Detecta automáticamente un DOI en la página y presenta las altmétricas para ese artículo. Permite generar alertas para conocer cambios en las métricas del artículo.
Otros impactos Altmetric Marcador Altmetric Permite medir cualquier artículo con DOI en una Web.
Otros impactos Altmetric Marcador Altmetric El donut de Altmetric marca la fuente de las altmétricas obtenidas y el peso otorgado a su conjunto.
Otros impactos Altmetric Marcador Altmetric El score marca el impacto detectado en la Web social. También marca el percentil en el conjunto de artículos puntuados por Altmetric.
Otros impactos Altmetric Marcador Altmetric El número de lectores de Mendeley está separado. Suponen impacto académico.
Otros impactos Altmetric Marcador Altmetric Crear alertas
Otros impactos Altmetric Marcador Altmetric Crear alertas
Otros impactos Altmetric Altmetric ORCID Profile
Otros impactos Altmetric Altmetric ORCID Profile
Otros impactos Altmetric Altmetric ORCID Profile
Otros impactos ImpactStory ImpactStory
Otros impactos ImpactStory ImpactStory
Otros impactos ImpactStory ImpactStory
Otros impactos Kudos Kudos
Otros impactos Kudos Kudos
Otros impactos Kudos Kudos
Otros impactos Kudos Kudos
Gracias. Más información: Víctor M. Moya-Orozco @vicmoyoro Investigación 2.0 Imágenes con licencia CC0 obtenidas de http://www.publicdomainpictures.net/ Se permite cualquier explotación de la obra, incluyendo una finalidad comercial, así como la creación de obras derivadas, la distribución de las cuales también está permitida sin ninguna restricción.