Evaluación y gestión de la investigación: fuentes, indicadores y metodologías

Transcripción

1 Evaluación y gestión de la investigación: fuentes, indicadores y metodologías Orlando Gregorio-Chaviano Universidad Antonio Nariño. Noviembre 4 y 6 de 2014.

2 CÓMO CITAR EL DOCUMENTO: Gregorio-Chaviano, O, Evaluación y gestión de la investigación científica: fuentes, indicadores y metodologías. 4ta. Edición, Bogotá, Colombia Licencia Creative Commons

3 Estructura del curso-taller 1. Tendencias y fuentes de datos - Scopus, Google académico, Microsoft Academic search 1. Indicadores para la evaluación de la actividad científica - Producción científica, visibilidad e impacto, colaboración 1. Metodologías de mejores prácticas - Análisis de campos científicos - Selección de revistas para publicar - Tips de escritura de artículos científicos - Marketing científico

4 Tendencias

5 Publicar en revistas científicas de impacto (ISI WoS y Scopus) como objetivo fundamental de la investigación. BENEFICIO AL INVESTIGADOR BENEFICIO A LA INSTITUCION

6 la mayor parte de las políticas científicas y la evaluación del rendimiento científico se articulan en torno a las revistas ISI y Scopus

7 Cantidad Impacto Calidad

8 Tendencias repercusiones (debate) DETERIORO DE LAS PRÁCTICAS DE PUBLICACIÓN o Cantidad sobre calidad de la investigación (síndrome PoP) otendencias al aumento de autores por documento (inclusiones fantasmas ) o Segmentación de investigaciones en varias publicaciones. o El proceso de citación no real (y autocitación): citación dirigida o Criterios de evaluación sobre ISI WoS y Scopus o Revistas nacionales Revistas internacionales

9 Porqué publicar en revistas de impacto? o Mayor visibilidad (AUTORES E INSTITUCIONES) o Atracción de recursos económicos (INSTITUCION) o Avances en la carrera científica (AUTORES)

10 Qué es una revista de impacto? Scopus ,18% Journal Citation Report ,18%

11 Porqué diseñar políticas científicas para la visibilidad? o Mejorar el posicionamiento de la universidad (visibilidad e impacto) o Crear cultura de investigación. o Unir a los distintos actores en torno a objetivos comunes o Tener insumos para las distintas evaluaciones

12 o La producción científica como principal parámetro de evaluación. o Evaluación en niveles micro, meso y macro. o Ranking y otras formas de evaluación y seguimiento a la investigación. o Fuentes que posibilitan la evaluación. o Proceso de producción-citación. o Indicadores biblio-cienciométricos. o Evaluación de Colciencias (grupos de investigación y revistas) Porqué

13 MEDICINA ECONOMIA

14 Ciencias sociales (top 10 por factor de impacto) Ciencias exactas (top 10 por factor de impacto)

15 (MICROBIOLOGIA) (HISTORIA)

16 ("history of religion") ( neuroscience )

17 En Arte y Humanidades NO hay Factor de Impacto. Entonces? 1. Buscar las revistas de la Categoría Art & Humanities Citation index (ver sus citas ) 1. Buscar revistas en Scimago Journal and Country Rank

18 y las ciencias sociales y humanas?

19 o Fuentes (WoS, Scopus, Google Scholar.) o Métricas e indicadores de producción, impacto y colaboración. o Metodologías aplicables a: Conclusiones.. y.. aplicaciones Profesores e investigadores Grupos de investigación Instituciones Editores

20 Hacia dónde apunta la investigación

21

22

23 REVISTAS CIENTIFICAS

24

25 Gestión del impacto científico o Manejo de fuentes de datos (WoS, Scopus y Google académico) o Creación de perfiles y alertas en bases bibliográficas o Vigilancia de fuentes y tendencias o Evaluación mediante indicadores

26 Aumento de la visibilidad o Incrementando la autocitación. o Publicando en revistas de alto impacto. o Colaboración. o Publicando con autores norteamericanos y europeos o Publicar menos, sólo buenos trabajos o Organizando arreglos de citación con colegas.. o Participando en frentes de investigación. o Selección mediante indicadores?

27 Aumento de la visibilidad.. o Colaboración con universidades con mejor reputación. o Prácticas de marketing científico. o Mejorar el posicionamiento web del sito institucional o Publicar en revistas de investigación que cumplan estándares internacionales. o Repositorios (institucionales) o Autoarchivo (páginas web personales)

28 Profesores e investigadores o Selección de revistas para publicar resultados de la investigación o Reconocer líderes en campos científicos o Encontrar trabajos altamente citados o Monitorear tendencias

29 Instituciones o Evaluar la propia investigación o Diseñar políticas de investigación frente a las tendencias en dominios científicos.. o Preparación para hacer frente a temas de rankings

30 Revistas científicas y editoriales o Evaluar la(s) revista(s) de acuerdo a exigencias de bases de datos para mejorar la visibilidad o Conocer las tendencias en dominios científicos y encontrar modelos

31 Fuentes de datos o ISI WoS o Scopus o Google académico o Microsoft academic search

32 Web of Science (WoS) Servicio de Thomson (antiguamente ISI), contiene aproximadamente 1,5 millón de registros y más de 23 millones de referencias citadas por año de más de 230 disciplinas de la ciencia, las ciencias sociales, las artes y las humanidades. 11 mil revistas científicas. Incluye información bibliográfica completa para todos los archivos, incluyendo referencias citadas. Se actualiza semanalmente y brinda acceso a las ediciones del Science Citation Index, Social Science Citation Index y Arts & Humanities Citation Index y el Journal Citation Report (JCR).

33 Web of Science (WoS)

34 Scopus (Elsevier) o Base de datos multidisciplinaria y de citas de revistas científicas.. o El número de revistas cubiertas por SCOPUS es mayor que el de la WoS o Al igual que ISI WoS tiene funcionalidades de uso bibliométrico

35 Google Scholar Proporcionado por Google permite realizar búsquedas en publicaciones académicas: revistas, tesis, libros, resúmenes e informes técnicos de áreas de investigación El servicio está basado en el motor de búsqueda de Google.

36 Publish or Perish (PoP)

37 Academic Search

38 Google Scholar Metrics o Sistema de evaluación de revistas científicas o Muestra las 100 revistas de mayor impacto o Ranking por áreas (solo las de inglés)

39 Google Scholar Metrics

40 Indicadores

41 Indicadores o Los que miden la cantidad de las publicaciones científicas (indicadores de publicación) o Los que miden la calidad y el impacto de las vinculaciones o relaciones entre las publicaciones científicas (indicadores de citación)

42 Indicadores o Indicadores de producción científica o Indicadores de visibilidad de impacto o Indicadores basados en el número de citas o Indicadores de colaboración o Indicadores relacionales (coautoría citación)

43 Indicadores de producción onúmero de publicaciones (diferentes variables) oidiomas de publicaciones opublicaciones por años oíndice de transitoriedad y especialización

44 El artículo científico como principal medio de evaluación y generación de conocimiento. Elementos que intervienen de la evaluación científica: Producción - productividad autores, participación en campos científicos Impacto - Cantidad de citas, citas esperadas, índice h, presencia en cuartiles, documentos en el core

45 Medición basada en el impacto Simples recuentos - factor de impacto, índice de inmediatez, citas/artículo, citas totales Calidad de las citas Eingenfactor, Scimago Journal Rank, Article influence Autores e instituciones Citas / autor, Índice h y sucesivos

46 o Cantidad de contribuciones en el campo de conocimiento y tipología documental. o Indicios de calidad - La revista donde se publica (factor de impacto, SJR, índice h..) - Las citas que recibe un artículo - Indice h del autor, h del grupo de investigación.. - Publicaciones en el top del campo

47 Visibilidad e impacto 1. Indicadores basados en el factor de impacto ofactor de impacto osjr odistribución de revistas por cuartiles ocantidad de publicaciones en revistas top 2. Indicadores basados en el número de citas onúmero de citas opromedio de citas por documento otrabajos altamente citados

48 Factor de impacto ISI Se calcula dividiendo el número de citas recibidas en el año actual sobre el total de artículos publicados en los dos años anteriores. Ejemplo: FI = citas recibidas en el año actual por los artículos publicados en los dos años precedentes vs cantidad total de artículos publicados en los dos años precedentes.

49 Factor de impacto - Ejemplo Citas recibidas en 2013 por los artículos publicados en 2011 y 2012 o Citas recibidas 2013 por los artículos publicados en 2011 = 85 o Citas recibidas 2013 por los artículos publicados en 2012 = 98 Total Citas = 183 Número de artículos publicados en 2011 y 2012 o Número de artículos publicados en 2011 = 178 o Número de artículos publicados en 2012 = 185 Total Artículos = 363 IMPACT FACTOR = Citas (183) / Artículos (363) = 0,50

50 Bordons, M. (1999). Evaluación de la actividad científica a través de indicadores bibliométricos. Rev. Esp. cardiol. Pp

51 Categoría JCR

52 Distribución por cuartiles Si un listado de revistas ordenadas de mayor a menor factor de impacto se divide en cuatro partes iguales, cada una de las partes sería un cuartil. Las revistas con el FACTOR DE IMPACTO más alto están en el primer cuartil. Puede calcularse también para la distribución SJR de Scopus.

53 Cuartiles Revistas más citadas Q1 Q2 Q3 Revistas menos citadas Q4

54 Índice de inmediatez Muestra con qué rapidez los artículos publicados en una revista son citados en el mismo año. Se calcula dividiendo el número de citas a artículos publicados en un año dado (ej. 2012), por el número de artículos publicados en ese mismo año.

55 Eingenfactor Indicador que mide la influencia de las revistas científicas de acuerdo a la calidad de sus citas. Características o Toma un periodo de 5 años de citas ovalora la cita de acuerdo a la revista de donde proviene la cita oofrece para cada revista el lugar que ocupa en su categoría.

56 Scimago Journal Rank Mide el prestigio científico de fuentes de investigación: valor de citas ponderadas por documento. Una publicación transmite su propio prestigio o estatus a otra por el hecho de citarla. En la práctica, esto significa que una cita de una fuente con un SJR relativamente alto tiene un mayor valor que una cita de una fuente con un SJR más bajo. Se calcula con una ventana de tiempo de 3 años.

57

58

59 Índice h o Se toman cada uno de los trabajos de un autor en un período de tiempo y se listan en forma descendente en función del número de citas recibidas. o Se construyen dos (2) listas; una ascendente (ranking) y una descendente (citas). Mayor número de orden donde la cantidad de citas sea mayor o igual (no menor) al número de orden, será considerado el Índice Hirsch o Índice h de ese autor.

60 RANGO CITAS

61 RANGO A1 A Autor 1 (A1) o Índice h: 9 AUTOR CON 9 TRABAJOS CON AL MENOS 9 CITAS Autor 2 (A2) o Índice h: 4

62

63

64 Características o Valora un esfuerzo científico prolongado a lo largo de la vida académica e investigativa. o El aumento del número de artículos publicados no tiene efecto inmediato sobre el índice h. o Un artículo muy citado no influye en el índice h. o Los artículos pocos citados tampoco influyen en el valor del índice.

65 Índice h sucesivos * Se calculan siguiendo la misma distribución o aplicación metodológica que el índice h. (llamado acá h1. Se pueden calcular para diferentes agregados. 1.Para un grupo de investigación Se ordenan todos los miembros del grupo en orden decreciente por su índice h individual (h1). Donde cruzan los umbrales se obtiene el índice h del grupo de investigación (h2) 2. Para una institución Se ordenan todos los grupos de investigación de la institución en orden decreciente por su índice h (h2). Donde cruzan los umbrales se obtiene el índice h de la institución (h3)

66 Enfoques estratégicos o Selección de revistas para publicar? o Análisis de tendencias ( artículos citados, revistas más productivas, instituciones..? o Cómo evaluar el output científico de la institución o área? o Cómo ascender en el cuartil? o Cómo acceder a corriente principal?

67 Evaluación de tendencias del tema

68 Tener en cuenta para la búsqueda: o Conceptos Descomponer un tema en conceptos Búsqueda de términos: sinónimos, equivalencias idiomáticas, ect. otraducir conceptos Lenguaje libre: título, resumen, palabras clave Lenguaje controlado: Tesauros: Ej. MESH oecuación de búsqueda Operadores o conectores booleanos: AND, OR, NOT, SAME otruncamiento (*); uso de comillas. (+ y -)

69 Conectores booleanos y variables de búsqueda

70 Uso de comillas para buscar frases

71 Uso de * para truncar

72 Univ La Sabana SAME Biosci Doctoral Program Conector SAME

73 Evaluación desde ISI (autor, revista, institución)

74 Artículos más citados y en qué revistas aparecen

75 Variables e indicadores

76 Evaluación general Tendencias de citación Informe de citas de la búsqueda

77 1 2 Opciones generales de búsqueda (1) y búsqueda por autor (2)

78

79 Ordenar resultados por citas y refinar

80 Artículos más citados y en qué revistas aparecen

81 Tendencias de citación Informe de citas de la búsqueda

82 Google avanzado

83

84 Búsqueda desde ISI WoS

85 Análisis de resultados o tendencias

86 Tendencias por variables

87 Seleccionar TODO y analizar resultados Búsqueda desde Scopus

88 Tendencias por variables

89 Evaluación y selección de revistas

90 Evaluación desde Journal Citation Report

91 Características de una revista de ciencias exactas y sus revistas relacionadas en JCR

92 Revistas que la citan y a quién cita la revista analizada

93 Características de una revista de ciencias sociales y sus revistas relacionadas

94 Revistas que la citan y a quién cita la revista analizada

95 Factor de impacto en aumento Desde la opción Impact factor trends de cada revista en JCR Factor de impacto en descenso

96 Búsqueda de revistas y sus indicadores en Scopus

97 % de no citados bajo Desde la opción Analyze Journal en Scopus % de no citados alto

98

99 Búsqueda de una revista

100 Marketing científico

101 Aumento de la visibilidad o Alojamiento en blogs o Uso de microblogging (especialmente Twitter) o Redes sociales o Alojamiento de presentaciones (Slideshare) o Repositorios temáticos e institucionales o Páginas personales en servicios profesionales (Google Metrics, ResearchGate, Linkedin, )

102 Google Scholar

103 SE DETERMINAN LOS TEMAS DE INTERES

104

105 EN SCOPUS SE HACE UNA BUSQUEDA TEMÁTICA

106 Crear nombre y usuario para gestionar alertas

107

108 También para un artículo específico

109 Se realiza la búsqueda

110 Login nombre y usuario

111 Características de la alerta

112

113 Un artículo en específico

114 Métricas Influencia Utilización Reconocimiento Comentarios Réplicas Visitas Descargas (servicio de Google analytics) Citas en Google Scholar La publicación científica no debe acabar con la aceptación de un manuscrito por parte de una revista. Torres-Salinas, 2009

115 Necesidades (servicios) o Seleccionar revistas para publicar o Evaluar y gestionar la investigación (niveles micro a macro). o Mejorar las revistas de la institución o Diseñar políticas científicas y agendas de investigación.

116 Gestión estratégica de la investigación 1. Selección y evaluación del tema de interés Análisis de tendencias (autores, instituciones, países, revistas..) WoS, Scopus, Google académico, Microsoft Academic Search 2. Gestión de alertas (WoS, Scopus, Google académico) 3. Selección de revistas para publicar mediante indicadores bibliométricos (WoS, Scopus, Google académico) Factor de impacto, SJR, cuartiles, citas por documento, % de no citados..

117 Gestión estratégica de la investigación 4. Evaluación de revistas.. - Revistas seleccionadas mediante indicadores - Tiempo entre la recepción y la publicación.. / números por año / artículos por número / alcance etc. 5. Creación de informes estratégicos con todas las variables.

118 Ejercicio individual 1 Realice una búsqueda en Scopus de acuerdo a sus necesidades de investigación: - Ordene resultados por citas y/ o relevancia y seleccione los artículos de interés. - En la opción análisis de resultados obtenga listado de revistas donde se publican los resultados. - Evalúe desde SJR las revistas seleccionadas (citas, porcentaje de no citados, tendencia del SJR y cuartiles por año.) Información para estado del arte y discusión

119 Ejercicio individual 2 Selección de revistas para publicar: 1. Desde SJR buscar la categoría temática de interés. - Ordenar por SJR/cuartil. - Cantidad de revistas por cuartil - Seleccione tres (3) revistas pertinentes para publicar. - Justifique la selección.

120 Elaboración de informes bibliométricos para la gestión de la investigación

121 Objetivos del informe Describir el estado actual de investigación institucional Evaluar tendencias para la toma de decisiones

122 Estructura Justificar para qué Metodología Fuentes primarias, espacios de tiempo, indicadores, ect. Diseñar y evaluar indicadores Obtener conclusiones. Compararlo con propuestas y tendencias

123 Cantidades totales y segmentadas por fuente AÑOS Doc totales Doc ISI WoS Doc Scopus Doc No ISI - Scopus

124 Indicadores Producción Visibilidad e impacto Colaboración Balance (reconocimiento) Relacionales

125 Indicadores de producción Recuentos totales (cantidades) Producción por tipos de fuentes de información (libros, artículos..) Por áreas o espacialidades Por unidades de análisis (grupos, dptos..) Espacios de tiempos

126 Citas - documentos Documentos por año

127 Visibilidad e impacto IMPACTO Cantidad de citas: totales, por áreas, por grupos, índice h (sucesivos) Evaluaciones citantes Revistas citantes VISIBILIDAD Factor de impacto, SJR, cuartiles.

128 Documentos por año y cuartiles Año Ndoc % Q1 %Q2 %Q3 %Q Citas por año

129 Colaboración PARA INSTITUCIONES Y GRUPOS DE INVESTIGACIÓN Cantidad total de trabajos por institución (grupo) % por tipologías de colaboración (local, nacional, internacional) con quién? AUTORES Autores por trabajo Posición de la firma (producción exclusiva o participada)

130 Tipologías de colaboración Años Ndoc Collocal % ColNac % ColInt % % 10 43% 1 4% % 15 60% 0 0% % 15 50% 5 16% % 13 40% 7 21% % 20 50% 12 30% Producción exclusiva y producción participada

131 Actividad o balance Patentes Proyectos de investigación Tesis Estancias Gestión

132 Reconocimiento Tramos de investigación Premios Pertenencia a asociaciones científicas, comité científicos de revistas Evaluador de proyectos y artículos

133 Gracias!!!!!