Medición del impacto de la investigación científica. Biblioteca de Filología

Transcripción

1 Medición del impacto de la investigación científica Biblioteca de Filología

2 Objetivo Conocer las plataformas y los diferentes sistemas internacionales utilizados por las agencias para evaluar la producción científica. Explicar cómo se mide el impacto y la influencia de una publicación periódica y cómo se calcula el factor de impacto de las revistas Repasar los criterios de evaluación aplicados a las publicaciones periódicas utilizados por las diferentes agencias de evaluación a la hora de valorar los resultados de la investigación en los procesos de acreditación, reconocimiento de tramos de investigación, o concesión de proyectos de investigación.

3 La evaluación cuantitativa de la ciencia: Conceptos Citas: Reconocimiento científico Herramientas metodológicas: Bibliometría / método matemático / literatura científica Herramientas instrumentales: Bases de datos como las del ISI Eugene Gardfield: Fundador del The Institute for Scientific Information El éxito de una publicación se mide a través del factor de impacto, indicador bibliométrico descrito por Eugene Gardfield

4 Conceptos Factor de impacto Aplicado a un año concreto, tiene en cuenta el número de citas recibidas por los artículos de años anteriores (en el JCR, dos años) que se divide por el número de artículos publicados en el mismo periodo Citas en 2006 Artículos publicados Factor impacto ,964

5 Conceptos Índice de inmediatez Contempla lo mismo pero sobre los artículos del año concreto Citas en 2006 a artículos publicados en Nº de artículos en ,1

6 Revisión por pares En los medios académicos, la revisión por pares (peer review en inglés) o arbitraje es un método usado para validar trabajos escritos con el fin de medir su calidad, rigurosidad científica, etc. Este método deja abierto el trabajo al escrutinio y frecuentemente, la anotación o edición, por un número de autores iguales en rango al autor. Normalmente sólo se considera válida una publicación cuando ha pasado por un proceso de revisión por pares como el de admisión para publicación en una revista arbitrada.

7 Índice H

8 Índice H Ej: Una publicación con 5 artículos han recibido respectivamente las siguientes citas: 17, 9, 6, 3 y 2. El índice h es 3 porque al menos cada artículo de la revista ha recibido 3 citas. Otros índice H: núcleo, mediana

9 Evaluación de la ciencia en España: Las tres agencias de evaluación que dependen del MEC CNEAI: evalúa la actividad investigadora (sexenios) ANEP evalúa los grupos de investigación y las propuestas de proyectos que estos envían en demanda de financiación ANECA evalúa al profesorado universitario que solicita ser acreditado para optar a un contrato o a una plaza de profesor en plantilla

10 ANECA

11 Loa criterios generales de la ANECA Se establece siempre una distinción entre: Revistas científicas con Índice de Calidad Relativo o ICR Revistas no indexadas o sin ICR Otras publicaciones: monografías, artículos de divulgación, profesionales, voces en diccionarios o enciclopedias, etc. Se establecen matizaciones por áreas

12 ANECA Planteamiento general, con alguna variante según de áreas o ámbitos científicos. Tratamiento para revistas con ICR: FI según posición en el ranking de su área en JCR o base de datos equivalente. Nº de citas recibidas por el artículo, indicando BD consultada Tratamiento para revistas sin ICR : Evaluación externa por pares de los artículos Presencia en BDI de su especialidad Comité científico internacional Contenido exclusivo de art. de investigación % autores no vinculados con la editora

13 ANECA Revistas de C. Sociales y Humanas Tratamiento para revistas con ICR: FI según posición en el ranking de su área en JCR o base de datos equivalente. Número de citas recibidas Tratamiento para revistas sin ICR: Presencia en BDI especializadas de prestigio A partir de 2006: datos de cumplimiento de criterios de calidad editorial y difusión en la plataforma DICE

14 ANECA La ANECA lleva a cabo su labor a través de diferentes programas: PEP: Evalúa el CV de los solicitantes para el acceso a las figuras de profesor universitario contratado ACADEMIA: Evalúa el CV para acceso a los cuerpos de funcionarios docentes universitarios VERIFICA, MONITOR, DOCENCIA AUDIT MENCIÓN

15

16 DICE. Difusión y Calidad Editorial de las Revistas Españolas de Humanidades y ciencias Sociales

17 DICE. Difusión y Calidad Editorial de las Revistas Españolas de Humanidades y ciencias Sociales

18 CNEAI

19

20 CNEAI

21 CNEAI

22

23

24

25

26 LAS PLATAFORMAS PARA CALCULAR ÍNDICES BASES DE DATOS DE ÍNDICES, INDIZADAS

27 Bases de datos del ISI

28 Qué son los boletines de sumarios?

29 ISI Highly cited.com

30 Journal citation reports

31 Journal citations reports. Revistas de ciencias sociales. Índice de impacto

32 Ejemplo de revista española

33 Ejemplo de revista. Quienes la citan

34 Ejemplo de revista. Qué cita

35 Tendencia del factor de impacto

36 Revistas relacionadas

37 Web of Science (ISI) Web of Science Arts & Humanities Citation Index Social Citation Index Science Citation Index Web Citation Index

38 Problemas con las citas Citas negativas Diferentes grados de citación según áreas Poca presencia de revistas de países poco desarrollados Baja citación de las que no se difunden en bibliotecas y bases de datos Influencias idiomáticas y nacionales Aleixandre-Benavent, Rafael; Valderrama, Juan Carlos y González-Alcaide, Gregorio. El factor de impacto de las revistas científicas: limitaciones e indicadores alternativos. El profesional de la información, 2007, enero-febrero, v. 16, n.1, p También tener en cuenta: autocitas, citas mutuas, quién cita (Premio Nobel <->?)

39 Problemas con el JCR Sesgo por área geográfica: norteamericana y británica e idioma inglés Sesgo a favor de revistas de ciencias El impacto de una revista no es el de todos sus artículos: 50% de citas al 15% de artículos No distinguen las que se hacen a artículos de investigación de las de contribuciones menores Las disciplinas tienen pautas de citación distintas. Favorecen áreas muy desarrolladas o con gran nº de investigadores El factor de impacto no es una medida directa de la calidad sino de la frecuencia con que se citan los artículos en un año Aleixandre-Benavent, Rafael; Valderrama, Juan Carlos y González-Alcaide, Gregorio. El factor de impacto de las revistas científicas: limitaciones e indicadores alternativos. El profesional de la información, 2007, enero-febrero, v. 16, n.1, p

40 Alternativas al JCR para humanidades Aunque las revistas de humanidades no estén en el JCR, se puede considerar que algunas tienen ICR aunque no estén incluidas en las bases de datos del ISI No hay JCR para las revistas de Ciencias Humanas Existen bases de datos y plataformas que pueden jugar el mismo papel a efectos de la consideración de los ICR Si tienen índice de impacto Si están indexadas de manera que se conoce la posición de la revista entre las de su área

41 Alternativas al JCR IN-RECS Índice de impacto Revistas Españolas de Ciencias Sociales (Univ. De Granada) RESH (Centro de Ciencias Humanas y Sociales IEDCYT) Revistas españolas de Ciencias Sociales y Humanas DICE (Centro de Ciencias Humanas y sociales IEDCYT) MIAR (Universidad de Barcelona) Grupo Scimago (Scimago Journal & Country Rank)

42 IN-RECS Más de 100 revistas españolas Selección atendiendo a pervivencia, calidad editorial y encuesta a expertos Cuando finalice: citas desde artículos al año Impacto nacional e internacional Contiene datos de revistas, artículos, autores y (en breve) instituciones

43 & IN-RECS

44 RESH Más de 200 revistas citantes 1000 revistas listadas Vida editorial > 6 años Encuestas a especialistas > 25 criterios LATINDEX Todas en la base de datos del ISOC 5 años para calcular el factor de impacto Índice Impacto Medio (IIM): cociente de citas medio del periodo Datos de los años 1999 a 2003 Además tiene en cuenta la valoración por el profesorado universitario y los investigadores del área

45 Nuevo RESH

46 RESH Bases de Datos Se presentan las bases de datos internacionales en las que la revista está recogida. Índice Valoración A+B Valoración de la revista en función de su contenido científico, a juicio del profesorado universitario y personal investigador del área: Índice Impacto Medio ( ) Criterios Latindex Evaluadores Externos Los originales son informados por expertos externos a la entidad editora de la revista, antes de sen aceptados por el Consejo de Redacción. Periodicidad Cuando sus ejemplares se editan con un plazo que no supere el doble del anunciado Apertura exterior del Consejo Editorial o de Redacción Al menos un tercio (33%) de los miembros de su Consejo Editorial pertenece a instituciones diferentes a la entidad que edita la revista. Apertura exterior de los autores Al menos el 50% de ellas son de autores cuyas instituciones de trabajo son ajenas a la entidad editora de la revista

47 RESH Índices de citas elaborado por el Instituto de Estudios Documentales sobre Ciencia y Tecnología Ofrece el índice de impacto y una valoración integrada y ponderación de las publicaciones. Presenta en primer lugar los Índices de citas correspondientes a los años a través de los cuales puede valorarse el uso y la influencia de cada una de las revistas que aparecen citadas. A partir de las revistas citadas, se puede acceder a los datos bibliográficos básicos y a los niveles de cumplimiento de otros parámetros fundamentales de calidad, tanto editorial como de visibilidad internacional. Relaciona con las bases de datos que contienen la revista

48 DICE, (La base de datos es un subproducto de RESH) Portal creado por la ANECA como guía para evaluadores, investigadores y editores, donde se pueden consultar los criterios de calidad que se aplican. La

49 MIAR (Matriu d Informació per l avaluació de revistes) Basado en un indicador de difusión de la revista en bases de datos: ICDS Aplicado a revistas españolas y extranjeras de Ciencias Sociales y Humanidades

50 MIAR Base de datos de la U. de Barcelona para la evaluación de revistas científicas de C. Sociales y Humanas. La versión actual de la base de datos incluye información sobre títulos en 16 ámbitos Cada publicación es analizada en 47 repertorios multidisciplinares y específicos Pretende reunir con una periodicidad anual información clave para la identificación y la evaluación de revistas. Establece un índice de difusión de la publicación, el ICDS (Índice Compuesto de Difusión Secundaria) que se ofrece como un elemento más para la elaboración de ránkings de publicaciones de cara a su evaluación cualitativa por expertos.

51 Scopus: Cited by

52 Scopus:

53 Scimago Journal & Country Rank

54 Scimago Journal & Country Rank Obtiene los datos de citas de la base de datos Scopus Dividida en 27 categorías y subcategorías Ofrece ranking de revistas SJR (1999- ) y de países (1996-) Se ofrece en acceso abierto a la comunidad científica.

55 Sistema regional de revistas científicas para América Latina, El Caribe, España y Portugal)

56 Criterios LATINDEX para impresas

57 ERIH European Reference Index for the Humanities DE LA (European Science Foundation) Listas de buenas revistas europeas de investigación en Humanidades Creación paneles de expertos en 15 disciplinas Criterios La selección de los artículos debe basarse en una política de revisión objetiva (peerreview) Cumplimiento normas básicas de publicación ISSN Periodicidad: puntualidad en la aparición Normalización referencias bibliográficas Dirección completa filiación autores...

58 Cómo presentar los artículos de revistas publicados ante las agencias de evaluación Factor de impacto en JCR y su posición en el área Factor de impacto según n In Recs / In Recj y posición n en el área Posición n de la revista en el ranking RESH IIM según n RESH (Índice( de impacto medio) Posición n de la revista en Scimago Journal Rank

59 Otros indicios Indicadores de calidad según n DICE (referencia para la ANECA) Incluye presencia en bases de datos relevantes en la especialidad Cuartil de la revista en el área según n In Recs Cuartil.. Es un indicador para evaluar la importancia relativa de esta revista dentro del total de revistas de su área. Artículo entre los 100 más m s citados de In Recs ICDS de MIAR Revista en listas de ERIH Nº de citas en Scopus,, Google Scholar,, etc. Scimago Journal & country Rank (SJR).Muestra la visibilidad de las revistas incluidas en Scopus con el algoritmo Page Rank de Google para marcar la relevancia Nº de descargas según n repositorios, hemerotecas, etc. Índice H o de Hirst (Ordenar los documentos de un investigador por orden descendente de nº de citas, numerarlas e identificar el punto en que coincida el nº de orden con el nº de citas recibido)

60 Google Scholar Proporciona información acerca del nº de citas que recibe un artículo/libro, así como los artículos relacionados con dicho documento. Amplia cobertura documental pero mucha información

61 Nuevo proyecto Google scholar metrics El grupo EC3 está elaborando un prototipo con 462 revistas de ciencias sociales y humanidades JOURNAL SCHOLAR