Instituto de Ciencias de la Educación Universidad de Oviedo Oviedo, 31 de octubre de 2008 Cómo utilizar los indicadores bibliométricos para solicitar sexenios y acreditaciones Emilio Delgado López-Cózar Evaristo Jiménez Contreras Rafael Ruiz Pérez Facultad de Comunicación y Documentación Universidad de Granada
Criterios generales ANECA para la Acreditación Nacional. Peso asignado a cada apartado de la Actividad Investigadora 100% 90% 80% 70% Acreditación Catedrático de Universidad 10 10 6 6 5 5 100% 90% 80% 70% Acreditación Profesor Titular de Universidad 7 7 4 4 5 5 60% 60% 50% 50% 40% 30% 38 38 40% 30% 35 35 20% 20% 10% 10% 0% Sociales y Juridicas Humanidades 0% Sociales y Juridicas Humanidades Articulos y libros Congresos y otros Articulos y libros Congresos y otros Proyectos y contratos Transferencia Proyectos y contratos Transferencia
100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% Criterios generales ANECA para la Acreditación Nacional. Peso asignado a cada apartado de la Actividad Investigadora Acreditación Catedrático de Universidad 11 11 12 8 8 3 3 37 37 34 Ciencias Ciencias Salud 10 3 Ingeniería y Arquitectura 100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% Acreditación Profesor Titular de Universidad 8 8 9 6 6 7 3 3 3 34 34 32 Ciencias Ciencias Salud Ingeniería y Arquitectura Articulos y libros Congresos y otros Articulos y libros Congresos y otros Proyectos y contratos Transferencia Proyectos y contratos Transferencia
Libro y Capítulo de Libro Criterios generales ANECA para la Acreditación Nacional TIPOLOGÍA A DE PUBLICACIONES QUE SE VALORAN Libros completos de carácter cter científico (autor o editor) Capítulos de libros de investigación n con ISBN publicados por editoriales de prestigio nacional o internacional Ediciones, traducciones anotadas, prólogos, reseñas y similares Tesis doctorales publicadas en editoriales de prestigio VALORACIÓN N POR ÁMBITOS DE CONOCIMIENTO Ciencias, C. de la Salud, Ingeniería a y Arquitectura. Escasa consideración Ciencias Sociales y Jurídicas. En algunos ámbitos se pueden valorar conjuntamente con las publicaciones en Revistas Científicas. Se excluyen Libros de texto y Manuales. En Jurídicas se valoran los libros cuyo contenido reúna un conjunto de características Arte y Humanidades. Pueden unirse y formar valoración n conjunta con los artículos (30, 15 entre artículos y libros)
Se valorarán: Libros Filosofía, Filología y Lingüística, Historia y Arte CNEAI Monografías que sean fruto de la investigación o de la reflexión documentada Se considerarán como investigación las ediciones críticas, es decir las que presentan un estudio razonado de la fijación del texto, con la correspondiente mención de las fuentes y variantes textuales. No se considerarán: Libros de texto Artículos de opinión Obras de divulgación Antologías o diccionarios comunes Ediciones de textos o traducciones salvo que estén precedidas de estudios preliminares o acompañadas de anotaciones que sean fruto de una investigación personal y hagan una aportación valorable a su campo temático Las catalogaciones que no conlleven estudios históricos o artísticos Las transcripciones, si no van acompañadas de juicio crítico o análisis histórico del documento Los prólogos e introducciones formularios, que no superen la condición de simples avances de la obra prologada y carezcan de interés crítico per se Las actas de congresos, que no respondan a criterios de calidad equiparables a los exigidos para las revistas científicas
Derecho y Jurisprudencia (CNEAI) Se valorarán los estudios y trabajos que constituyan aportaciones originales de carácter doctrinal teórico o conceptual : Que desarrollen nuevas perspectivas del ordenamiento jurídico. Que supongan investigaciones originales sobre la evolución histórica, social o cultural de las normas. Que introduzcan propuestas relevantes de perfeccionamiento de las normas en relación con el sistema jurídico español o internacional. Aquellos que aporten conocimientos e instrumentos conceptuales y analíticos para mejorar la eficacia de las normas jurídicas y el cumplimiento de los objetivos que se persiguen con ellas. Los análisis que ofrezcan soluciones a problemas de interpretación, lagunas y contradicciones del ordenamiento jurídico español o internacional. Los análisis de jurisprudencia que se basen en un conjunto de sentencias sobre un tema o temas conexos, que tengan por objeto esclarecer los criterios de actuación de los tribunales y su evolución, y los comentarios sobre sentencias especialmente relevantes para el entendimiento y posterior aplicación del derecho. Las obras generales que se reconozcan como de referencia dentro de la disciplina o supongan un progreso en la organización de un campo temático poco estructurado, siempre que se trate de su primera edición No se considerarán: Los libros de texto, programas, apuntes, monografías, casos o supuestos prácticos, libros y los artículos de divulgación profesional, artículos en revistas de información general. Las ediciones de textos o las traducciones, salvo que estén precedidas de prólogos o estudios preliminares o acompañadas de anotaciones que sean fruto de una investigación personal y hagan una aportación valorable a su campo temático. Las meras recopilaciones legislativas, aunque incluyan anotaciones sobre disposiciones concordantes, complementarias o derogadas. Los comentarios de sentencias que sean una mera glosa de las mismas. Los dictámenes y proyectos
Indicios de calidad libros CNEAI y ANECA Riguroso proceso de selección y evaluación de originales Traducciones de la propia obra a otras lenguas Inclusión en bibliografías independientes del autor y su entorno Presencia en bases de datos, repertorios bibliográficos especializados y catálogos de bibliotecas universitarias Poseer ISBN (imprescindible) Criterios Número de citas generadas (cantidad y calidad) Prestigio de la editorial, los editores, la colección en la que se publica la obra Reseñas en las revistas científicas especializadas Que no estén publicados por la misma institución en la que trabaja el investigador, salvo que ésta satisfaga los criterios especificados en el Apéndice 1 Acreditar un proceso de selección riguroso mediante evaluadores externos a las Universidades de la Comunidad Autónoma (Derecho) CNEAI Jurídicas ANECA PCD PCD: Profesor colaborador Doctor
Indicios de calidad de los libros Dónde y cómo buscarlos? Número de citas generadas Web of Science: Todos los campos Scopus: Especialmente científico-técnicos Google Scholar: Todos los campos. Especialmente útil en Ciencias Sociales y Humanidades Prestigio de la editorial o de los editores No existe ninguna herramienta para buscar este indicio Reseñas en las revistas científicas especializadas Bases de datos de la especialidad: Medline, Sociological Abstracts, MLA, Historical Abstracts. En España: bases de datos del CSIC Bases de datos multidisciplinares: Scopus y Web of Science Google: Ojo no en Google Scholar Riguroso proceso de selección y evaluación de originales Documentos internos de la propia editorial (publicados en la red o no)
Indicios calidad revistas científicas CNEAI y ANECA (I) Criterios Se valorarán preferentemente los artículos incluidos en revistas recogidas en los Journal Citation Reports del Social Science Citation Index y el Science Citation Index (Institute for Scientific Information, -ISI-, Philadelphia, PA, USA) Física, Matemáticas, Biología Celular y Molecular, Ciencias Biomédicas, Ciencias de la Naturaleza, Ingenierías y Arquitectura, Sociología, Política, Educación, Economía, Psicología Inclusión de las revistas en bases de datos internacionales Ingenierías y Arquitectura: International Development Abstracts, International Civil Engineering Abstracts, Environmental Abstracts, Applied Mechanic Reviews, Avery Index to Architectural Periodicals de la Avery Library -Columbia University-; Architectural Publications Index del Royal Institute of British Architecs, TRIS Electronic Bibliography data Sociología, Política, Educación, Economía, Geografía, Psicología: BD a determinar por el comité asesor, Econlit, Catálogo Latindex Historia: FRANCIS, International Bibliography of the Social Sciences (IBSS), Arts and Humanities Citation Index y Social Science Citation Index, Bibliography of the History of Arts (RLG), Historical Abstracts, International Medieval Bibliography, Index Islamicus, RILMS Abstracts of Music Literature, etc). Filosofía, Filología, Lingüística: Arts and Humanities Citation Index y el Social Science Citation Index y otras BD a determinar por el comité asesor, Library and Information Science Abstracts, Philosopher s Index, Répertoire Bibliographique, International Bibliography of Periodical Literature in Humanities and Social Sciences (IBZ), Bibliographie Linguistique/Linguistic Bibliography CNEAI ANECA
Indicios calidad revistas científicas CNEAI, ANECA, ANEP (II) Criterios Satisfacer criterios de calidad editorial Ciencias Naturaleza, Ingenierías y Arquitectura, Sociología, Política, Educación, Economía, Geografía, Psicología, Derecho, Historia, Filosofía, Filología, Lingüística Clasificación alta en los listados del European Reference Index for the Humanities (ERIH) de la ESF Filosofía, Filología Lingüística CNEAI ANECA
Indicios de calidad de las revistas Dónde y cómo buscarlos? Factor de Impacto JCR (Journal Citation Reports) de Thomson Scientific (antiguo ISI) IN-RECS, IN-RECJ de de la Universidad de Granada Resh (Revistas españolas de Ciencias Sociales y Humanas) del CSIC Número de citas de un artículo Web of Science de Thomson Scientific Scopus Google Scholar Satisfacer criterios de calidad editorial Latindex: Revistas iberoamericanas DICE: Difusión y Calidad editorial de las revistas españolas de Humanidades y Ciencias Sociales (RECOMENDADO ANECA) Bases de datos en las que figura una revista Para revistas extranjeras Ulrchis Periodicals Directory: Directorio de revistas editadas en el mundo Para revistas españolas DICE: Difusión y Calidad editorial de las revistas españolas de Humanidades y Ciencias Sociales Cuidado: a veces no está actualizada la información
Criterios calidad revistas científicas CNEAI y ANECA (I) Informa sobre el proceso que emplea para la evaluación y selección de manuscritos Declara la periodicidad y la cumple Criterios Identifica los miembros de los Comités Editoriales y Científicos Cuenta con Instrucciones a Autores detalladas Traduce el Sumario de cada número al inglés así como el título de los artículos, las palabras clave y los resúmenes Utiliza el arbitraje científico en la evaluación de originales y lo cumple Declara emplear doble anonimato en la revisión externa y lo cumple Comunica a los autores la decisión editorial de forma motivada Cuenta con un Consejo de Redacción efectivo Cuenta con un Consejo Asesor efectivo CNEAI ANECA
Criterios calidad revistas científicas CNEAI y ANECA (II) Criterios Al menos el 50% de los artículos son trabajos que comunican resultados de investigación originales Al menos el 80% de los autores son ajenos a los Comités Editoriales Al menos el 80% de los autores son ajenos a la organización editora / patrocinadora de la revista La tasa de aceptación de trabajos es igual o menor al 60% Está indexada en los JCR de las bases de datos de la Web of Knowledge de Thompson Scientific (SCI, SSCI Está recogida en la principal base de datos internacional de su especialidad (por ejemplo. CAB Abstracts, Sociological Abstracts, Historical Abstracts, Econlit, PsycINFO, Philosopher`s Index, MLA, ERIC ), o en catálogo Latindex, DICE Está recogida en la base de datos española del CSIC que le corresponda por su especialidad (ISOC, ICYT, IME) CNEAI ANECA
Congresos Criterios generales ANECA para la Acreditación Nacional. COMO CONGRESOS PUBLICADOS (Actas de Congresos) Consideración n como Publicaciones Científicas en Revistas (1.A.1 y 1.A.2) Ciencias y Ciencias de la Salud: No se contemplan Ingeniería a y Arquitectura: Si se contemplan excepcionalmente. Trabajos incluidos en Actas de Congresos Internacionales de prestigio cuando tales congresos son medio de difusión comparable a revistas JCR, con criterios de selección n equiparables (Congresos Internacionales Peer Review) Ciencias Sociales: No se contemplan Ciencias Jurídicas: No se contempla Arte y Humanidades: No se contemplan Consideración n como Libros o Capítulos de Libro (1.A.3.) En todas las áreas de conocimiento, se podrán n valorar en este apartado trabajos en congresos organizados por asociaciones internacionales o nacionales de periodicidad fija, que publican actas del congreso con contribuciones completas seleccionadas eccionadas previamente mediante evaluación n externa y que tengan asignado un ISBN COMO CONGRESOS, CONFERENCIAS Y SEMINARIOS (1.A.5 y 1.A.6) En todas las áreas de conocimiento, se valorar en este apartado los de carácter cter internacional o nacional de especial relevancia en su ámbito, que incluyan revisión n por pares y con la antigüedad suficiente para ser referentes en su ámbito.
Congresos Criterios específicos CNEAI (Solo afectan al Campo 6) Subcampo 6-1. Tecnologías Mecánicas y de la Producción Actas de congresos que posean un sistema de revisión n externa por pares, cuando estas actas sean vehículo de difusión n del conocimiento comparable a las revistas internacionales de prestigio reconocido. Subcampo 6-2. Ingenierías de la Comunicación, n, Computación n y Electrónica Actas de congresos que posean un sistema de revisión n externa por pares, que sean vehículo de difusión n del conocimiento comparable a las revistas internacionales de prestigio reconocido. Trabajos publicados en las actas de los congresos que ocupen posiciones suficientemente relevantes en los s listados de los índices CiteSEER (http:// http://citiseer.ist.psu.edu/impact.html), Computing Research and Education (CORE) (http://( http://www.core.edu.au/) ) o CS Conference Rankings (http:// http://www.cs-conference- ranking.org/conferencerankings conferencerankings/alltopics.html). Subcampo 6-3. Arquitectura, Ingeniería a Civil, Construcción n y Urbanismo Trabajos publicados en las actas de congresos que posean un sistema de revisión externa por pares, cuando estas actas sean vehículo de difusión n de conocimiento comparable a las revistas internacionales de prestigio reconocido. o..
El factor de impacto (I) Es igual al índice de calidad relativo mencionado por la ANECA? Definición Bases de datos que proporcionan índice de impacto JCR (Journal Citation Reports) de Thomson Scientific (antiguo ISI) IN-RECS, IN-RECJ de de la Universidad de Granada Resh (Revistas españolas de Ciencias Sociales y Humanas) del CSIC Uso de JCR, WoS (Web of Science) y ESI (Essential Science Indicators) de Thomson Scientific Los Journal Citation Reports: el factor de impacto Qué año tomar para justificar el impacto del trabajo? Dónde encontrar los JCR anteriores a 2000? Qué categoría temática elegir? Cómo se averigua la posición de la revista? Cuartiles, tercios, mediana. Qué significa? Impacto alto, medio o significativo, posición relevante o suficientemente relevante
El factor de impacto (II) El Web of Science: la búsqueda de citas de un trabajo o un autor Buscar en Cited Reference Search Incluir las variantes del nombre del autor, especialmente si es compuesto: forma abreviada (mayoral l*) o completa: (normal: ruiz jimenez r*) o (fusionada: ruizjimenez r*) Incluir el título de la revista y truncarlo (*) para obtener variaciones Realizar la búsqueda por el nombre del primer autor firmante del trabajo (Los precediendo al apellido significa que el autor no es el primer firmante) Los ESI (Essential Science Indicators): para trabajos excepcionales. Comparándolos con la media mundial Los baselines Percentiles y porcentajes El Índice H Qué es y como se calcula?
ÍNDICES DE IMPACTO REVISTAS ESPAÑOLAS DE CIENCIAS SOCIALES Y JUÍRIDICAS
Qué son? Índices bibliométricos Índices estadísticos basados en recuentos de referencias bibliográficas citadas en revistas científicas españolas a fin de medir el impacto de revistas, artículos, autores e instituciones españolas Convenciones internacionales: fórmula ISI Complementarios no sustitutivos: visión nacional versus internacional Índices de impacto Índices de citas Revistas científicas españolas Ciencias Sociales / Ciencias Jurídicas
Revistas españolas de Ciencias Sociales y Humanas: Valoración integrada e índice de citas
Qué es? Bases de Datos Se presentan las bases de datos internacionales en las que la revista está recogida. Índice Valoración A+B Valoración de la revista en función de su contenido científico, a juicio del profesorado universitario y personal investigador del área: Índice Impacto Medio (1999-2003) Criterios Latindex Evaluadores Externos Los originales son informados por expertos externos a la entidad editora la revista, antes de sen aceptados por el Consejo de Redacción. Periodicidad Cuando sus ejemplares se editan con un plazo que no supere el doble del anunciado Apertura exterior del Consejo Editorial o de Redacción Al menos un tercio (33%) de los miembros de su Consejo Editorial pertenece a instituciones diferentes a la entidad que edita la revista. Apertura exterior de los autores Al menos el 50% de ellas son de autores cuyas instituciones de trabajo son ajenas a la entidad editora de la revista de
1. Años de vida de la revista 20 años o más = 10 puntos de 10 a 19 años = 5 puntos de 5 a 9 años = 3 puntos 2. Cumplimiento de la periodicidad Sí cumple = 13 puntos No cumple = 0 puntos 3. Criterios Latindex 25 criterios o más = 13 puntos de 20 a 24 criterios = 9 puntos de 15 a 19 criterios = 5 puntos menos de 15 criterios = 0 puntos 4. Revisores externos Sí cuenta con revisores externos = 16 puntos No cuenta con revisores externos = 0 puntos 1 2 3 4 5 6 7 Parámetros de calidad Años vida de la revista Cumplimiento de la periodicidad Criterios Latindex Revisores externos Índice A + B IIM BBDD Total Puntuación máxima 10 13 13 16 16 16 16 100 5. Índice A + B (Índice A+B x 16)/100 Ej.: Iv A+ B = 81,16 (81,16 x 16) /100 = 12,96 puntos Tipo de base de datos A B C SD 7. Bases de Datos Especializada del área Especializada en otra área 6 3 3 1,5 1,5 0,75 0,75 0,35 Multidisciplinar 6 3 1,5 0,75
Las cifras de RESH Total Revistas valoradas 939 Revistas citantes 208 Período cubierto para las citas 1999-2003
Subproducto de RESH elaborado para la ANECA Indicadores: Bases de Datos, Periodicidad, Evaluadores externos, Apertura consejo editorial, Apertura revista
Catálogo Latindex Sistema Regional de Información en Línea para Revistas Científicas de América Latina, el Caribe, España y Portugal Selección de revistas que han sido clasificadas conforme la aplicación de una serie de criterios de calidad editorial probados y convenidos por el Sistema Latindex
Las cifras del Catálogo Latindex Total Período cubierto Revistas incluidas Arte y Humanidades Ciencias Sociales Revistas españolas 2002-3.098 511 1.962 1.077
Criterios y metodología de evaluación Para ser ingresadas al Catálogo, las revistas deben cumplir con todas las características básicas y con al menos 17 de los restantes parámetros listados. Globalmente cada revista debe cubrir 25 parámetros. Estas características son certificadas mediante revisión de los tres últimos fascículos publicados de cada revista Características básicas Características de presentación de la revista 1 Mención del cuerpo Editorial 9 Páginas de presentación 2 Contenido 10 Mención de periodicidad 3 Antigüedad mínima 1 año 11 Tabla de contenidos (Indice) 4 Identificación de los autores 12 Membrete bibliográfico al inicio del artículo 5 6 Lugar de edición Entidad editora 13 14 Membrete bibliográfico en cada página Miembros del consejo editorial 7 8 Mención del Director Mención de la Dirección 15 Afiliación institucional de los miembros del consejo editorial 16 Afiliación de los autores 17 Recepción y aceptación de originales
Criterios y metodología de evaluación II Características de gestión y política editorial Características de los contenidos 18 ISSN 26 Contenido original 19 Definición de la revista 27 Instrucciones a los autores 20 Sistema de arbitraje 28 Elaboración de las referencias bibliográficas 21 Evaluadores externos 29 Exigencia de originalidad 22 Autores externos 30 Resumen 23 Apertura editorial 31 Resumen en dos idiomas 24 Servicios de información 32 Palabras clave 25 Cumplimiento de periodicidad 33 Palabras clave en dos idiomas
ERIH European Reference Index for the Humanities Listas de buenas revistas europeas de investigación en Humanidades Creación paneles de expertos en 15 disciplinas Criterios La selección de los artículos debe basarse en una política de revisión objetiva (peer-review) Cumplimiento normas básicas de publicación ISSN Periodicidad: puntualidad en la aparición Normalización referencias bibliográficas Dirección completa filiación autores...
ERIH European Reference Index for the Humanities Categoría A (10-25% de todos los títulos): Nivel muy alto de internacionalidad Alta reputación entre los investigadores de un campo Regularmente citada en todo el mundo Category B: Nivel medio de internacionalidad Buena reputación entre los investigadores de un campo Category C: Publicaciones europeas Publicaciones de nivel local o regional Audiencia local o regional pero con citas fuera de su país de publicación Internacionalidad: Procedencia autores y lectores de ámbito internacional, elevado control del contenido científico (peer review), amplio consenso en el campo sobre su estatus y visibilidad internacional, comité editorial internacional, muy selectivo en la publicación, estricta puntualidad en la publicación
ERIH European Reference Index for the Humanities Marzo de 2007: 7 listas publicadas (Anthropology, Gender Studies, History and Philosophy of Science, Linguistics, Musicology, Philosophy, Religious Studies and Theology) Junio de 2007: 4 listas (Archaeology, Classical Studies, History, Pedagogical & Educational Research) Octubre 2007: 4 listas (Art & Art History, Literature, Oriental & African Studies, Psychology)
European Reference Index for the Humanities Algunos resultados Arqueología Estudios clásicos Hª y Filosofia de la ciencia Filosofia España 10 2,4 23 9,1 8 4,2 11 3,6 Principales paise UK (20%), Finlandia (10,5), Dinamarca (10) Italia (26,3), Dinamarca (13,5), Francia (9,6) UK (20,5), USA (18,1), Holanda (13,9) UK (16,7), USA (15,7), Holanda (14,7), Dinamarca (12,7)
Qué es? Subproducto de Google especializado en buscar e identificar material bibliográfico publicado de carácter científico-académico Qué encuentra? Resúmenes Textos completos Citas Ojo: Identifica y muestra todas las posibles versiones y localizaciones de un documento. El rastreador de GS identifica todas las localizaciones en distintas URLs a las que puede acceder
Diapositiva 33 em1 emilio delgado; 22/08/2008
Qué cubre? Libros Artículos de revistas científicas Comunicaciones y ponencias a congresos Informes científico-técnicos Tesis, tesinas o memorias de grado Trabajos científicos depositados en repositorios, archivos de preprints Páginas web personales o institucionales etc Cualquier publicación con resumen No cubre Reseñas de libros y editoriales Libros de texto y monografías Periódicos y revistas comerciales
Diapositiva 34 em2 emilio delgado; 22/08/2008
La página de resultados 1 2 7 4 3 5 6 1 8 9 11 10 12
La página de búsquedas El uso de las comillas Combinación de los campos de búsqueda: texto (toda la página o sólo título) autor, revista, fecha
La página de preferencias
Atención a cómo se busca
Muchas gracias por su atención Emilio Delgado López-Cózar edelgado@ugr.es ec 3 Evaluación de la Ciencia y de la Comunicación Científica www.ec3.ugr.es