Madrid, 23-25 de marzo de 2010 Criterios, metodologías y herramientas para la evaluación de las publicaciones científicas españolas en Humanidades Emilio Delgado López-Cózar Profesor de Metodología de la Investigación Facultad de Comunicación y Documentación
España en estado de excitación evaluativa
El laberinto de las herramientas para la evaluación de las publicaciones científicas españolas
Nada 10% 25% Revistas 65% Libros Libros Revistas Revistas 10% 25% Revistas 65% Libros Todo
Los criterios
Indicios de calidad de los libros CNEAI, ANECA, ANEP Criterios CNEAI ANECA ANEP Número de citas generadas (cantidad y calidad) Prestigio de la editorial, los editores, la colección en la que se publica la obra CCSS Reseñas en las revistas científicas especializadas Riguroso proceso de selección y evaluación de originales Que no estén publicados por la misma institución en la que trabaja el investigador, salvo que ésta satisfaga los criterios especificados en el Apéndice 1 Traducciones de la propia obra a otras lenguas PCD Inclusión en bibliografías independientes del autor y su entorno Presencia en bases de datos, repertorios bibliográficos especializados y catálogos de bibliotecas universitarias Acreditar un proceso de selección riguroso mediante evaluadores externos a las Universidades de la Comunidad Autónoma (Derecho) JURID. Obras de referencia imprescindibles en los estudios grado y postgrado HUM Poseer ISBN (imprescindible)
Indicios calidad revistas científicas CNEAI, ANECA, ANEP Criterios CNEAI ANECA ANEP Inclusión de las revistas en bases de datos internacionales Preferentes: Arts and Humanities Citation Index y Social Science Citation Index Similares: FRANCIS, International Bibliography of the Social Sciences (IBSS), Bibliography of the History of Arts (RLG), Historical Abstracts, International Medieval Bibliography, Index Islamicus, RILMS Abstracts of Music Literature, Library and Information Science Abstracts, Philosopher s Index, Répertoire Bibliographique, International Bibliography of Periodical Literature in Humanities and Social Sciences (IBZ), Bibliographie Linguistique/Linguistic Bibliography Podrán considerarse bases de datos a determinar por el comité asesor INRECS, LATINDEX, SCOPUS, DICE-CINDOC (siempre que cuenten con calidad similar a los JCR y satisfagan criterios calidad editorial Apéndice 1) Satisfacer criterios de calidad editorial Estar acreditada por la FECYT Clasificación alta en los listados del European Reference Index for the Humanities (ERIH) de la ESF
Criterios calidad editorial revistas científicas Criterios CNEAI ANECA ANEP Identifica los miembros de los Comités Editoriales y Científicos Cuenta con Instrucciones a Autores detalladas Traduce el sumario, títulos de los artículos, palabras clave y resúmenes al inglés, en caso de revistas y actas de Congresos Informa sobre el proceso de evaluación y selección de manuscritos empleados por la revista, editorial, comité de selección, incluyendo los criterios, procedimiento y plan de revisión de los revisores o jueces Periodicidad de las revistas y regularidad Emplea el anonimato en la revisión de manuscritos Comunica a los autores la decisión editorial de forma motivada
Criterios calidad editorial revistas científicas Criterios CNEAI ANECA ANEP Cuenta con un Consejo de Redacción efectivo Cuenta con un Consejo Asesor efectivo Al menos el 75% de los artículos son trabajos que comunican resultados de investigación originales Al menos el 75% de los autores son ajenos a los Comités Editoriales Al menos el 80% de los autores son ajenos a la organización editora / patrocinadora de la revista La tasa de aceptación de trabajos es igual o menor al 60%
Preguntemos a los científicos
Opinión científicos españoles 2 4 1 3 Muestra: 1.294 Profesores TU y Catedráticos (181 de Humanidades) con al menos 2 sexenios Buela-Casal, G. y Sierra, J. C. (2007). Criterios, indicadores y estándares para la acreditación de Profesores Titulares y Catedráticos de Universidad. Psicothema, 19, 357-369
Encuesta calidad revistas españolas de Humanidades y Ciencias Sociales 2009 Valore la idoneidad de los siguientes criterios para reflejar la calidad de una revista científica Muy idóneo 5 Poco 1 Muestra: 2.301 profesores e investigadores españoles de Humanidades
Las herramientas
RESH y DICE ± 1.000 revistas españolas Revistas Españolas de Ciencias Sociales y Humanas: Valoración integrada e índice de citas UN MISMO PRODUCTO CON DIFERENTES CARAS. DICE ES UN SUBPRODUCTO ELABORADO A PARTIR DE RESH A PETICIÓN DE LA ANECA Difusión y Calidad Editorial de las Revistas Españolas de Humanidades y Ciencias Sociales y Jurídicas
RESH y DICE Metodología de evaluación en RESH y DICE BASES DE DATOS PERIODICIDAD EVALUADORES EXTERNOS APERTURA DEL CONSEJO EDITORIAL APERTURA EXTERIOR DE LOS AUTORES ÍNDICE DE VALORACIÓN A+B ÍNDICE DE IMPACTO MEDIO (sin actualizar) CRITERIOS LATINDEX Citas 1999-2003
1. Años de vida de la revista 20 años o más = 10 puntos de 10 a 19 años = 5 puntos de 5 a 9 años = 3 puntos 2. Cumplimiento de la periodicidad Sí cumple = 13 puntos No cumple = 0 puntos 3. Criterios Latindex 25 criterios o más = 13 puntos de 20 a 24 criterios = 9 puntos de 15 a 19 criterios = 5 puntos menos de 15 criterios = 0 puntos 4. Revisores externos Sí cuenta con revisores externos = 16 puntos No cuenta con revisores externos = 0 puntos 1 2 3 4 5 6 7 Parámetros de calidad Años vida de la revista Cumplimiento de la periodicidad Criterios Latindex Revisores externos Índice A + B IIM BBDD Total Puntuación máxima 10 13 13 16 16 16 16 100 5. Índice A + B: encuesta opinión científicos (Índice A+B x 16)/100 Ej.: Iv A+ B = 81,16 (81,16 x 16) /100 = 12,96 puntos Tipo de base de datos A B C SD 7. Bases de Datos Especializada del área Especializada en otra área 6 3 3 1,5 1,5 0,75 0,75 0,35 Multidisciplinar 6 3 1,5 0,75
El catálogo Latindex Sistema Regional de Información en Línea para Revistas Científicas de América Latina, el Caribe España y Portugal! OJO tiene dos productos! -DIRECTORIO:16.963 revistas. Información básica normalizada - CATÁLOGO: 3.381 revistas. Selección de revistas clasificadas según el cumplimiento de unos criterios de calidad
Para ser ingresadas al Catálogo, las revistas deben cumplir con todas las características básicas y con al menos 17 de los restantes parámetros listados. Globalmente cada revista debe cubrir 25 parámetros. Estas características son certificadas mediante revisión de los tres últimos fascículos publicados de cada revista Características básicas Características de presentación de la revista Características de gestión y política editorial Características de los contenidos 1 2 3 4 5 6 7 8 Mención del cuerpo Editorial Contenido Antigüedad mínima 1 año Identificación de los autores Lugar de edición Entidad editora Mención del Director Mención de la Dirección 9 10 11 12 13 14 15 Páginas de presentación Mención de periodicidad Tabla de contenidos (Indice) Membrete bibliográfico al inicio del artículo Membrete bibliográfico en cada página Miembros del consejo editorial Afiliación institucional de los miembros del consejo editorial 18 19 20 21 22 23 24 25 ISSN Definición de la revista Sistema de arbitraje Evaluadores externos Autores externos Apertura editorial Servicios de información Cumplimiento de periodicidad 26 27 28 29 30 31 32 33 Contenido original Instrucciones a los autores Elaboración de las referencias bibliográficas Exigencia de originalidad Resumen Resumen en dos idiomas Palabras clave Palabras clave en dos idiomas 16 Afiliación de los autores 17 Recepción y aceptación de originales
ÍNDICES DE IMPACTO REVISTAS ESPAÑOLAS DE CIENCIAS SOCIALES Y JUÍRIDICAS
Qué son? Índices bibliométricos Índices estadísticos basados en recuentos de referencias bibliográficas citadas en revistas científicas españolas a fin de medir el impacto de revistas, artículos, autores e instituciones españolas 1.095 revistas 243.534 artículos 62.026 citas CRITERIOS DE SELECCIÓN: pervivencia, calidad de editorial, opinión profesores e impacto internacional ÍNDICE DE IMPACTO: calculado de forma anual siguiendo la fórmula canónica de Eugene Garfield (Thomsom ISI), con un fino retoque ÍNDICE DE IMPACTO ACUMULADO: promedio de citas histórico (1994-2008), década y quinquenio
Qué son? Índices de impacto Índices de citas
Informa sobre la presencia o ausencia de una revista en bases de datos, repertorios bibliográficos y catálogos. A partir de ahí se establece un índice de difusión de la publicación, el ICDS (Índice Compuesto de Difusión Secundaria) 27.845 títulos de 16 ámbitos - antropología, artes, comunicación social, derecho, documentación, economía, educación, filología, filosofía, general / multidisciplinar, geografía humana, historia, política, psicología, religión, sociología
ICDS (Índice Compuesto de Difusión Secundaria)
Los procedimientos
Análisis calidad editorial Mide Calidad informativa Gestión proceso editorial Organización y estructura editorial
Análisis calidad editorial Fiabilidad y validez de los resultados Cambios en la políticas editoriales: exigen actualización constante Puede ser recogida sin control en la observación Se basa en declaraciones y no en hechos comprobados
Análisis calidad editorial Sus resultados no correlacionan con los producidos por recuentos de citas, encuestas de opinión o difusión
Análisis de la difusión y visibilidad Mide el el grado en que una revista es visible (bases de datos // Internet) y accesible (Biblioteca / Internet)
Análisis difusión y accesibilidad Fiabilidad y validez Cambios en la indización: exige actualización constante de la información Los criterios de las bases de datos y sus exigencias en la selección son muy dispares
Encuestas de opinión de los científicos Miden percepciones más que realidades (calidad percibida), la la reputación y el el prestigio Fiabilidad y validez Procedimiento reactivo: posible enmascaramiento y modificación de la opinión de los encuestados Tasas de respuesta normalmente bajas y no participación de determinados individuos que pueden generar sesgos en las muestras que pueden cuestionar la representatividad de los resultados Sus resultados suelen correlacionar con los producidos por recuentos de citas
Recuentos de citas e índices de impacto Miden la la repercusión científica: la la utilidad y la la influencia intelectual, no la la calidad Cuando un científico cita un trabajo anterior lo que formalmente hace es reconocer la utilidad que ha tenido dicho trabajo en la confección del suyo propio y, por ende, es un indicador de influencia. Si se acepta esta premisa los trabajos más citados tienen una influencia mayor en las actividades investigadoras que los que tienen menos citas Cautela y prudencia con el uso de los datos de citación en las Humanidades Números pequeños : pocas citas. Escuálidas comunidades científicas. Falta de masa crítica Atomización y dispersión temática por la propia naturaleza de las Humanidades Tiempos largos en la citación
Recuentos de citas e índices de impacto Fiabilidad y validez Los recuentos de citas son sensibles a múltiples factores Tamaño de las comunidades científicas: nº científicos Temas de los trabajos: nacionales/regionales/locales, modas Hábitos de publicación y prácticas de citación de las comunidades científicas: nº publicaciones por autor, nº referencias por artículo Tipo de trabajos: revisiones, artículos Rapidez en la publicación (ventana de citación) Los datos de citación deben ser cuidadosamente usados e interpretados y no deben reemplazar el juicio humano (expertos). Deben ayudar en la toma de decisiones y no ser aplicados mecánicamente
Las propuestas
Las revistas
EC 3 Grupo de investigación Evaluación de la Ciencia y de la Comunicación Científica http://ec3.ugr.es Plan Nacional I+D+I (2007-2010). SEJ2007-68069-CO2-01/SOCI
Próximo futuro: noviembre 2010 Y después: el destino es incierto EC 3 Grupo de investigación Evaluación de la Ciencia y de la Comunicación Científica http://ec3.ugr.es Sistema de evaluación integrada de revistas españolas OPINIÓN PARES DIFUSIÓN CALIDAD EDITORIAL ÍNDICES DE IMPACTO CNEAI ANECA LATINDEX Plan Nacional I+D+I (2007-2010). SEJ2007-68069-CO2-01/SOCI
Las Libros
Podemos buscar citas a libros y, a partir de ellas, construir sistemas de información? SÍ dónde?
Torres-Salinas, D.; Ruiz-Pérez, R. ; Delgado López Cózar, E. Google Scholar como herramienta para la evaluación científica. El Profesional de la Información. Septiembre-Octubre 2009, vol. 18, núm. 5, p. 501-510
Una reflexión final
Qué es la calidad de una publicación científica? Algo fácil de percibir pero difícil de medir Consenso implícito: cualquier científico competente puede distinguir los trabajos buenos de los malos y clasificar unos como mejores que otros No existen medidas absolutas y directas de la calidad sino indicadores parciales Multidimensional
Recuentos Nº publicaciones en - Editoriales de prestigio - Revistas de alto nivel Nº citas Opiniones Comité de sabios o expertos Comunidad científica: los pares Encuestas de opinión Los métodos de evaluación más objetivos (los cuantitativos) son los menos relevantes mientras que los menos objetivos (evaluación por pares) son los más relevantes
Muchas gracias por su atención Emilio Delgado López-Cózar edelgado@ugr.es ec3.ugr.es/emilio ec 3 Grupo de investigación Evaluación de la Ciencia y de la Comunicación Científica www.ec3.ugr.es