Criterios, metodologías y herramientas para la evaluación de las publicaciones científicas españolas en Humanidades

Transcripción

1 Madrid, de marzo de 2010 Criterios, metodologías y herramientas para la evaluación de las publicaciones científicas españolas en Humanidades Emilio Delgado López-Cózar Profesor de Metodología de la Investigación Facultad de Comunicación y Documentación

2 España en estado de excitación evaluativa

3 El laberinto de las herramientas para la evaluación de las publicaciones científicas españolas

4 Nada 10% 25% Revistas 65% Libros Libros Revistas Revistas 10% 25% Revistas 65% Libros Todo

5 Los criterios

6 Indicios de calidad de los libros CNEAI, ANECA, ANEP Criterios CNEAI ANECA ANEP Número de citas generadas (cantidad y calidad) Prestigio de la editorial, los editores, la colección en la que se publica la obra CCSS Reseñas en las revistas científicas especializadas Riguroso proceso de selección y evaluación de originales Que no estén publicados por la misma institución en la que trabaja el investigador, salvo que ésta satisfaga los criterios especificados en el Apéndice 1 Traducciones de la propia obra a otras lenguas PCD Inclusión en bibliografías independientes del autor y su entorno Presencia en bases de datos, repertorios bibliográficos especializados y catálogos de bibliotecas universitarias Acreditar un proceso de selección riguroso mediante evaluadores externos a las Universidades de la Comunidad Autónoma (Derecho) JURID. Obras de referencia imprescindibles en los estudios grado y postgrado HUM Poseer ISBN (imprescindible)

7 Indicios calidad revistas científicas CNEAI, ANECA, ANEP Criterios CNEAI ANECA ANEP Inclusión de las revistas en bases de datos internacionales Preferentes: Arts and Humanities Citation Index y Social Science Citation Index Similares: FRANCIS, International Bibliography of the Social Sciences (IBSS), Bibliography of the History of Arts (RLG), Historical Abstracts, International Medieval Bibliography, Index Islamicus, RILMS Abstracts of Music Literature, Library and Information Science Abstracts, Philosopher s Index, Répertoire Bibliographique, International Bibliography of Periodical Literature in Humanities and Social Sciences (IBZ), Bibliographie Linguistique/Linguistic Bibliography Podrán considerarse bases de datos a determinar por el comité asesor INRECS, LATINDEX, SCOPUS, DICE-CINDOC (siempre que cuenten con calidad similar a los JCR y satisfagan criterios calidad editorial Apéndice 1) Satisfacer criterios de calidad editorial Estar acreditada por la FECYT Clasificación alta en los listados del European Reference Index for the Humanities (ERIH) de la ESF

8 Criterios calidad editorial revistas científicas Criterios CNEAI ANECA ANEP Identifica los miembros de los Comités Editoriales y Científicos Cuenta con Instrucciones a Autores detalladas Traduce el sumario, títulos de los artículos, palabras clave y resúmenes al inglés, en caso de revistas y actas de Congresos Informa sobre el proceso de evaluación y selección de manuscritos empleados por la revista, editorial, comité de selección, incluyendo los criterios, procedimiento y plan de revisión de los revisores o jueces Periodicidad de las revistas y regularidad Emplea el anonimato en la revisión de manuscritos Comunica a los autores la decisión editorial de forma motivada

9 Criterios calidad editorial revistas científicas Criterios CNEAI ANECA ANEP Cuenta con un Consejo de Redacción efectivo Cuenta con un Consejo Asesor efectivo Al menos el 75% de los artículos son trabajos que comunican resultados de investigación originales Al menos el 75% de los autores son ajenos a los Comités Editoriales Al menos el 80% de los autores son ajenos a la organización editora / patrocinadora de la revista La tasa de aceptación de trabajos es igual o menor al 60%

10 Preguntemos a los científicos

11 Opinión científicos españoles Muestra: Profesores TU y Catedráticos (181 de Humanidades) con al menos 2 sexenios Buela-Casal, G. y Sierra, J. C. (2007). Criterios, indicadores y estándares para la acreditación de Profesores Titulares y Catedráticos de Universidad. Psicothema, 19,

12 Encuesta calidad revistas españolas de Humanidades y Ciencias Sociales 2009 Valore la idoneidad de los siguientes criterios para reflejar la calidad de una revista científica Muy idóneo 5 Poco 1 Muestra: profesores e investigadores españoles de Humanidades

13 Las herramientas

14 RESH y DICE ± revistas españolas Revistas Españolas de Ciencias Sociales y Humanas: Valoración integrada e índice de citas UN MISMO PRODUCTO CON DIFERENTES CARAS. DICE ES UN SUBPRODUCTO ELABORADO A PARTIR DE RESH A PETICIÓN DE LA ANECA Difusión y Calidad Editorial de las Revistas Españolas de Humanidades y Ciencias Sociales y Jurídicas

15 RESH y DICE Metodología de evaluación en RESH y DICE BASES DE DATOS PERIODICIDAD EVALUADORES EXTERNOS APERTURA DEL CONSEJO EDITORIAL APERTURA EXTERIOR DE LOS AUTORES ÍNDICE DE VALORACIÓN A+B ÍNDICE DE IMPACTO MEDIO (sin actualizar) CRITERIOS LATINDEX Citas

16 1. Años de vida de la revista 20 años o más = 10 puntos de 10 a 19 años = 5 puntos de 5 a 9 años = 3 puntos 2. Cumplimiento de la periodicidad Sí cumple = 13 puntos No cumple = 0 puntos 3. Criterios Latindex 25 criterios o más = 13 puntos de 20 a 24 criterios = 9 puntos de 15 a 19 criterios = 5 puntos menos de 15 criterios = 0 puntos 4. Revisores externos Sí cuenta con revisores externos = 16 puntos No cuenta con revisores externos = 0 puntos Parámetros de calidad Años vida de la revista Cumplimiento de la periodicidad Criterios Latindex Revisores externos Índice A + B IIM BBDD Total Puntuación máxima Índice A + B: encuesta opinión científicos (Índice A+B x 16)/100 Ej.: Iv A+ B = 81,16 (81,16 x 16) /100 = 12,96 puntos Tipo de base de datos A B C SD 7. Bases de Datos Especializada del área Especializada en otra área ,5 1,5 0,75 0,75 0,35 Multidisciplinar 6 3 1,5 0,75

17 El catálogo Latindex Sistema Regional de Información en Línea para Revistas Científicas de América Latina, el Caribe España y Portugal! OJO tiene dos productos! -DIRECTORIO: revistas. Información básica normalizada - CATÁLOGO: revistas. Selección de revistas clasificadas según el cumplimiento de unos criterios de calidad

18 Para ser ingresadas al Catálogo, las revistas deben cumplir con todas las características básicas y con al menos 17 de los restantes parámetros listados. Globalmente cada revista debe cubrir 25 parámetros. Estas características son certificadas mediante revisión de los tres últimos fascículos publicados de cada revista Características básicas Características de presentación de la revista Características de gestión y política editorial Características de los contenidos Mención del cuerpo Editorial Contenido Antigüedad mínima 1 año Identificación de los autores Lugar de edición Entidad editora Mención del Director Mención de la Dirección Páginas de presentación Mención de periodicidad Tabla de contenidos (Indice) Membrete bibliográfico al inicio del artículo Membrete bibliográfico en cada página Miembros del consejo editorial Afiliación institucional de los miembros del consejo editorial ISSN Definición de la revista Sistema de arbitraje Evaluadores externos Autores externos Apertura editorial Servicios de información Cumplimiento de periodicidad Contenido original Instrucciones a los autores Elaboración de las referencias bibliográficas Exigencia de originalidad Resumen Resumen en dos idiomas Palabras clave Palabras clave en dos idiomas 16 Afiliación de los autores 17 Recepción y aceptación de originales

19 ÍNDICES DE IMPACTO REVISTAS ESPAÑOLAS DE CIENCIAS SOCIALES Y JUÍRIDICAS

20 Qué son? Índices bibliométricos Índices estadísticos basados en recuentos de referencias bibliográficas citadas en revistas científicas españolas a fin de medir el impacto de revistas, artículos, autores e instituciones españolas revistas artículos citas CRITERIOS DE SELECCIÓN: pervivencia, calidad de editorial, opinión profesores e impacto internacional ÍNDICE DE IMPACTO: calculado de forma anual siguiendo la fórmula canónica de Eugene Garfield (Thomsom ISI), con un fino retoque ÍNDICE DE IMPACTO ACUMULADO: promedio de citas histórico ( ), década y quinquenio

21 Qué son? Índices de impacto Índices de citas

22 Informa sobre la presencia o ausencia de una revista en bases de datos, repertorios bibliográficos y catálogos. A partir de ahí se establece un índice de difusión de la publicación, el ICDS (Índice Compuesto de Difusión Secundaria) títulos de 16 ámbitos - antropología, artes, comunicación social, derecho, documentación, economía, educación, filología, filosofía, general / multidisciplinar, geografía humana, historia, política, psicología, religión, sociología

23 ICDS (Índice Compuesto de Difusión Secundaria)

24 Los procedimientos

25 Análisis calidad editorial Mide Calidad informativa Gestión proceso editorial Organización y estructura editorial

26 Análisis calidad editorial Fiabilidad y validez de los resultados Cambios en la políticas editoriales: exigen actualización constante Puede ser recogida sin control en la observación Se basa en declaraciones y no en hechos comprobados

27 Análisis calidad editorial Sus resultados no correlacionan con los producidos por recuentos de citas, encuestas de opinión o difusión

28 Análisis de la difusión y visibilidad Mide el el grado en que una revista es visible (bases de datos // Internet) y accesible (Biblioteca / Internet)

29 Análisis difusión y accesibilidad Fiabilidad y validez Cambios en la indización: exige actualización constante de la información Los criterios de las bases de datos y sus exigencias en la selección son muy dispares

30 Encuestas de opinión de los científicos Miden percepciones más que realidades (calidad percibida), la la reputación y el el prestigio Fiabilidad y validez Procedimiento reactivo: posible enmascaramiento y modificación de la opinión de los encuestados Tasas de respuesta normalmente bajas y no participación de determinados individuos que pueden generar sesgos en las muestras que pueden cuestionar la representatividad de los resultados Sus resultados suelen correlacionar con los producidos por recuentos de citas

31 Recuentos de citas e índices de impacto Miden la la repercusión científica: la la utilidad y la la influencia intelectual, no la la calidad Cuando un científico cita un trabajo anterior lo que formalmente hace es reconocer la utilidad que ha tenido dicho trabajo en la confección del suyo propio y, por ende, es un indicador de influencia. Si se acepta esta premisa los trabajos más citados tienen una influencia mayor en las actividades investigadoras que los que tienen menos citas Cautela y prudencia con el uso de los datos de citación en las Humanidades Números pequeños : pocas citas. Escuálidas comunidades científicas. Falta de masa crítica Atomización y dispersión temática por la propia naturaleza de las Humanidades Tiempos largos en la citación

32 Recuentos de citas e índices de impacto Fiabilidad y validez Los recuentos de citas son sensibles a múltiples factores Tamaño de las comunidades científicas: nº científicos Temas de los trabajos: nacionales/regionales/locales, modas Hábitos de publicación y prácticas de citación de las comunidades científicas: nº publicaciones por autor, nº referencias por artículo Tipo de trabajos: revisiones, artículos Rapidez en la publicación (ventana de citación) Los datos de citación deben ser cuidadosamente usados e interpretados y no deben reemplazar el juicio humano (expertos). Deben ayudar en la toma de decisiones y no ser aplicados mecánicamente

33 Las propuestas

34 Las revistas

35 EC 3 Grupo de investigación Evaluación de la Ciencia y de la Comunicación Científica Plan Nacional I+D+I ( ). SEJ CO2-01/SOCI

36 Próximo futuro: noviembre 2010 Y después: el destino es incierto EC 3 Grupo de investigación Evaluación de la Ciencia y de la Comunicación Científica Sistema de evaluación integrada de revistas españolas OPINIÓN PARES DIFUSIÓN CALIDAD EDITORIAL ÍNDICES DE IMPACTO CNEAI ANECA LATINDEX Plan Nacional I+D+I ( ). SEJ CO2-01/SOCI

37 Las Libros

38

39

40 Podemos buscar citas a libros y, a partir de ellas, construir sistemas de información? SÍ dónde?

41

42 Torres-Salinas, D.; Ruiz-Pérez, R. ; Delgado López Cózar, E. Google Scholar como herramienta para la evaluación científica. El Profesional de la Información. Septiembre-Octubre 2009, vol. 18, núm. 5, p

43

44

45 Una reflexión final

46 Qué es la calidad de una publicación científica? Algo fácil de percibir pero difícil de medir Consenso implícito: cualquier científico competente puede distinguir los trabajos buenos de los malos y clasificar unos como mejores que otros No existen medidas absolutas y directas de la calidad sino indicadores parciales Multidimensional

47 Recuentos Nº publicaciones en - Editoriales de prestigio - Revistas de alto nivel Nº citas Opiniones Comité de sabios o expertos Comunidad científica: los pares Encuestas de opinión Los métodos de evaluación más objetivos (los cuantitativos) son los menos relevantes mientras que los menos objetivos (evaluación por pares) son los más relevantes

48 Muchas gracias por su atención Emilio Delgado López-Cózar ec3.ugr.es/emilio ec 3 Grupo de investigación Evaluación de la Ciencia y de la Comunicación Científica