Metodología seguida en el Proceso de Evaluación Voluntaria FECYT

Transcripción

1 REDVET Rev. electrón. vet. Vol. IX, Nº 9 Septiembre/ Metodología seguida en el Proceso de Evaluación Voluntaria FECYT Extraído de la documentación utilizada en la jornada de difusión de resultados de la evaluación de calidad llevada a cabo por FECYT (Madrid, 12 de junio de 2008), específicamente de Presentación del proyecto. Descripción de metodología llevada a cabo durante la evaluación. Resultados por José Manuel Báez, del FECYT y Criterios de Evaluación de los indicadores evaluados en la III Fase por el comité de expertos, por Antonio Guillamón, presidente del comité (UNED). Por parte del FECYT se realizaron la preselección (formulario electrónico) y las fases I y II (ver Composición de los Comités) y la Fase III la realizó el Subcomité de expertos, en nuestro caso por la subcomisión de biomedicina, matemáticas, física, ingeniería y ciencias de la naturaleza La evaluación se realizó atendiendo a los 56 criterios FECYT para la evaluación de la calidad de las revistas científicas españolas En la Fase I se atendió especialmente a que se cumpliera: Cumplimiento de la periocidad No endogamia en normas a autores Normas para los autores adecuadas En la Fase II se atendió: Realización de la evaluación externa por pares Para ello se solicitó y comprobó la siguiente documentación: Informe de evaluación de dos artículos al azar Listas de revisores de 2007, indicando quienes del CR y quienes del CA Documentación para evaluar otros indicadores Para considerar evaluación externa por pares Contar con informes de evaluación de los dos artículos Lista de revisores del 2007: > 50% revisores externos 1

2 En la Fase III el Comité de Expertos Estudio y validación Fase I y II Estudio de revistas que superaron las fases I y II Su papel fue ponderar los indicadores evaluados por FECYT de acuerdo con el área de conocimiento. La metodología seguida fue: De los 56 indicadores del FECYT se concretaron en 17 y se evaluaron agrupándolos en 4 grupos (A, B, C y D): A) Indicadores relacionados con la calidad informativa de la revista como medio de comunicación científica 1) Identificación de los miembros de los consejos de redacción (comités editoriales) y asesores (comités científicos) de las revistas. Nombres, a ser posibles completos Filiación profesional precisa y completa o centro de trabajo de cada uno de sus miembros B) Indicadores relacionadas con la calidad del proceso editorial 2) Si cuenta o no con instrucciones detalladas a los autores en relación con el envío de originales. Cobertura, periocidad y tipo de colaboraciones Forma de envío y presentación de los manuscritos Proceso editorial que siguen los manuscritos 5) Declara la periocidad y la cumple 6) Utiliza evaluación por pares externa Revisión por pares: dos o más revisores leen y analizan los artículos para determinar tanto la validez de las ideas y los resultados, como su impacto potencial en el mundo de la ciencia. Se comprobó analizando los informes de evaluación de los artículos solicitados. Evaluadores externos: seleccionados ad hoc, para valorar la originalidad, novedad, relevancia y calidad metodológica de los trabajos. No se considera evaluación externa cuando en la evaluación participa al menos un miembro del Consejo de Redacción o de la entidad editora. 2

3 7) Anonimato Doble anonimato (1): la identidad de los autores y revisores tiene que estar oculta Anonimato simple (2): ocultar solo la identidad de los revisores En la evaluación puntuó doble el doble anonimato. 8) La existencia de instrucciones para la revisión y hoja de evaluación para los manuscritos. Criterio y comentarios de evaluación sobre la originalidad, relevancia, rigor metodológico y presentación formal Procedimientos, formas y plazos de ejecución de la revisión Durante la evaluación se comprobó todo ello y puntuó la existencia de hoja de evaluación normalizada para los revisores 9) La comunicación de la decisión editorial debe ser de forma motivada: Razones para la aceptación, revisión o rechazo. Facilitar los dictámenes de los revisores a los autores Durante la evaluación se constató la comunicación 10) La existencia de un Consejo de Redacción Estrecha vinculación con la organización patrocinadora Asiste a la dirección en todas sus funciones, sobre todo: o Seguimiento de los trabajos o Definición de los contenidos y el estilo de la revista 11) La apertura del Consejo Asesor Al menos un tercio pertenece a instituciones diferentes al organismo editor o patrocinador de la revista 3

4 12 La apertura del Consejo Asesor Al menos un tercio pertenece a instituciones diferentes al organismo editor o patrocinador de la revista 13) Internacionalidad Más del 20 % de los componentes del Consejo Asesor serán extranjeros C) Indicadores relacionadas con su calidad científica 3) Si cuenta o no con resúmenes y palabras claves para cada uno de sus artículos Uniformidad en la extensión Estructura 4) Si presenta traducción de los títulos de los artículos, de las palabras claves y de los resúmenes al inglés 14) Originalidad Más del 50% de los artículos deberán ser trabajos que comuniquen resultados de investigaciones originales 15) Tasa de rechazo La tasa de rechazo de los trabajos deberá ser igual o mayor al 40% 16) Endogamía de los autores que escriben en la revista Menos de un 20% de los autores pertenecerán al Comité Editorial. En la evaluación: media del % de los números enviados a FECYT. D) Indicadores relacionadas con la calidad de su difusión y visibilidad 17) La revista deberá estar indizada en base de datos internacionales y nacionales de la especialidad. La revista deberá estar indizada en las bases de datos del ISI (SCI, SSCI, A&HCI), en la principal base de datos internacional de la especialidad, y en la base de datos española del CSIC que le corresponda. 4

5 En la Fase III el Comité de Expertos de la subcomisión de biomedicina, matemáticas, física, ingeniería y ciencias de la naturaleza Eliminó aquellas revistas que no cumplen al menos 14 de los criterios de evaluación de FECYT Las revistas que superan ese filtro se las evaluó aplicando los cuatro primeros criterios utilizados por la Comisión de Humanidades, que son: o Doble ciego en la revisión externa por pares o Aperturas de las autorías, especialmente respecto al comité de redacción y la entidad editora de la revista o Tasa de rechazo de manuscritos superior al 20-40% o Apertura del comité de redacción Además tuvieron en consideración el carácter histórico de algunas revistas o pertenecer a un área de conocimiento emergente. Nota de Veterinaria.org.- En el caso de REDVET que cumplió 16 de los 17 criterios evaluados - evidentemente más de 14 - por FECYT, no se le consideró apta por considerar el Comité de Expertos que era imprescindible cumplir el criterio de figurar en las bases de datos internacionales de su especialidad a juicio de dicho Comité, esto es en el ISI. 5