Criterios de evaluación de la actividad investigadora Humanidades y Ciencias Sociales en España

Transcripción

1 Universidad Pública de Navarra Pamplona, 20 de mayo de 2008 Criterios de evaluación de la actividad investigadora Humanidades y Ciencias Sociales en España Emilio Delgado López-Cózar Profesor de Metodología de la Investigación Facultad de Comunicación y Documentación Universidad de Granada

2 Axioma previo Hetereogeneidad de la ciencia los campos científicos La naturaleza del conocimiento científico es muy diferente según Áreas: CyT, CCSS, Humanidades Disciplinas: Física, Química, Economía, Derecho, Psicología Especialidades: Psicobiología, Psicología de la educación Filosofía del derecho, Civil, Penal, Financiero Fundamentos análisis económico, Contabilidad.. Fundamentos de la investigación: qué es una investigación Prácticas de investigación: cómo se hace Hábitos de comunicación: publicación e información Procesos de evaluación: cómo se evalúa

3 La evaluación de la investigación Necesidad evaluación rendimiento actividad investigadora Impacto económico y social de la ciencia Recursos escasos En ciencia no todos somos iguales Tema trascendente y polémico Condiciona la orientación de la investigación de un país Condiciona la promoción profesional Condiciona la posibilidad de investigar Otorga reconocimiento personal y social España en estado de excepción evaluativa Personas, instituciones (Facultades, Departamentos ), titulaciones (grado, posgrado, doctorado), programas, proyectos, Agencias de evaluación: CNEAI, ANECA, ANEP, AEA, ACPUA, AQU, ACECAU, ACUM, ACUCyL, ACSUC, ACAP, CVAEC

4 Objeto de investigación Hetereogeneidad de la ciencia los campos científicos CyT Sociales Humanidades Realidad natural (Objetiva / universal) Realidad humana (Subjetiva / contextual) Lenguaje Matemático Lenguaje natural Métodos de investigación Exprimentales Descriptivos / Cualitativos Técnicas análisis datos Cuantitativas Cualitativas Organización Grupo Individuo Medio publicación Revistas Libros Lenguaje publicación Inglés Lengua vernácula Evaluación trabajos ex ante Peer Review Peer review? Evaluación trabajos ex post Impacto Juicios de valor J U R Í D I C A S CONSENSO COGNITIVO

5 Los hábitos de comunicación científica Los medios de publicación Experimentales Sociales Humanidades 10% 5% 10% 10% 30% 85% 40% 50% 60% Revistas Libros Otros

6 Larivière, V., Archambault, É., Gingras, Y., and Vignola-Gagné, É The place of serials in referencing practices: Comparing natural sciences and engineering with social sciences and humanities: Research Articles. J. Am. Soc. Inf. Sci. Technol. 2006: 57(8): Biomedicina Psicología Ingenierías

7 Larivière, V., Archambault, É., Gingras, Y., and Vignola-Gagné, É The place of serials in referencing practices: Comparing natural sciences and engineering with social sciences and humanities: Research Articles. J. Am. Soc. Inf. Sci. Technol. 2006: 57(8): Psicología Derecho

8 Porcentaje citas a revistas Revistas españolas de Humanidades y Ciencias Sociales ( ) Román & Alcaín 2005 Antropología Ciencia Política 21,3 21,8 Filologías Arte Filosofía Sociología 22,7 22,8 24,1 26,6 Geografía Historia Educación Derecho 27,1 27,7 30,6 33,7 Documentacion * Economía Psicología 42,3 49,9 59, * 27 revistas Economia (Velazquez 2003)

9 Hábitos de publicación Porcentaje de profesores que publican en revistas españolas y extranjeras ( ) 100 Alcaín 2002, 2003; Román Psiquiatría Psicología Antroplogía Arqueología y Prehistoria Filología clásica Filología española Urbanismo Ciencia Política Sociología Educación Revistas españolas Revistas extranjeras

10 Valoración relevancia de las revistas españolas y extranjeras Porcentaje de profesores ( ) Alcaín 2002, 2003; Román Psiquiatría Psicología Antropología Arqueología y Prehistoria Urbanismo Filología española Filología clásica Didáctica de la lengua y literatura Didáctica de la expresión musical Revistas españolas Revistas extranjeras

11 Alcaín 2004 Porcentaje de revistas (españolas y extranjeras) usadas por los profesores de Derecho para publicar sus tres últimos trabajos (2003) Revistas que consideran más relevantes los profesores de Derecho (2003) 11% 41% 89% 59% Revistas españolas Revistas extranjeras

12 Porcentaje citas a revistas españolas y extranjeras Revistas españolas de Humanidades y Ciencias Sociales ( ) Román & Alcaín 2005 Sociales Derecho Educación Geografía Sociología C. Política Psicología % citas rev. % citas rev. esp./total Ext. /total citas citas 21,5 12,2 12,1 18,5 11,5 15,7 9,0 17,6 7,9 13,9 6,9 52,3 Humanidades % citas rev. Esp./total citas % citas rev. Ext. /total citas Historia 15,9 11,8 Arte 15,2 7,6 Filología 7,7 15,0 Antropología 8,1 13,2 Filosofía 2,8 21,3 Promedio 13 28,2 Promedio 13,5 14,3

13 ANECA Criterios evaluación actividad investigadora profesorado 100% 90% 80% 70% 60% 50% Profesor Contratado Doctor Profesor Universidad Privada % 90% 80% 70% 60% 50% Acreditación Profesor Titular de Universidad % 30% 20% % 30% 20% % 10% 0% Sociales y Jurídicas Humanidades 0% Sociales y Juridicas Humanidades Publicaciones científicas Congresos Dirección tesis Otros méritos Libros y Cl Transferencia tecnologia Proyectos Articulos y libros Dirección tesis, DEAS Transferencia Congresos y otros Proyectos y contratos

14 ANEP / FECYT 2007 Criterios de calidad de la investigación en Humanidades

15 ANEP / FECYT 2007 Criterios de calidad de la investigación en Humanidades Resultados de la investigación (65%) Publicaciones Libros y capítulos de libros: Monografías, Ediciones críticas, Ediciones de documentos y corpus documentales, Traducciones, Capítulos de libros Trabajos publicados en revistas científicas Trabajos publicados en actas Contribuciones a congresos Bibliografías, catálogos y bases de datos Actividades relacionadas con la investigación (10%) Proyectos de I+D+I Redes temáticas, acciones integradas y proyectos internacionales Estancias en instituciones académicas de prestigio Dirección y secretaría de revistas científicas Edición / coordinación de volúmenes colectivos Otros (25%) Interacción con el entorno y transferencia de conocimiento: contratos, gestión Difusión y divulgación de la investigación y actividades de fomento de la cultura científica: libros divulgación, conferencias Actividad formativa: dirección tesis, coordinación programas doctorado Otros méritos: premios, comités directivos asociaciones científicas

16 ANEP / FECYT 2007 Criterios de calidad de la investigación en Ciencias Sociales y Jurídicas

17 ANEP / FECYT 2007 Criterios de calidad de la investigación en Ciencias Sociales y Jurídicas La valoración de historiales investigadores debe limitarse a considerar resultados de productividad investigadora, y considerar de forma crucial la producción reciente (últimos 10 años) Publicaciones científicas: Publicaciones periódicas: Revistas ISI, o criterios de calidad de publicaciones similares a los del ISI. Publicaciones no periódicas: calidad de la editorial, procesos de evaluación y selección de manuscritos, e impacto, como número de citas en publicaciones relevantes; artículos en revistas ISI o similares, otras monografías de calidad y análogos. Señales externas de reconocimiento a la labor investigadora: Trabajo editorial en revistas ISI o similares, revisor en revistas ISI o similares, conferencias invitadas en reuniones científicas regulares, seminarios invitados, pertenencia a comités científicos en I+D, participación en comités de evaluación y actividades de gestión de la investigación. Actividades de formación de investigación Dirección de tesis doctorales en programas de calidad (o equivalente), con especial atención a la calidad de la producción científica derivada de las tesis. Participación en proyectos de investigación competitivos, con especial atención a los resultados publicados Actividades de desarrollo (transferencia)

18 Opinión científicos españoles criterios de evaluación de la actividad investigadora para la acreditación Indicadores Sociales Juríd. Puntuación Posición Humanidades Puntuación Libro en editorial de reconocido prestigio 7,40 1 8,48 1 Artículos de revista en Journal Citation Reports (JCR) del ISI 7,39 2 7,14 4 Dirección de proyectos de investigación con financiación externa 6,87 3 7,38 2 Artículos de revista en listados nacionales similares al JCR 6,42 5 6,92 6 Estancias docentes y de investigación en el extranjero 6,41 6 6,86 7 Dirección de tesis doctorales defendidas 6,28 7 6,42 10 Capítulo de libro en editorial de reconocido prestigio 6,13 8 6,97 5 Participación proyectos de investigación con financiación externa 6,11 9 6,56 9 Contribución a congreso internacional 5, ,86 8 Director de revista en ISI 5, ,84 14 Dirección académica de trabajos (tesinas, DEA ) 5, ,12 11 Contribución a congreso nacional 4, ,40 16 Miembro de consejo editorial en revista ISI 4, ,70 25 Libro en editorial sin reconocido prestigio 4, ,01 12 Otros artículos de revista 4, ,51 15 Posición Muestra: 401 Profesores TU y Catedráticos con 1 o 2 tramos (Buela y Sierra 2007)

19 Indicios de calidad de los libros CNEAI, ANECA, ANEP Número de citas generadas (cantidad y calidad) Criterios CNEAI ANECA Prestigio de la editorial, los editores, la colección en la que se publica la obra Reseñas en las revistas científicas especializadas Riguroso proceso de selección y evaluación de originales Que no estén publicados por la misma institución en la que trabaja el investigador, salvo que ésta satisfaga los criterios especificados en el Apéndice 1 Traducciones de la propia obra a otras lenguas PCD ANEP CCSS Inclusión en bibliografías independientes del autor y su entorno Presencia en bases de datos, repertorios bibliográficos especializados y catálogos de bibliotecas universitarias Acreditar un proceso de selección riguroso mediante evaluadores externos a las Universidades de la Comunidad Autónoma (Derecho) Obras de referencia imprescindibles en los estudios grado y postgrado Poseer ISBN (imprescindible) JURID. HUM

20 Derecho y Jurisprudencia (CNEAI) Se valorarán los estudios y trabajos que constituyan aportaciones originales de carácter doctrinal teórico o conceptual : Que desarrollen nuevas perspectivas del ordenamiento jurídico. Que supongan investigaciones originales sobre la evolución histórica, social o cultural de las normas. Que introduzcan propuestas relevantes de perfeccionamiento de las normas en relación con el sistema jurídico español o internacional. Aquellos que aporten conocimientos e instrumentos conceptuales y analíticos para mejorar la eficacia de las normas jurídicas y el cumplimiento de los objetivos que se persiguen con ellas. Los análisis que ofrezcan soluciones a problemas de interpretación, lagunas y contradicciones del ordenamiento jurídico español o internacional. Los análisis de jurisprudencia que se basen en un conjunto de sentencias sobre un tema o temas conexos, que tengan por objeto esclarecer los criterios de actuación de los tribunales y su evolución, y los comentarios sobre sentencias especialmente relevantes para el entendimiento y posterior aplicación del derecho. Las obras generales que se reconozcan como de referencia dentro de la disciplina o supongan un progreso en la organización de un campo temático poco estructurado, siempre que se trate de su primera edición No se considerarán: Los libros de texto, programas, apuntes, monografías, casos o supuestos prácticos, libros y los artículos de divulgación profesional, artículos en revistas de información general. Las ediciones de textos o las traducciones, salvo que estén precedidas de prólogos o estudios preliminares o acompañadas de anotaciones que sean fruto de una investigación personal y hagan una aportación valorable a su campo temático. Las meras recopilaciones legislativas, aunque incluyan anotaciones sobre disposiciones concordantes, complementarias o derogadas. Los comentarios de sentencias que sean una mera glosa de las mismas. Los dictámenes y proyectos

21 Filosofía, Filología y Lingüística (CNEAI) Se valorarán: Monografías que sean fruto de la investigación o de la reflexión documentada Se considerarán como investigación las ediciones críticas, es decir las que presentan un estudio razonado de la fijación del texto, con la correspondiente mención de las fuentes y variantes textuales. No se considerarán: Libros de texto Artículos de opinión Obras de divulgación Antologías o diccionarios comunes Ediciones de textos o traducciones salvo que estén precedidas de estudios preliminares o acompañadas de anotaciones que sean fruto de una investigación personal y hagan una aportación valorable a su campo temático Las actas de congresos, que no respondan a criterios de calidad equiparables a los exigidos para las revistas científicas

22 Historia y Arte CNEAI Deberán reflejar claramente que son fruto de la investigación o de la reflexión documentada No se considerarán Libros de texto, apuntes, obras y diccionarios de divulgación o artículos de opinión Ediciones de textos o traducciones salvo que estén precedidas de estudios preliminares o acompañadas de anotaciones que sean fruto de una investigación personal y hagan una aportación valiosa a su campo temático Las catalogaciones que no conlleven estudios históricos o artísticos Las transcripciones, si no van acompañadas de juicio crítico o análisis histórico del documento Los prólogos e introducciones formularios, que no superen la condición de simples avances de la obra prologada y carezcan de interés crítico per se Las actas de congresos.

23 Indicios calidad revistas científicas CNEAI, ANECA, ANEP Criterios CNEAI ANECA Se valorarán preferentemente los artículos incluidos en revistas recogidas en los Journal Citation Reports del Social Science Citation Index y el Science Citation Index (Institute for Scientific Information, -ISI-, Philadelphia, PA, USA) Sociología, Política, Educación, Economía, Psicología Inclusión de las revistas en bases de datos internacionales Sociología, Política, Educación, Economía, Geografía, Psicología: BD a determinar por el comité asesor, Econlit, Catálogo Latindex Historia: FRANCIS, International Bibliography of the Social Sciences (IBSS), Arts and Humanities Citation Index y Social Science Citation Index, Bibliography of the History of Arts (RLG), Historical Abstracts, International Medieval Bibliography, Index Islamicus, RILMS Abstracts of Music Literature, etc). Filosofía, Filología, Lingüística: Arts and Humanities Citation Index y el Social Science Citation Index y otras BD a determinar por el comité asesor, Library and Information Science Abstracts, Philosopher s Index, Répertoire Bibliographique, International BibliographyofPeriodicalLiteraturein Humanities and Social Sciences (IBZ), Bibliographie Linguistique/Linguistic Bibliography Satisfacer criterios de calidad editorial Sociología, Política, Educación, Economía, Geografía, Psicología, Derecho, Historia, Filosofía, Filología, Lingüística Clasificación alta en los listados del European Reference Index for the Humanities (ERIH) de la ESF Filosofía, Filología Lingüística ANEP

24 Criterios calidad revistas científicas CNEAI, ANECA, ANEP I Criterios CNEAI ANECA ANEP Identifica los miembros de los Comités Editoriales y Científicos Cuenta con Instrucciones a Autores detalladas Traduce el Sumario de cada número al inglés así como el título de los artículos, las palabras clave y los resúmenes Informa sobre el proceso que emplea para la evaluación y selección de manuscritos Declara la periodicidad y la cumple Utiliza el arbitraje científico en la evaluación de originales y lo cumple Declara emplear doble anonimato en la revisión externa y lo cumple Comunica a los autores la decisión editorial de forma motivada Cuenta con un Consejo de Redacción efectivo Cuenta con un Consejo Asesor efectivo

25 Criterios calidad revistas científicas CNEAI, ANECA, ANEP II Criterios CNEAI ANECA ANEP Al menos el 50% de los artículos son trabajos que comunican resultados de investigación originales Al menos el 80% de los autores son ajenos a los Comités Editoriales Al menos el 80% de los autores son ajenos a la organización editora / patrocinadora de la revista La tasa de aceptación de trabajos es igual o menor al 60% Está indexada en los JCR de las bases de datos de la Web of Knowledge de Thompson Scientific (SCI, SSCI Está recogida en la principal base de datos internacional de su especialidad (por ejemplo. CAB Abstracts, Sociological Abstracts, Historical Abstracts, Econlit, PsycINFO, Philosopher`s Index, MLA, ERIC ), o en catálogo Latindex, DICE Está recogida en la base de datos española del CSIC que le corresponda por su especialidad (ISOC, ICYT, IME)

26 Análisis calidad editorial Miden la calidad informativa, del proceso y la organización editorial, y la difusión y visibilidad Problemas de fiabilidad No existe información compilada y estandarizada Puede ser recogida sin control en la observación Problemas de validez Se basa en declaraciones y no en hechos comprobados Sus resultados no necesariamente correlacionan con los producidos por recuentos de citas o encuestas de opinión

27 Encuestas de opinión Miden la calidad percibida Problemas de fiabilidad Procedimiento reactivo: posible enmascaramiento y modificación de la opinión de los encuestados (escenario, deseabilidad social, aprehensión evaluativa, actuación investigador ) Problemas de validez Tasas de respuesta normalmente bajas Sesgos en las muestras: no representativas Tratamiento de la no respuesta Sus resultados suelen correlacionar con los producidos por recuentos de citas

28 La repercusión científica Los índices de impacto Miden la influencia intelectual, no la calidad Cobertura y fuentes procesadas: los resultados son directamente proporcionales al número y tipo de revistas procesadas. Son un simple promedio de las citas obtenidas por los artículos de una revista. No son representativos del artículo medio: distribución asimétrica de las citas. Dependen: Tamaño de las comunidades científicas: nº científicos Naturaleza y tipo de la disciplina científica: básica/aplicada Hábitos de publicación y prácticas de citación de las comunidades científicas: nº publicaciones por autor, nº referencias por artículo.. Tipos de trabajos publicados por la revista: revisiones, artículos, cartas Rapidez en la publicación de las revistas (ventana de citación) La fórmula de cálculo: numerador (citas) denominador (trabajos citables) Úsese el impacto observado (citas reales) y no el esperado (factor de impacto). Impactitis: La obsesión por ser citados conduce a malas prácticas y aviesos comportamientos. ( Los datos de citación deben ser cuidadosamente usados e interpretados y no deben reemplazar el juicio humano (expertos). Deben ayudar en la toma de decisiones

29 ÍNDICES DE IMPACTO REVISTAS ESPAÑOLAS DE CIENCIAS SOCIALES Y JUÍRIDICAS

30 Qué son? Índices bibliométricos Índices estadísticos basados en recuentos de referencias bibliográficas citadas en revistas científicas españolas a fin de medir el impacto de revistas, artículos, autores e instituciones españolas Convenciones internacionales: fórmula ISI Complementarios no sustitutivos: visión nacional versus internacional Índices de impacto Índices de citas Revistas científicas españolas Ciencias Sociales / Ciencias Jurídicas

31 Producción española en Ciencias Sociales y Humanidades ISOC versus ISI 6% Revistas ISI % Revistas españolas

32 Las cifras de IN-RECS/IN-RECJ Total IN-RECS IN-RECJ Periodo cubierto Revistas fuente (32) Revistas con impacto calculado Artículos citables Citas

33 Metodología Etapas del proyecto 1. Identificación población de revistas científicas españolas de ciencias sociales (± 600) y ciencias jurídicas (± 300) Fuentes: Latindex, Directorio español de revistas de Ciencias Sociales y Humanidades, Dialnet, Ulrich s, REBIUN

34 Metodología Etapas del proyecto 2. Distribución revistas por áreas de conocimiento Asegurar representación de todas las especialidades, entendiendo por tales las reflejadas en las ÁREAS DE CONOCIMIENTO Clasificaciones temáticas asignadas por las propias bases de datos: CDU, UNESCO, Ulrich s Clusters temáticos obtenidos por el método de las palabras asociadas Opinión investigadores Citas revistas

35 Metodología Etapas del proyecto 3. Selección de las revistas fuente: qué y cuántas revistas seleccionar para construir el índice de citas? - Por qué ser selectivos? Ley de Bradford - Número de revistas a procesar por área de conocimiento: Tamaño del campo: número de revistas de cada campo, tamaño literatura circulante, productividad, número de profesores revistas = 20% población revistas españolas Ciencias Sociales - 65 revistas / 32 revistas = 20/10% población revistas españolas Ciencias Jurídicas. - El endiablado sistema de citación bibliográfica en Derecho (cita-nota)

36 La Ley de Bradford en ISI (SCI 1988) Distribución citas-revistas

37 La Ley de Bradford en IN-RECS (2003) Distribución citas-revistas Distribución Bradford citas x mil Revistas Revistas 22 revistas (2%) reciben el 50% de las citas 72 revistas (7%) reciben el 75% de las citas

38 Metodología Etapas del proyecto Criterios de selección - Pervivencia o antigüedad Variable según disciplina: 6 a 9 años - Calidad editorial* - Empleo de un riguroso sistema de selección y evaluación de originales - Reputación y prestigio del editor y comités editoriales - Opinión profesores e investigadores españoles (calidad percibida) - Impacto científico de las revistas españolas a nivel internacional* * En Derecho no se han aplicado estos dos criterios

39 Introducción de las citas nacionales de las revistas Selección de revistas fuente por especialidades Carga de citas Sistemático Cálculo de impactos e indicadores Resultados en web /in-recs/ /in-recj/ Introducción de los artículos citables Título, Autor. Una vez al año Cindoc, Dialnet, Compludoc Psicodoc, revista... Carga en BD Servidor EC3 Linux Suse 9.2, base datos postgres, apache, php,... Tablas BD Carga en BD Carga de citas Sistemático Introducción de la producción de la revista por años Obtención e introducción de las citas ISI de las revistas Una vez al año Cindoc, Dialnet, revista electrónica o en papel Una vez al año

40 Prestaciones I Índice de impacto de las revistas Anual (INRECS: /IN-RECJ: ) y acumulativo (5 años/histórico: 9 y 13) Indicadores: artículos, citas (nacionales e ISI), citas por artículo, artículos muy citados, % artículos citados, curva de envejecimiento, tasa de autocitación, índice de coautoría. Información: Triángulo de citación, evolución de la revista (cuartiles), revistas citadas, artículos citados por la revista, artículos más citados de la revista, especialidades citantes, instituciones citantes, autores citantes, revistas citantes, artículos citantes, perfil bibliométrico: comparación revista / especialidad.

41 Artículos más citados de la especialidad Indicadores: total de citas, citas nacionales e ISI. Información: rtículos citados y citantes Autores más citados de la especialidad Indicadores: artículos publicados en revistas españolas, artículos publicados revistas primer cuartil, citas (nacionales e ISI), citas por artículo, artículos muy citados, % artículos citados, tasa de autocitación, índice H, índice de coautoría. Información: relación de coautores; autores citados y autores citantes; filiación autores con los que publica, filiación de los que cita (citados) y de los que le citan (citantes); revistas en las que publica, revistas que cita y que le citan; especialidades en las que publica, especialidades que cita y que le citan; años en los que publica, años que cita y que le citan; perfil bibliométrico: comparación autor / especialidad. Instituciones más citadas de la especialidad Indicadores: artículos publicados en revistas españolas, artículos publicados revistas primer cuartil, citas (nacionales e ISI), citas por artículo, artículos muy citados, % artículos citados, tasa de autocitación, índice H, índice de coautoría. Información: relación de instituciones con quien colabora (publica); instituciones citados y autores citantes; artículos más citados de la institución; artículos citados por la institución y artículos citantes; revistas en las que publica, revistas que cita y que le citan; años en los que publica, años que cita y que le citan; perfil bibliométrico: comparación institución / especialidad. Prestaciones II

42 Impacto revistas españolas de Ciencias Sociales y Jurídicas revistas (10%) concentran el 65% de las citas. 180 revistas (20%) concentran el 80% de las citas El 30% de las revistas han sido incapaces de obtener una sola cita en cinco años. El 59% de las revistas obtuvieron 5 citas en cinco años (1 por año) El 90% de las citas proceden de revistas españolas Sólo el 26% de los artículos son citados El número medio de citas por artículo es de 0,3

43 Revistas españolas de Ciencias Sociales y Humanas: Valoración integrada e índice de citas

44 Qué es? Bases de Datos Se presentan las bases de datos internacionales en las que la revista está recogida. Índice Valoración A+B Valoración de la revista en función de su contenido científico, a juicio del profesorado universitario y personal investigador del área: Índice Impacto Medio ( ) Criterios Latindex Evaluadores Externos Los originales son informados por expertos externos a la entidad editora la revista, antes de sen aceptados por el Consejo de Redacción. Periodicidad Cuando sus ejemplares se editan con un plazo que no supere el doble del anunciado Apertura exterior del Consejo Editorial o de Redacción Al menos un tercio (33%) de los miembros de su Consejo Editorial pertenece a instituciones diferentes a la entidad que edita la revista. Apertura exterior de los autores Al menos el 50% de ellas son de autores cuyas instituciones de trabajo son ajenas a la entidad editora de la revista de

45 1. Años de vida de la revista 20 años o más = 10 puntos de 10 a 19 años = 5 puntos de 5 a 9 años = 3 puntos 2. Cumplimiento de la periodicidad Sí cumple = 13 puntos No cumple = 0 puntos 3. Criterios Latindex 25 criterios o más = 13 puntos de 20 a 24 criterios = 9 puntos de 15 a 19 criterios = 5 puntos menos de 15 criterios = 0 puntos 4. Revisores externos Sí cuenta con revisores externos = 16 puntos No cuenta con revisores externos = 0 puntos 5. Índice A + B (Índice A+B x 16)/100 Ej.: Iv A+ B = 81,16 (81,16 x 16) /100 = 12,96 puntos Parámetros de calidad Puntuación máxima 1 Años vida de la revista 10 2 Cumplimiento de la periodicidad 13 3 Criterios Latindex 13 4 Revisores externos 16 5 Índice A + B 16 6 IIM 16 7 BBDD 16 Total 100 Tipo de base de datos A B C SD 7. Bases de Datos Especializada del área 6 3 1,5 0,75 Especializada en otra área 3 1,5 0,75 0,35 Multidisciplinar 6 3 1,5 0,75

46 Las cifras de RESH Total Revistas valoradas 939 Revistas citantes 208 Período cubierto para las citas

47 Subproducto de RESH elaborado para la ANECA Indicadores: Bases de Datos, Periodicidad, Evaluadores externos, Apertura consejo editorial, Apertura revista

48 Futuro Sistema de evaluación integrada de revistas españolas OPINIÓN PARES CALIDAD EDITORIAL ÍNDICES DE IMPACTO CNEAI ANECA ANEP Agencias autonómicas Plan Nacional I+D+I ( ). SEJ CO2-01/SOCI

49 Catálogo Latindex Sistema Regional de Información en Línea para Revistas Científicas de América Latina, el Caribe, España y Portugal Selección de revistas que han sido clasificadas conforme la aplicación de una serie de criterios de calidad editorial probados y convenidos por el Sistema Latindex

50 Las cifras del Catálogo Latindex Total Período cubierto Revistas incluidas Arte y Humanidades 511 Ciencias Sociales Revistas españolas 1.077

51 Criterios y metodología de evaluación Para ser ingresadas al Catálogo, las revistas deben cumplir con todas las características básicas y con al menos 17 de los restantes parámetros listados. Globalmente cada revista debe cubrir 25 parámetros. Estas características son certificadas mediante revisión de los tres últimos fascículos publicados de cada revista Características básicas Características de presentación de la revista 1 Mención del cuerpo Editorial 2 Contenido 3 Antigüedad mínima 1 año 4 Identificación de los autores 5 Lugar de edición 6 Entidad editora 7 Mención del Director 8 Mención de la Dirección Páginas de presentación Mención de periodicidad Tabla de contenidos (Indice) Membrete bibliográfico al inicio del artículo Membrete bibliográfico en cada página Miembros del consejo editorial Afiliación institucional de los miembros del consejo editorial Afiliación de los autores Recepción y aceptación de originales

52 Criterios y metodología de evaluación II Características de gestión y política editorial Características de los contenidos ISSN Definición de la revista Sistema de arbitraje Evaluadores externos Autores externos Apertura editorial Servicios de información Cumplimiento de periodicidad 26 Contenido original 27 Instrucciones a los autores 28 Elaboración de las referencias bibliográficas 29 Exigencia de originalidad 30 Resumen 31 Resumen en dos idiomas 32 Palabras clave 33 Palabras clave en dos idiomas

53 ERIH European Reference Index for the Humanities Listas de buenas revistas europeas de investigación en Humanidades Creación paneles de expertos en 15 disciplinas Criterios La selección de los artículos debe basarse en una política de revisión objetiva (peer-review) Cumplimiento normas básicas de publicación ISSN Periodicidad: puntualidad en la aparición Normalización referencias bibliográficas Dirección completa filiación autores...

54 ERIH European Reference Index for the Humanities Categoría A (10-25% de todos los títulos): Nivel muy alto de internacionalidad Alta reputación entre los investigadores de un campo Regularmente citada en todo el mundo Category B: Nivel medio de internacionalidad Buena reputación entre los investigadores de un campo Category C: Publicaciones europeas Publicaciones de nivel local o regional Audiencia local o regional pero con citas fuera de su país de publicación Internacionalidad: Procedencia autores y lectores de ámbito internacional, elevado control del contenido científico (peer review), amplio consenso en el campo sobre su estatus y visibilidad internacional, comité editorial internacional, muy selectivo en la publicación, estricta puntualidad en la publicación

55 ERIH European Reference Index for the Humanities Marzo de 2007: 7 listas publicadas (Anthropology, Gender Studies, History and Philosophy of Science, Linguistics, Musicology, Philosophy, Religious Studies and Theology) Junio de 2007: 4 listas (Archaeology, Classical Studies, History, Pedagogical & Educational Research) Octubre 2007: 4 listas (Art & Art History, Literature, Oriental & African Studies, Psychology)

56 European Reference Index for the Humanities Algunos resultados España Principales paise Arqueología 10 2,4 UK (20%), Finlandia (10,5), Dinamarca (10) Estudios clásicos 23 9,1 Italia (26,3), Dinamarca (13,5), Francia (9,6) Hª y Filosofia de la ciencia 8 4,2 UK (20,5), USA (18,1), Holanda (13,9) Filosofia 11 3,6 UK (16,7), USA (15,7), Holanda (14,7), Dinamarca (12,7)

57 Las bases de datos de Thomson Scientific Productor: Thomson Scientific (antiguo ISI) WOS (Web of Science): Resultado de la unión de tres bases de datos bibliográficas Science Citation Index (SCI) Social Science Citation Index (SSCI) Arts & Humanities Citation Index (A&HCI) revistas en el WOS 1 millón artículos/año. 35 millones desde 1900 hasta hoy 25 millones de referencias bibliográficas/año

58 Lagunas bases de datos ISI Sesgo a favor de las ciencias básicas y experimentales: 61% Ciencia y Tecnología 21% Ciencias Sociales 18% Humanidades Sesgo a favor de las publicaciones anglosajonas Infrarepresentación de la ciencia española No indiza ninguna revista de las 323 revistas españolas de Ciencias Jurídicas Indiza sólo 12 de las 600 revistas científicas españolas de Ciencias Sociales

59 España en el Web of Science Revistas Españolas WOS Trabajos Españoles WOS Revistas Trabajos >1995 >2000 > > > > Años Periodos

60 H. Moed 2007 Metrics for the Humanities? How do existing and emerging systems deal with Humanities? The future of research assessment exercises lies in the intelligent combination of metrics and peer review ERIH Stakeholder meeting: Making quality visible: A European Reference Index for the Humanities (ERIH) to better access and assess European Humanities research. European Science Foundation (ESF) / EC3: Evaluación de la ciencia y de la comunicación científica. Universidad de Granada. Granada November 2007.

61 Universidades públicas Distribución porcentual de los profesores numerarios por tramos de investigación y grandes áreas ( ) Nunca presentado Evaluado y no concedido Total sin tramos HUMANIDADES CIENCIAS SOCIALES Y JURÍDICAS CIENCIAS EXPERIMENTALES CIENCIAS DE LA SALUD TECNOLOGÍA E INGENIERÍA NACIONAL Fuente de datos: CNEAI

62 Universidades públicas Distribución porcentual de los profesores numerarios por tramos de investigación y campos científicos ( ) Fuente de datos: CNEAI Nunca presentado Evaluado y no concedido Total sin tramos MATEMÁTICAS Y FÍSICA QUÍMICA BIOLOGÍA CELULAR Y MOLECULAR CIENCIAS BIOMÉDICAS CIENCIAS DE LA NATURALEZA INGENIERÍAS Y ARQUITECTURA CIENCIAS SOCIALES, POLÍTICAS, DEL COMPORTAMIENTO Y DE LA EDUCACIÓN CIENCIAS ECONÓMICAS Y EMPRESARIALES DERECHO Y JURISPRUDENCIA HISTORIA Y ARTE FILOSOFÍA, FILOLOGÍA Y LINGÜÍSTICA