Evaluación de la actividad investigadora española: luces y sombras

Transcripción

1 Centro Mediterráneo Universidad de Granada La evaluación n en la ciencia Motril 21-25/09/ /09/1998 Evaluación de la actividad investigadora española: luces y sombras Emilio Delgado López-Cózar Profesor Técnicas Documentales aplicadas a la Investigación y Metodología del Trabajo Intelectual Departamento de Biblioteconomía y Documentación Universidad de Granada

2 Axiomas previos Necesidad evaluación rendimiento y calidad actividad investigadora Impacto social de la ciencia Recursos escasos En ciencia no todos somos iguales Tema polémico Tema trascendente Condiciona la orientación de la investigación de un país Condiciona la promoción profesional Condiciona la posibilidad de investigar Otorga reconocimiento personal y social

3 Axiomas previos El sistema de evaluación El mejor sistema es el menos malo No existen fórmulas mágicas Dificultad evaluar producción científica Qué es y cómo se mide la calidad científica? Objeto multidimensional El conocimiento científico no es objetivable Un buen sistema de evaluación es como un buen traje: debe estar hecho a medida Los métodos de evaluación más objetivos (los bibliométricos) son los menos relevantes mientras que los menos objetivos (evaluación por pares) son los más relevantes

4 Evaluación actividad investigadora en España Desde cuándo? Antecedentes Para qué se evalúa? Qué se evalúa? Con qué criterios? Cómo y quién evalúa? Controles Los resultados Los defectos Las consecuencias Las propuestas

5 Desde cuándo? Antecedentes Ley de Reforma Universitaria 1983 Ley 13/1986 de Fomento y Coordinación General de la Investigación Científica y Técnica Necesidad medidas para el fomento de la productividad del personal investigador Estudio UAB para el MEC sobre modelo retributivo profesores universitarios españoles: Modelo retributivo estrecho Buenos salarios profesores que inician su carrera docente y malos para los que la finalizan Real Decreto 1086/1989 sobre Retribuciones del Profesorado de Universidad Introducción complemento productividad Introducción complemento por méritos docentes Creación panel científicos a iniciativa del MEC para fijar procedimiento evaluación: Evaluación por pares Evalación individualizada por comités campos científicos con sus propios criterios evaluativos

6 Desde cuándo? Antecedentes Creación de la Comisión Nacional de Evaluación de la Actividad Investigadora Orden de 28 de diciembre de 1989 Aprobación procedimiento evaluación Orden 5 de febrero de 1990 Primera evaluación 1990 Cambios y matizaciones y desarrollos parciales procedimiento evaluación Orden de 3 de noviembre de 1989 Orden 3 de diciembre de 1992 Nuevo procedimiento de evaluación. Órdenes de 2 y 5 de diciembre de 1994 Aprobación criterios específicos en los campos de evaluación de la actividad investigadora (Resolución 6 de noviembre de 1996)

7 Para qué se evalúa? Incentivar la actividad docente e investigadora individualizada de los profesores universitarios e investigadores del CSIC Estimular la calidad en el desempeño de la actividad docente e investigadora Premiar individualmente a quiénes realizan un esfuerzo por conseguirlo No se trata de aprobar o suspender la labor investigadora de un profesor, sino incentivar, premiar un trabajo Mejorar la difusión nacional e internacional de la producción científica española

8 Qué se evalúa? Las cinco aportaciones más relevantes de un investigador en un período de 6 años Aportaciones ordinarias: Libros, capítulos de libros, prólogos, introducciones y anotaciones de textos Artículos en revistas científicas Patentes y modelos de utilidad Aportaciones extraordinarias: Informes, estudios y dictámenes Trabajos técnicos y artísticos Participación en exposiciones, excavaciones arqueológicas y catalogaciones de reconocido prestigio Dirección de tesis doctorales de méritos excepcionales Comunicaciones a congresos, como excepción Se evaluarán fundamentalmente las aportaciones ordinarias. Las extraordinarias tienen carácter complementario, salvo circunstancias especiales

9 Cómo se evalúa? Procedimiento Solicitud voluntaria Adscripción solicitud a campo científico. Solicitante sugiere, CNEAI decide Juicio técnico no vinculante emitido por el Comité Asesor o especialista ad hoc El juicio se expresará en términos numéricos de 0 a 10 puntos. Evaluación positiva: mínimo 6 puntos Deberán ser valoradas positivamente las 5 aportaciones, excepto si algunas de ellas son de gran calidad y poseen alta difusión CNEAI decide a la vista del informe Notificación personal y directamente al solicitante

10 Quién evalúa? Órgano evaluador: Comisión Nacional Evaluadora de la Actividad Investigadora. Composición Director General de Investigación Científica y Técnica Un representante por cada CCAA con competencias Siete representantes MEC designados por SEUI Órganos asesores: Comités Asesores: 11 campos científicos: Matemáticas y Física, Química, Biología Celular y Molecular, Ciencias Biomédicas, Ciencias de la Naturaleza, Ingenierías y Arquitectura, Ciencias Sociales / Económicas /Políticas / Comportamiento y Educación, Ciencias Económicas y Empresariales, Derecho y Jurisprudencia, Historia y Arte, Filosofía/Filología /Lingüística Composición: Investigadores de reconocido prestigio con al menos tres tramos de investigación concedidos. Especialistas ad hoc, cuando sean necesarios en función de la especificidad de las aportaciones.

11 Con qué criterios? Criterios de evaluación - Principios generales - Principios específicos según campos de conocimiento

12 Principios generales La contribución al progreso del conocimiento, la innovación y creatividad Se primarán los trabajos formalmente científicos o innovadores, frente a los meramente descriptivos, a los que sean simple aplicación de los conocimientos establecidos o a los de carácter divulgativo No se valorarán los trabajos meramente descriptivos o las reiteraciones de trabajos previos, salvo en los casos en que contribuyan claramente a la consolidación del conocimiento

13 Principios específicos Matemáticas, Física, Química, Biología Celular/Molecular, Biomedicina Sólo aportaciones ordinarias Ciencias de la Naturaleza Trabajos de investigación Trabajos descriptivos del medio natural que sean de interés social incuestionable Ingeniería y Arquitectura Trabajos de investigación Trabajos de desarrollo técnico. En función: Interés para el sector productivo o institucional No servicios o aplicaciones de conocimientos establecidos Trabajos de creación artística. Deberán: Repercusión medible en su entorno Tener amplio reconocimiento

14 Principios específicos Ciencias Sociales, Políticas, del Comportamiento y Educación Sólo aportaciones ordinarias Excepcionalmente estudios, informes, dictámenes en función de que: El tema tratado sea importante desde una perspectiva nacional/regional o ayude a la solución de problemas en las administraciones públicas o empresas Posean rigor científico No sean una mera aplicación Ciencias Económicas y Empresariales Fundamentalmente ordinarias y excepcionalmente extraordinarias También estudios, informes, dictámenes con los mismos requisitos del área anterior

15 Derecho y Jurisprudencia Fundamentalmente ordinarias y excepcionalmente extraordinarias También se considerarán: Monografías que se reconozcan como obras de referencias de difusión generalizada Manuales si suponen un progreso en la organización de un campo de conocimiento Los textos legislativos y jurisprudenciales que ofrezcan soluciones a problemas de interpretación, lagunas y contradicciones del ordenamiento jurídico español Los análisis de jurisprudencia que se basen en un conjunto de sentencias sobre un tema o temas conexos, que esclarezcan criterios de actuación de los tribunales y comentarios sobre sentencias especialmente relevantes para el entendimiento y posterior aplicación del derecho No se considerarán: Libros de texto, programas, apuntes, supuestos... Ediciones de textos o traducciones salvo que estén precedidas de estudios preliminares Recopilaciones legislativas Glosas de sentencias Dictámenes y proyectos que no sean de público conocimiento Se valorarán preferentemente los trabajos que: Constituyan una aportación original de carácter doctrinal, teórico o conceptual que hayan tenido repercusión nacional o internacional Desarrollen nuevas perspectivas de la ciencia jurídica, basadas en estudios doctrinales, legislativos y jurisprudcenciales de derecho comparado

16 Historia y Arte Fundamentalmente ordinarias y excepcionalmente extraordinarias Se valorarán preferentemente los estudios analíticos y comparados frente a los descriptivos No se considerarán Libros de texto, apuntes, obras de divulgación o artículos de opinión Ediciones de textos o traducciones salvo que estén precedidas de estudios preliminares Meras catalogaciones sin estudios históricos o artísticos Meras transcripciones sin juicio crítico y análisis histórico Prólogos o introducciones que sean meros resúmenes o descripciones de la obra Trabajos localistas

17 Filosofía, Filología y Lingüística Fundamentalmente ordinarias y excepcionalmente extraordinarias No se considerarán: Libros de texto o apuntes Artículos de opinión Obras de divulgación Antologías o diccionarios comunes Ediciones de textos o traducciones salvo que estén precedidas de estudios preliminares Manuales salvo que supongan un progreso en la organización de un campo de conocimiento

18 Indicios de calidad Relevancia científica del medio de difusión en el que se haya publicado cada aportación Citas recibidas de otros autores Apreciación del propio investigador sobre la contribución de su obra Datos sobre la explotación de patentes Reseñas en revistas especializadas

19 Indicios calidad revistas científicas Las que ocupan posiciones relevantes en los listados del JCR del SCI y SSCI (Matemáticas y Física, Química, Biología Celular y Molecular, Ciencias Biomédicas, Ciencias de la Naturaleza, Ingenierías y Arquitecturas, Ciencias Sociales, Económicas) Aquellas que cuenten con Comité editorial formado por especialistas de reconocido prestigio en su materia Un riguroso proceso de evaluación de manuscritos (Ciencias Sociales, Económicas, Historia, Arte, Filosofía, Filología y Lingüística) Revistas incluidas en bases de datos o repertorios bibliográficos de prestigio (Philosopher s Index) (Filosofía, Filología y Lingüística) CNEAI elabora listados de revistas de calidad

20 Indicios de calidad complementarios Importancia del tema del trabajo, que deberá ser equivalente a los que se publican normalmente en las revistas descritas en el punto anterior Rigor en el planteamiento y desarrollo del trabajo Importancia de los resultados, analizados por el impacto científico medible

21 Controles Publicación en BOE nombres de los integrantes Comités Asesores Recusación miembros comités evaluación Informe motivado: inclusión de los informes emitidos por los Comités asesores o especialistas Recursos en tribunales ordinarios

22 Gráfico 1 Resultados globales evaluación investigadores españoles ( ) ,0 Tramos concedidos 78,6 Tramos solicitados

23 Gráfico 2 Resultados evaluación investigadores españoles ( ) % Tramos concedidos Tramos solicitados

24 ,6 Gráfico 3 Tramos presentados investigadores españoles ( ) Distribución campos científicos 87,9 79,6 80,4 81,6 83,9 74,3 78,4 76,0 73,0 73,1 Química Biología Celular/Molecular Biomedicina Ciencias de la Naturaleza Ingenierías/Arquitectura Ciencias Sociales Ciencias Económicas Derecho Historia/Arte Filosofía/Filología Matemáticas/Física

25 Gráfico 4 Tramos concecidos investigadores españoles ( ) Distribución campos científicos 81 80,3 85,1 70,3 70,4 59,1 57,6 58,6 73,6 68,4 65,3 Historia/Arte Filosofía/Filología Matemáticas/Física Química Biología Celular/Molecular Biomedicina Ciencias de la Naturaleza Ingenierías/Arquitectura Ciencias Sociales Ciencias Económicas Derecho

26 Gráfico 5 Comparación tramos concedidos y presentados por campos científicos ( ) % Tramos concedidos Tramos presentados

27 Gráfico 6 Comparación tramos concedidos y presentados por áreas científicas ( ) ,4 79,1 76, ,2 66,8 60 % Ciencia y Tecnología Ciencias sociales Humanidades Tramos concedidos Tramos presentados

28 Gráfico 10 Número de áreas por campo científico Nº áreas Campos científicos

29 Gráfico 11 Comparación heterogeneidad de los campos científicos ccon tasas de presentación y éxito de tramos de investigación Campos Número de áreas por campo científico Tramos solicitados Tramos concedidos

30 Los defectos Sólo mide outputs Los evaluadores: son realmente pares? No es realmente externo Produce sesgos Conflictos de intereses Efecto Mateo La difusión no es un indicador de calidad Uso acrítico del factor impacto: la impactolatría

31 El factor impacto ese oscuro objeto del deseo Cita = Calidad Más citas = Más calidad? El FI se calcula a partir del SCI: esta BD no representa la producción científica española en su conjunto El FI de una revista no es estadísticamente representativo de los artículos individuales No existe correlación entre impacto de la revista y tasa de citación de los artículos de científicos individuales o grupos de investigación El FI es calculado por procedimientos que causan sesgos

32 Las consecuencias Se acabó el café para todos: un estímulo ante la atonía universitaria Mejora en la calidad y rigor de los trabajos La publicación como problema: el síndrome de publicar. La grafomanía Publica o Perece Perecer por Publicar Investigar para Publicar Publicar para Investigar Investigar lo publicable: Modificación en los temas de investigación Cambios en los hábitos de publicación: la emigración Deficiente conexión de la ciencia española De los científicos españoles entre sí De los científicos y los profesionales

33 Artículos científicos producidos por España SCI-E SCI-CD Trabajos Años

34 % Participación en SCI 2,5 % 2 1,5 % 1 0, Años

35 DATOS DE PRODUCCIÓN E I+D DE EUROPA OCC Producción Inversiones en I+D TRABAJOS AL RU FR IT HO ES SU BE DI GR IR PO

36 20000 AUTORES CIENTÍFICOS Y PRODUCTIVIDAD POBLACIÓN AUTORES TRAB/ AUT TRABAJOS AL RU FR IT HO ES SU BE DI GR IR PO

37 Las consecuencias Aumento comportamientos antiéticos: Autoría: el autor fantasma Publicación duplicada Publicación esterilizante: el eterno bucle Publicación múltiple o salami Plagio Inmadurez resultados Publicación fraudulenta: falseamiento de datos Destrucción del español como lengua científica y de las revistas españolas como medios de comunicación Abandono o descuido de la docencia

38 Las propuestas Obtener el respaldo de la comunidad científica objeto de evaluación Tener en cuenta opinión investigadores (encuestas) Tener en cuenta opinión expertos en política y evaluación científica Compensar la evaluación por pares con técnicas bibliométricas Creación índice de citas de la producción científica española Utilización Factor de Impacto observado Mantenimiento de las bases de datos nacionales Evaluación imputs (recursos de investigación). Relación recursos/resultados

39 Las propuestas Monitorización proceso de evaluación Evaluación de los evaluadores y del proceso de evaluación Participación de Administración, Evaluadores e Investigadores Mejora herramientas evaluación Más evaluadores: nacionales e internacionales Elaboración protocolos de evaluación: más ítemes, escalas de valor, conjunción juicios cuantitativos y cualitativos Mayor transparencia y difusión del proceso de evaluación: Criterios de evaluación, procedimiento, aplicación Evaluadores: criterios de selección Publicidad de los resultados No postergar la publicación en revistas españolas que cumplan estándares editoriales

40 Tabla 1 Número de documentos producidos en Biomedicina en el mundo y España según el Science Citation Index y el Índice Médico Español ( ) Total mundial SCI España SCI España IME Total

41 Gráfico 7 Comparación de la producción biomédica española indizada en el Índice Médico Español con la indizada en el Science Citation Index ( ) ,2 22,2 23,1 20,2 17,6 20,2 23,6 21, ,1 % Documentos

42 Comparativa según FI UNIVERSIDAD SANIDAD CSIC ,16 1,84 1, ,87 1,93 1,48

43 La citación España Producción Citas esperadas 29 77% 24 78% Citas observadas 26 57% 26 56% Biomedicina Producción Citas esperadas 20 77% 20 75% Citas observadas 24 54% 27 49%

44 Autores vs citas N Eng J Med Autores Citas Autores / citas >

45 Gráfico 8 Número de documentos indizados en el Índice Médico Español ( )

46 Cobertura artículos españoles en bases de datos IME SCI-cd MEDLINE Trabajos Años