EL IMPACTO DE LA EVALUACIÓN DE LA INVESTIGACIÓN EN LAS POLITICAS DE I+D+i DE CASTILLA Y LEÓN

Transcripción

1 EL IMPACTO DE LA EVALUACIÓN DE LA INVESTIGACIÓN EN LAS POLITICAS DE I+D+i DE CASTILLA Y LEÓN 1

2 INTRODUCCIÓN La Estrategia de Investigación Científica, Desarrollo Tecnológico e Innovación de la Comunidad Autónoma de Castilla y León (España) tiene entre sus objetivos adecuar la financiación de la I+D+i a las necesidades de los diferentes agentes del sistema de ciencia y tecnología regionales, movilizando de la manera más eficiente posible los recursos económicos disponibles. La Agencia para la Calidad del Sistema Universitario de Castilla y León (ACSUCyL) contribuye a la consecución de este objetivo evaluando los proyectos de investigación que presentan los investigadores a las convocatorias en régimen de concurrencia competitiva que Castilla y León promueve, para asignar de manera óptima la financiación pública de la actividad investigadora. La adecuada evaluación de los proyectos presentados por investigadores que aporten una trayectoria científica excelente, con un impacto potencial relevante y alineado con las prioridades establecidas en los diferentes planes y estrategias vigentes en el ámbito regional, nacional y europeo, contribuye a integrar a la comunidad científica de Castilla y León dentro del Espacio Europeo de Investigación. ACSUCyL contribuye de esta manera a facilitar la participación de los investigadores de Castilla y León en el futuro Programa Marco de Investigación e Innovación (Horizonte 2020). El acceso a dichos fondos es un objetivo a conseguir por parte de los grupos de investigación de Castilla y León para fomentar su actividad investigadora. Las evaluaciones de los proyectos de investigación realizadas por ACSUCyL contribuye también a promover y garantizar la eficiencia del sistema de I+D+i de Castilla y León, primando la colaboración entre grupos de investigación y organismos, la utilización de los medios y recursos disponibles para investigación de manera conjunta, y la difusión, a través de canales públicos y abiertos, de los avances científicos logrados a través de la actividad investigadora financiada con fondos públicos. CONTEXTO En los últimos seis años ACSUCyL ha evaluado de 1933 solicitudes de programas y proyectos investigación presentados por Grupos de Investigación de Excelencia, Grupos Estables de Investigación o Grupos Noveles presentes en Castilla y León, en siete convocatorias públicas destinadas a la financiación de programas y proyectos investigación. 2

3 El número de solicitudes presentadas ha variado sensiblemente de unas convocatorias a otras, como se puede observar en la siguiente gráfica. Globalmente en este periodo, el 59% de las solicitudes de los proyectos y programas evaluados han correspondido, en una proporción similar, a investigadores vinculados con las dos Universidades de mayor tamaño de Castilla y León (Salamanca y Valladolid); el 26% han sido programas y proyectos de investigadores pertenecientes a las otras dos Universidades Públicas de Castilla y León (Burgos y León); el 9% a solicitudes presentadas por centros o institutos de investigación (la mayoría vinculados al CSIC), y Hospitales públicos; y, finalmente, un 6% a proyectos de las Universidades Privadas presentes en esta Comunidad Autónoma EVOLUCIÓN DEL Nº DE SOLICITUDES DE PROGRAMAS Y PROYECTOS EVALUADAS POR ACSUCYL QUE SE HAN PRESENTADO A LAS CONVOCATORIAS DE LA DGUI DE CASTILLA Y LEÓN EN EL PERIODO (POR ENTIDADES SOLICITANTES) PROGRA08y09 PROY09 PROY10 PROY11 PROY12 PROY Univ. Privadas CSIC/Hosp/C.Inv. Univ. de Valladolid Univ. de Salamanca Univ. de León Univ. de Burgos El número de proyectos evaluados, tomando en consideración los grandes campos de conocimiento, muestra un menor grado de variabilidad entre las diferentes convocatorias. En conjunto, un tercio de las solicitudes han correspondido a programas y proyectos de las áreas de Humanidades y CC. Sociales y Jurídicas; algo más de otro tercio a las áreas de Ciencias Experimentales y Biosanitarias; y un último, un poco menos de un tercio a solicitudes de proyectos y programas pertenecientes a los campos de la Ingeniería y la Tecnología. 3

4 EVOLUCIÓN DEL Nº DE SOLICITUDES DE PROGRAMAS Y PROYECTOS EVALUADAS POR ACSUCYL QUE SE HAN PRESENTADO A LAS CONVOCATORIAS DE LA DGUI DE CASTILLA Y LEÓN EN EL PERIODO (POR CAMPOS DE CONOCIMIENTO) PROGRA08y09 PROY09 PROY10 PROY11 PROY12 PROY CC. Biosanitarias Tecnologías de la Vida Ingeniería y Arquitectura CC. Experimentales CC. Sociales y Jurídicas Humanidades Áreas de conocimiento incluidas en los campos científicos: Humanidades: Áreas de Filología, Traducción, Filosofía, Historia, Arte, Geografía. CC. Sociales y Jurídicas: Áreas de Economía, Derecho, Ciencias Políticas, Psicología, Sociología, Educación, Periodismo, Comunicación, Documentación, Geografía Humana. CC. Experimentales: Áreas de Matemáticas, Física, Química, Geología, Ciencias de la Tierra y del Espacio, Biología Vegetal y Animal, Ecología. Ingeniería y Arquitectura: Áreas de Ingeniería (Eléctrica, Electrónica, Automática, Telecomunicaciones, Informática), Tecnología de Materiales, Ingeniería Civil, Arquitectura. Tecnologías de la Vida: Áreas de Tecnología Química, Ciencia y Tecnología de los Alimentos, Ingeniería Agraria y Forestal, Producción Animal, Sanidad Animal. CC. Biosanitarias: Áreas de Biomedicina, Medicina Clínica, Ciencias de la Salud, Biología Fundamental y de Sistemas. ACSUCyL a su vez, en estos años, ha realizado la evaluación Expost de 974 programas y proyectos de investigación 1 que han sido financiados a través de seis de las anteriores convocatorias. 1 La duración habitual de los proyectos de investigación financiados es de tres anualidades. 4

5 EVALUACIONES EXPOST, REALIZADAS POR ACSUCYL, DE PROYECTOS Y PROGRAMAS DE INVESTIGACIÓN FINANCIADOS POR LA DGUI DE LA JUNTA DE CASTILLA Y LEÓN (POR CAMPOS CIENTÍFICOS Y CONVOCATORIAS) Expost06 Expost07 Expost08 ExpostGIE Expost09 Expost10 CC. Biosanitarias Tecnologías de la Vida Ingeniería y Arquitectura CC. Experimentales CC. Sociales y Jurídicas Humanidades En la evaluación Ex-Ante y Ex-Post que realiza ACSUCyL de cada proyecto interviene un panel de dos expertos en la temática del mismo ( evaluación por pares ). Cuando existe una discrepancia entre sus evaluaciones superior al 10%, interviene también un "Coordinador de Área", responsable de elaborar una propuesta de informe de evaluación a partir de los informes previos emitidos por los expertos. Finalmente, es la "Comisión de Evaluación de la Investigación (CEI)" de ACSUCyL, el órgano responsable de coordinar el proceso y de emitir los informes finales de evaluación. LA EVALUACIÓN DE LOS PROYECTOS DE INVESTIGACIÓN A continuación se va a mostrar cómo el proceso de evaluación de los proyectos de investigación realizado por ACSUCyL reúne las características necesarias que le permiten ser uno de los garantes de la eficiencia del sistema de I+D+i de Castilla y León. Para ello, vamos a centrar el análisis en cinco dimensiones o elementos del proceso de evaluación: 1. La selección de evaluadores. 2. Las discrepancias entre los evaluadores. 3. El grado de discriminación de las evaluaciones. 4. Las características de los informes de evaluación.la satisfacción de los agentes que intervienen en los procesos de evaluación. 5

6 1. LA SELECCIÓN DE EVALUADORES. Un objetivo fundamental del proceso de evaluación de los programas y proyectos de investigación que realiza ACSUCYL es garantizar una evaluación lo más objetiva y equilibrada posibles. Para ello, ha establecido un procedimiento acorde con las prácticas más consensuadas en el ámbito de la evaluación científica. Para garantizar la independencia de las evaluaciones, ACSUCYL selecciona a todos los evaluadores que intervienen en el proceso fuera de la Comunidad de Castilla y León, y les pide que firmen su Código Ético. En el conjunto de todas estas evaluaciones han participado un total de 2852 expertos distintos. El 26% de los informes externos han sido realizados por investigadores que trabajan en la Comunidad de Madrid; el 17% por investigadores de Cataluña; un 14% por expertos andaluces; y el 43% por investigadores distribuidos por el resto de Comunidades Autónomas o por investigadores extranjeros. Galicia 6% PROCEDENCIA DE LOS EXPERTOS EXTERNOS QUE HAN COLABORADO CON ACSUCYL EN LA EVALUACIÓN DE PROGRAMAS Y PROYECTOS DE INVESTIGACIÓN País Vasco 4% Otras CC.AA Asturias 13% 4% Aragón 5% Valencia 11% Ancalucía 14% Madrid 26% Cataluña 17% En correspondencia con esta distribución, la procedencia de los evaluadores externos, atendiendo a las entidades donde desarrollan su actividad profesional, es muy variada. El mayor número de informes realizados para ACSUCyL procede de investigadores vinculados al CSIC (un 11%), el resto se distribuye de manera relativamente homogénea entre investigadores de las diferentes Universidades españolas, Hospitales y centros de investigación de diferente naturaleza. 6

7 Univer. Granada 4% Univer. Zaragoza 4% Univer. València 5% Univer. Barcelona 5% PROCEDENCIA INSTITUCIONAL DE LOS EXPERTOS EXTERNOS QUE HAN COLABORADO CON ACSUCYL EN LA EVALUACIÓN DE PROGRAMAS Y CSIC 11% PROYECTOS DE INVESTIGACIÓN Otras entidades 6% Otras Universidades 58% Univer. Complutense 7% La idoneidad de los evaluadores externos está acreditada por su currículum vitae, por ser especialistas en la materia del proyecto que valoran (el 96% de los evaluadores afirman haber evaluado proyectos bastante o muy afines a su especialidad,) y por haber colaborado con otras Agencias de evaluación (en el 98% de los casos). De modo que todos ellos cuentan con trayectorias profesionales y méritos que les permiten tener reconocidos al menos dos tramos de investigación (un reconocimiento de la calidad de su actividad investigadora durante un periodo de al menos 12 años), en caso de no tenerlos, reúnen méritos relevantes en el campo de los proyectos que evalúan. No obstante, para garantizar aún más la adecuación de las evaluaciones, los Coordinadores de Área y la CEI de ACSUCYL realizan una valoración de la calidad de los informes realizados por los Paneles Científicos, de la que se desprende que solo un 8,5% de sus informes cabe calificarlos de deficientes o cuestionables. 2. LAS DISCREPANCIAS ENTRE LOS EVALUADORES. La evaluación por pares (peer review) conlleva la presencia de discrepancias entre los evaluadores. En el conjunto de evaluaciones exante y expost realizadas por ACSUCyL en los últimos seis años, la desviación típica entre evaluaciones ha sido igual o superior a 1 en el 8,5% de las mismas. Los coeficientes de fiabilidad o consistencia derivados del análisis de varianza entre evaluadores indican que esta es, no obstante, elevada. Por ejemplo, la alpha de Cronbasch se sitúa por encima del 0,8 sobre 1 en todos los proceso de evaluación. 7

8 >0,75 y <1 8% DESVIACIÓN TÍPICA ENTRE LAS VALORACIONES REALIZADAS POR LOS EXPERTOS QUE HAN COLABORADO CON ACSUCYL EN LA EVALUACIÓN EXANTE Y EXPOST DE PROGRAMAS Y PROYECTOS DE INVESTIGACIÓN >1,25 y <1,5 > 1,5 >1 y <1,25 2% 2% 4% >0,5 y <0,75 15% >0,25 y <0,5 24% < 0,25 45% Los Coordinadores de Área y la CEI de ACSUCyL analizan las discrepancias entre las valoraciones realizadas por los evaluadores, para corregir posibles sesgos y armonizarlas. Esto requiere que ACSUCyL garantice su independencia, para ello adopta dos tipos de medidas. Unas orientadas a que los Coordinadores realicen una evaluación ciega (sin conocer la autoría de los informes elaborados por los expertos; y otras, orientadas a garantizar una cierta distancia entre el evaluador y el evaluado, intentando evitar una concentración de los mismos en un mismo espacio geográfico y/o Institución. Así, los 37 Coordinadores que han colaborado con ACSUCYL en estos últimos seis años, realizan su actividad profesional fuera de Castilla y León, en las diferentes Comunidades Autónomas españolas, vinculados a 24 instituciones diferentes. 3. EL GRADO DE DISCRIMINACIÓN DE LAS EVALUACIONES. Los resultados de las evaluaciones de los programas y proyectos de investigación reflejan la adecuación del proceso evaluativo, al discriminar de manera clara la calidad de los proyectos, tanto cuantitativa como cualitativamente, como se puede observar en el siguiente gráfico. Se han analizado también las diferencias entre el peso previsto en cada uno de los criterios contemplados en cada proceso de evaluación, y el que efectivamente tienen finalmente respecto de las puntuaciones totales, y se ha comprobado que no son significativas. Lo que confirma que la evaluación se ajusta a los criterios que se fijan en las convocatorias. 8

9 RESULTADOS DE LA EVALUACIÓN REALIZADA POR ACSUCYL DE LAS SOLICITUDES DE PROGRAMAS Y PROYECTOS DE INVESTIGACIÓN QUE SE HAN PRESENTADO A CONVATORIAS DE LA DGUI DE LA JUNTA DE CASTILLA Y LEÓN (POR CONVOCATORIAS) 12,1 9,9 7,4 8,2 5,1 4,2 7, , ,3 47,5 39,4 48,9 48,7 42,8 60 % ,5 30,6 35,8 18,3 35,4 51,7 34,2 Muy bueno Bueno Aceptable ,7 16,1 12,1 16,8 8,9 13,5 14,2 0,6 4,9 1,9 0,8 1,6 PROGRA08y09 PROY09 PROY10 PROY11 PROY12 PROY13 MEDIA Cuestionable Muy cuestionable Por otra parte, el reducido número de recursos que presentan los investigadores cuyos proyectos no son financiados, es un buen indicador del grado de corrección que alcanzan las evaluaciones realizadas por ACSUCyL. La media de recursos por convocatoria es del 6%, un porcentaje muy bajo teniendo en cuenta que de media el 70% de los proyectos evaluados no son financiados, y que en algunas convocatorias son incluso el 85% los proyectos que no reciben financiación. Los recursos estimados total o parcialmente representan el 3,4% sobre el total de proyectos o programas no financiados. Además de la evaluación ExAnte de los proyectos, ACSUCYL es la única agencia española que realiza una evaluación ExPost sistemática de la totalidad de los proyectos financiados por la Comunidad de Castilla y León, lo que supone un importante avance en las políticas de rendición de cuentas accountability y de evaluación del impacto de las políticas de I+D+i de esta Comunidad. ACSUCyL realiza estas evaluaciones ExPost con el objeto de verificar el cumplimiento de los planes de trabajo propuestos en los proyectos financiado, el grado de consecución de los objetivos planteados, así como la relevancia de los resultados obtenidos y el impacto socioeconómico que han tenido los proyectos. Los criterios y referentes que se utilizan en estos procesos de evaluación son muy exigentes, se busca que tenga una importante capacidad de discriminación, ya que la financiación de futuros proyectos en Castilla y León está condicionada parcialmente a los resultados de la misma. Esto explica que el 25% de las evaluaciones valoren como cuestionables al 25% de los proyectos y programas, como se puede observar en el siguiente gráfico. 9

10 RESULTADOS DE LAS EVALUACIONES EXPOST DE PROYECTOS Y PROGRAMAS DE INVESTIGACIÓN REALIZADAS POR ACSUCYL Bueno 37% Muy bueno 9% Muy cuestionable 9% Cuestionable 16% Aceptable 29% 4. LAS CARACTERÍSTICAS DE LOS INFORMES DE EVALUACIÓN. ACSUCYL entiende que su labor evaluadora, además de contribuir a la adecuada discriminación y selección de los mejores proyectos de investigación, tiene también una componente propositiva y formadora que incide sobre la mejora de proyectos que formulan los investigadores de Castilla y León. Por ello, intenta cuidar especialmente en sus informes los apartados relativos a los puntos fuertes del proyecto y las sugerencias de mejora que se les hacen a los investigadores. Solo un 11,5% de los investigadores ha manifestado que estas sugerencias no les resultan de utilidad. También con el objetivo apoyar y/o orienta a los investigadores en la elaboración de sus proyectos de investigación y de las memorias que realizan a la conclusión de los mismos, ACSUCyL ha elaborado y difundido un conjunto de sugerencias dirigidas a llamar su atención sobre algunos aspectos relacionados con la redacción de estos proyectos y/o memorias que estima pueden contribuir a mejorarlas. 5. LA SATISFACCIÓN DE LOS AGENTES QUE INTERVIENEN EN LOS PROCESOS DE EVALUACIÓN. ACSUCyL realiza anualmente una metaevaluación de todos los procesos de evaluación que lleva a cabo, en el marco de la política de mejora continua de la Agencia. Para ello, además de analizar el desarrollo de los procesos y los principales indicadores asociados a los mismos, realiza también una encuesta de satisfacción, dirigida tanto a sus colaboradores como a los Investigadores Principales (IP) de los proyectos que valora (cuando se realiza la solicitud de los mismos y cuando estos concluyen, a través de la su evaluación expost). Esta encuesta, de carácter anónimo, la ha cumplimentado 46,2% de los evaluadores, el 76,7% de los coordinadores y el 51,1% de los Investigadores. 10

11 % % El grado de satisfacción global de los evaluadores y los coordinadores con su colaboración con ACSUCyL es muy elevado, como se puede apreciar en los siguientes gráficos, considerando la mayoría de ellos que la calidad del desempeño de ACSUCyL se encuentra por encima de otras Agencias. En cambio, el grado de satisfacción de los Investigadores Principales de los proyectos es sensiblemente menor, estando altamente correlacionado el mismo con la valoración que ha realizado la Agencia de sus proyectos GRADO DE SATISFACCIÓN CON LA COLABORACIÓN O EL SERVICIO OFRECIDO POR ACSUCYL EN LA EVALUACIÓN EX-ANTE Y EX-POST DE LOS PROYECTOS DE INVESTIGACIÓN QUE SE PRESENTAN A CONVATORIAS DE LA DGUI DE LA JUNTA DE CASTILLA Y LEÓN (periodo ) 2,8 4,5 2,7 50,3 45,8 Expertos-Evaluadores 32,1 60,7 Coordinadores de área 19,2 8,9 27,7 38,5 5,7 Investigadores 6,5 Cuestionable 19,6 Aceptable 31,3 Bueno o muy bueno 42,6 Valoración del Proyecto ns/nc Nada satisfecho Poco satisfecho Bastante satisfecho Muy satisfecho VALORACIÓN DE ACSUCYL POR SU COLABORADORES EN LA EVALUACIÓN EX-ANTE Y EX- POST DE LOS PROYECTOS DE INVESTIGACIÓN QUE SE PRESENTAN A CONVATORIAS DE LA DGUI DE LA JUNTA DE CASTILLA Y LEÓN EN COMPARACIÓN CON OTRAS AGENCIAS (periodo ) 9,3 12,5 1,9 30,2 38,3 20,3 37,5 50,0 ns/nc Muy inferior Por debajo Similar Por encima Muy superior 0 Expertos-Evaluadores Coordinadores de área La alta valoración que los expertos y los coordinadores de área tienen de ACSUCyL se sustenta en su satisfacción con los recursos facilitados por la Agencia para llevar a cabo los procesos de evaluación en los que intervienen, y en la calidad de la atención que reciben. 11

12 Los Investigadores Principales de los proyectos de investigación valoran también positivamente los diferentes aspectos que intervienen en los procesos de evaluación exante y expost de los proyectos, pero en un grado menor. La valoración final que han recibido sus proyectos por parte de ACSUCyL parece condicionar bastante la percepción que los Investigadores tienen del proceso: % ,3 Adecuación miembros de los Órganos de Evaluación VALORACIÓN DE LOS I.P. DE LOS PROYECTOS DE INVESTIGACIÓN QUE SE HAN PRESENTADO A CONVATORIAS DE LA DGUI DE LA JUNTA DE CASTILLA Y LEÓN, DE DISTINTOS ASPECTOS DE LOS PROCESOS DE EVALUACIÓN EX-ANTE Y EXPOST DE ACSUCYL (periodo ) 22,1 22,1 21,2 6,7 7,9 9,1 22,6 41,7 38,6 31,4 46,7 44,4 9,1 8,8 11,0 Fiabilidad Órganos de Evaluación 27,2 Objetividad de las evaluaciones 11,3 12,3 12,1 11,2 8,2 9,5 11,5 28,5 27,0 23,8 5,2 6,8 9,6 Adecuación criterios de evaluación Calidad argumentos para justificar las valoraciones 43,0 Pertinencia y/o utilidad sugerencias NO 17,2 SI 71,6 Adecuación términos de redacción del informe 6,5 Cuestionable 19,6 Aceptable 31,3 Bueno o muy bueno 42,6 Valoración del proyecto Nc/Nc Nada Poco Bastante/Adecu./Útil Totalmente/Muy 12

13 CONCLUSIONES Las características y la calidad del proceso de evaluación de los proyectos y programas de investigación de Castilla y León que realiza ACSUCyL, la convierten en un agente fundamental para las políticas de I+D+i de esta Comunidad. Son cuatro las dimensiones donde esto se plasma: 1. Lograr la mayor eficiencia en la financiación de la I+D+i 2. Garantizar la accountability de estas políticas. 3. Evaluar su impacto, no solo científico sino también socioeconómico. 4. Contribuir a la mejora de los proyectos de los investigadores de Castilla y León, para que sean más competitivos en el Espacio Europeo de Investigación. ACSYCYL ha certificado estos procesos de evaluación con una norma UNE-ISO 9001:2008, y la seguridad del sistema que gestiona la información de los procesos con una norma UNE-ISO

14 Agencia para la Calidad del Sistema Universitario de Castilla y León Avda. Reyes Católicos, Valladolid Tfno Fax