MANUAL DE PROCEDIMIENTO DE EVALUACIÓN EX-POST DE PROYECTOS Y PROGRAMAS DE INVESTIGACIÓN Fecha: 23/10/2014 Avda. Reyes Católicos, nº 2. 47006 Valladolid. Tel. 983 41 1743 info@acsucyl.es www.acsucyl.es
Página 2 de 8
ÍNDICE 1. INTRODUCCIÓN... 4 2. ESTRUCTURA DE LA MEMORIA FINAL.. 4 3. RECEPCIÓN DE SOLICITUDES... 4 4. ÓRGANOS DE EVALUACIÓN... 5 5. PROCESO DE EVALUACIÓN... 7 6. CRITERIOS Y PROTOCOLOS DE EVALUACIÓN PARA LA EMISIÓN DE INFORMES... 7 7. COMUNICADO DE LOS INFORMES A LA DIRECCIÓN GENERAL DE UNIVERSIDADES... 8 8. DIFUSIÓN DE RESULTADOS... 8 9. METAEVALUACIÓN... 8 Página 3 de 8
1. INTRODUCCIÓN La Junta de en las convocatorias públicas de ayudas destinadas a financiar Programas de Apoyo a Proyectos de Investigación, establece que la Consejería de Educación evaluará los resultados de las actividades de investigación propuestas mediante una memoria final que deberá entregarse dentro de los tres meses siguientes a la finalización del proyecto. En la convocatoria de estas ayudas, publicada en 2009, establece también que para valorar uno de los criterios de selección de los proyectos y para determinar las subvenciones, se tenga en cuenta la consecución de objetivos, relevancia científica o impacto socioeconómico de los proyectos previamente financiados. La Consejería de Educación de la Junta de ha solicitado la colaboración de la Agencia para la Calidad del Sistema Universitario de (ACSUCYL) para la valoración de las memorias finales de los proyectos y programas de investigación financiados por esta Consejería. La Comisión de Evaluación de la Investigación de ACSUCYL, órgano de evaluación y asesoramiento de la Agencia en todas las cuestiones relacionadas con la investigación, ha establecido el proceso que aquí se presenta para garantizar el adecuado desarrollo de la citada evaluación. 2. ESTRUCTURA DE LA MEMORIA FINAL La Consejería de Educación de la Junta de ha establecido, de manera orientativa, que las memorias finales que deben remitir los investigadores principales de los proyectos subvencionados tienen que recoger: - La referencia del proyecto. - Los apellidos y nombre del investigador responsable. - El contexto y justificación del proyecto. - La descripción de los objetivos propuestos en la investigación. - La concreción de los objetivos logrados, especificando metodología. - Los resultados obtenidos con la investigación. - El interés de los resultados para el entorno socioeconómico. - El grado de innovación que se ha conseguido con la investigación - Las principales conclusiones del proyecto. - Las publicaciones relacionadas con el proyecto que los investigadores han realizado. 3. RECEPCIÓN DE SOLICITUDES Una vez que la Dirección General de Universidades e Investigación (DGUI) de la Junta de haya recibido y examinado la adecuada cumplimentación de las memorias de los proyectos y programas de investigación que hayan finalizado, remitirá a ACSUCYL un escrito dirigido a la Dirección de la Agencia solicitando la emisión de informe de evaluación de aquellas memorias finales de los proyectos y programas que cumplen los requisitos formales Página 4 de 8
establecidos por la Consejería de Educación para proceder a su evaluación. Este escrito vendrá acompañado de las memorias iniciales de solicitud de los proyectos, de los informes de evaluación de dichas solicitudes, y de las memorias finales de los proyectos. Los informes y memorias se remitirán en formato electrónico, y la documentación que se valorará sólo será en este formato. ACSUCYL procederá a registrar y trasladar la documentación remitida por la DGUI a su plataforma informática de Evaluación de Programas de Investigación. En el proceso de registro y traslado de la documentación a la plataforma informática, ACSUCYL comprobará que efectivamente las solicitudes y la documentación está completa, y es conforme al listado de las solicitudes de evaluación remitidas desde la Dirección General de Universidades e Investigación. En caso de que no se incluyera la documentación indicada, ACSUCYL lo pondrá en conocimiento de la DGUI, con lo que se consideraría paralizado el proceso a efectos temporales. El proceso de evaluación de la Agencia se iniciará en el momento en que los expedientes de solicitud se encuentren completos. Para la evaluación de las memorias finales de los proyectos de investigación se utilizará únicamente la información presentada en formato electrónico por los responsables de los proyectos o programas. 4. ÓRGANOS DE EVALUACIÓN ACSUCYL evaluará las solicitudes recibidas, a través de los siguientes órganos de evaluación: 1. La Comisión de Evaluación de la Investigación (CEI). La Comisión de Evaluación de la Investigación es el órgano responsable de coordinar el proceso y de emitir los informes finales de evaluación. El perfil técnico y profesional de sus miembros está establecido en el Reglamento de Funcionamiento Interno de la Comisión de Evaluación de la Investigación, disponible en la página web de la Agencia. La composición de la Comisión se publica en el Boletín Oficial de 1. La CEI podrá subdividirse en Subcomisiones de trabajo para coordinar la evaluación de las memorias de los proyectos y programas de investigación. Estas Subcomisiones supervisarán la adecuada aplicación de los criterios de evaluación por parte de los Paneles Científicos y los Coordinadores de Área. Cuando en los informes del Panel Científico exista un alto grado de coincidencia en la valoración que realicen de los proyectos o programas, elaborarán directamente las propuestas de informes de evaluación antes de ser elevados al Pleno de la Comisión para su aprobación definitiva 2. 1 La composición de la actual Comisión de Evaluación de la Investigación está publicada en el BOCYL nº 29, 12 de febrero de 2009, p. 4166. 2 Se entenderá que existe un alto grado de coincidencia en los informes del Panel Científico cuando: La valoración cualitativa sea coincidente, esto es, cuando los expertos que conforman el Panel coincidan en valorar el proyecto o programa como: muy bueno, bueno, aceptable o cuestionabledeficiente (estas dos categorías se tratarán conjuntamente, sin establecer diferencias entre ellas). Además de cumplirse el criterio anterior, el porcentaje de discrepancia entre los miembros del Panel sea inferior al 10%, quedando excluidos de este criterio los proyectos valorados como cuestionables-deficientes. Página 5 de 8
2. Coordinadores de Área. Los Coordinadores de Área son los responsables de elaborar la propuesta de informe de evaluación de las memorias de los proyectos y programas de investigación, a partir de los informes de evaluación emitidos por los Paneles Científicos, cuando no exista un alto grado de coincidencia en sus informes, y la ayuda o subvención que hayan recibido los proyectos sea igual o superior a 12000 euros. Los Coordinadores de Área deberán ser funcionarios doctores de los cuerpos docentes universitarios cualquiera que sea su situación administrativa, no pertenecientes a las Universidades de (ni a centros, instituciones, departamentos u otras unidades de investigación con sede en ), que posean al menos el reconocimiento de tres periodos de actividad investigadora de acuerdo con las previsiones del Real Decreto 1086/1989 de 28 de agosto de retribuciones de profesores universitarios o norma que lo sustituya, y que pertenezcan a alguna de las áreas de conocimiento relacionadas con el ámbito de su área ANEP de evaluación. Para su designación se valorará además el contar con una trayectoria científica reconocida y su experiencia en evaluación de investigación y planificación de política científica, así como en gestión de actividades de investigación. Podrán también actuar como Coordinadores profesionales que, sin pertenecer a los cuerpos docentes universitarios, tengan una trayectoria investigadora, técnica y/o profesional de prestigio, y que reúnan méritos relevantes en alguno de estos campos. El número de Coordinadores de Área podrá ser variable, pero como referencia se establece un Coordinador por cada una de las áreas de evaluación que la ANEP tiene establecidas, pudiéndose agrupar algunas de estas áreas o desdoblarse en función del volumen de las memorias a evaluar. 3. Paneles Científicos. Las memorias de los proyectos y programas de investigación serán evaluadas por un panel de al menos dos expertos en el tema del proyecto o vinculados a alguna de las áreas de conocimiento de los mismos. Solo en el caso de que el importe de la subvención o ayuda que hayan recibido los proyectos sea inferior a 12000 euros, el panel estará formado por un único experto. Los Paneles Científicos estarán constituidos por funcionarios doctores de los cuerpos docentes universitarios cualquiera que sea su situación administrativa, no pertenecientes a las Universidades de (ni a centros, instituciones, departamentos u otras unidades de investigación con sede en ), que posean al menos el reconocimiento de dos periodos de actividad investigadora de acuerdo con las previsiones del Real Decreto 1086/1989 de 28 de agosto de retribuciones de profesores universitarios o norma que lo sustituya, y que pertenezcan a alguna de las áreas de conocimiento relacionadas con el ámbito de los proyectos/programas que vayan a evaluar. Para su designación se valorará además el especial conocimiento de la temática abordada en los proyectos/programas. Podrán también actuar como miembros de los Paneles Científicos profesionales que, sin pertenecer a los cuerpos docentes universitarios, tengan una trayectoria investigadora, técnica y/o profesional de prestigio, y que reúnan méritos relevantes en alguno de estos campos. Página 6 de 8
5. PROCESO DE EVALUACIÓN ACSUCYL informará a cada uno de los evaluadores (Paneles Científicos y Coordinadores) antes de iniciarse el proceso de evaluación, acerca de las características de la evaluación ex post de proyectos de investigación que han de realizar, así como las condiciones establecidas para el proceso. Los evaluadores recibirán la información y/o formación precisa para el desarrollo de su labor, en particular los Coordinadores, con el objeto de conseguir una mayor uniformidad en los criterios que aplican en su trabajo de valoración. Para realizar sus evaluaciones los Expertos y los Coordinadores tendrán acceso tanto a las memorias iniciales de solicitud de los proyectos de investigación, como a las memorias finales de los mismos. Igualmente, dispondrán de una copia de la convocatoria a través de la cual fueron financiados dichos proyectos. Cada miembro del Panel Científico evaluará de modo individualizado las memorias de los proyectos que le hayan sido asignados, expresando por escrito en el apartado correspondiente, dentro de la plataforma informática, la valoración de cada criterio y la justificación de esas valoraciones, de acuerdo con el correspondiente modelo de protocolo de evaluación e informe. Los informes de los evaluadores deberán estar en todos los casos debidamente razonados. Ese informe individualizado se elevará al Coordinador de Área. Los Coordinadores de Área, a partir de los informes del Panel Científico de cada proyecto, elaborarán una propuesta de informe de evaluación expresando por escrito en el apartado correspondiente, dentro de la plataforma informática, la valoración de cada criterio y la justificación de esas valoraciones, de acuerdo con los modelos de protocolos de evaluación e informes establecidos. Los informes de los Coordinadores deberán estar en todos los casos debidamente razonados. Ese informe individualizado se elevará a la Comisión de Evaluación de la Investigación que supervisará la adecuada aplicación de los criterios de evaluación por parte de los Paneles Científicos y los Coordinadores de Área en sus informes. A partir de las propuestas de informes de los Coordinadores, elaborará los informes de evaluación correspondientes, que serán aprobados en un Pleno de la Comisión. Las valoraciones realizadas por los miembros de los Paneles Científicos y los Coordinadores de Área no serán vinculantes para la Comisión de Evaluación de la Investigación, que será quien emita el informe definitivo. Los informes de la Comisión deberán estar en todos los casos debidamente razonados. Asimismo podrán incluir sugerencias orientadas a la mejora del diseño, planificación, desempeño, etc. de futuros proyectos; el impacto de los resultados alcanzados; el desarrollo futuro del equipo y las líneas de investigación. 6. CRITERIOS Y PROTOCOLOS DE EVALUACIÓN PARA LA EMISIÓN DE INFORMES La Comisión de Evaluación de la Investigación de ACSUCYL definirá los protocolos de evaluación que se aplicarán para la evaluación ex post de los proyectos y programas de investigación financiados por una misma convocatoria, de acuerdo a los términos de las solicitudes de colaboración que la Dirección General de Universidades e Investigación de la Junta de realice a ACSUCYL. Página 7 de 8
En los protocolos se especificarán los distintos elementos y aspectos que tendrán que tomar en consideración los órganos de evaluación para la emisión de sus informes. De manera orientativa, los criterios de evaluación valorarán dimensiones como: El desarrollo del plan de trabajo: cumplimiento del plan de trabajo, metodología utilizada, etc. El cumplimiento de los objetivos: grado de consecución de los objetivos y de los resultados previstos en la planificación del proyecto o programa. La divulgación de los resultados: cómo y en qué grado se han divulgado los resultados del proyecto o programa, etc. La eficiencia y eficacia del gasto: adecuación, pertinencia, etc. La calidad formativa y de consolidación del grupo de investigación: formación de investigadores, consolidación de grupos y líneas de trabajo, etc. Innovación: grado de innovación, de novedad, etc. que ha supuesto en el ámbito correspondiente, con independencia de la transferencia tecnológica y/o de conocimiento que se haya realizado. Calidad e impacto científico-tecnológico: calidad de las publicaciones, premios, etc. Etc. ACSUCYL publicará en su página web estos protocolos de evaluación antes de que los expertos comiencen la evaluación. 7. COMUNICADO DE LOS INFORMES A LA DIRECCIÓN GENERAL DE UNIVERSIDADES Al término de cada proceso de evaluación, la Comisión de Evaluación de la Investigación remitirá a la Dirección de ACSUCYL los informes definitivos de evaluación para su remisión a la Dirección General de Universidades e Investigación de la Junta de. 8. DIFUSIÓN DE RESULTADOS Concluido el proceso de evaluación de las memorias de los proyectos de investigación, se publicará en la web de la Agencia información sobre el número de memorias evaluadas (campo científico, institución, etc.) y datos sobre el desarrollo del proceso de evaluación. 9. METAEVALUACIÓN La Comisión de Evaluación de la Investigación, en base a la experiencia adquirida una vez finalizado el proceso de evaluación, realizará una valoración crítica del mismo y formulará recomendaciones para su mejora. Para ello, podrá contar con las valoraciones que hagan, de los distintos aspectos del proceso, los evaluadores y los coordinadores. Página 8 de 8