S E M I N A R I O A S ESORES H O R I ZO N T E Octubre 2014, El Escorial. El evaluador. Joan Guasch Ingeniero Superior Industrial

Transcripción

1 S E M I N A R I O A S ESORES H O R I ZO N T E Octubre 2014, El Escorial El evaluador Joan Guasch Ingeniero Superior Industrial

2 La evaluación es el pilar fundamental de todo el proceso de financiación de la I+D europea Clara de la Torre

3 Contenido El proceso de evaluación Principios fundamentales del Evaluador Individual Evaluation Brussels Consensus Recomendaciones Recomendaciones H2020

4 El Proceso de Evaluación (1) INFODAY... LOBBYING EXPERTs preselection (depending on final number of proposals submitted) PROPOSALs WRITING EXPERTs FINAL SELECTION (function of ranking and area of expertise) PROPOSALs ASSIGNMENT TO EXPERTs REMOTE READING (IER/IAR) Visit websites. Check references. Read carefully. Calibrate (you have only 25% of total proposals). Score. EC Final deliverations Correctness of ESR (unusual) Final changes in ranking due strategic reasons. PROPOSALs SUBMISSION CONSENSUS at BXL (ESR) White, Black and Grey zones. Your score is irrelevant. Average is orientative. Arguments must be correct. Minor and Killing... fuzzy border. Experts must sign a consensus in score & arguments. EC concentrates in matching score & arguments specially when big companies or sectors are involved. FRIDAY of RANKING Projects over and below funding line

5 El Proceso de Evaluación (2) Aceptación de las propuestas, sin Conflict of Interests (CoI) Remote reading Individual Evaluation Report (IER) Draft Consensus Report (CR) Consensus Brussels Final panel meeting

6 El Proceso de Evaluación (3) Acceso a portal de evaluación remoto 5 evaluadores por propuesta, 1 rapporteur y 1 moderador Antes del Consensus, solo el rapporteur tiene acceso a las evaluaciones individuales En la evaluación remota, priorizas las propuestas que te han asignado individualmente Todo esto en días Hay unos días de tregua para que el moderador ejerza

7 El Proceso de Evaluación (4) 1º día en Bruselas: instrucciones, presentaciones generales, distribución por paneles, presentaciones individuales y discusión sobre la metodología 2º día en Bruselas: concensus de aquellas propuestas más fáciles 3º y 4º día en Bruselas: concensus de las propuestas que requieren mayor debate 5º día en Bruselas: panel meeting

8 Principios fundamentales del EVALUADOR Independencia. Se representa a él mismo. No va en representación de ninguna organización, ni estado. Imparcialidad. Debe evaluar todas las propuestas de igual forma, sin tener en cuenta ni el origen ni la identidad de los solicitantes. Objetividad. Las propuestas se evalúan tal y como han llegado. Nunca como te gustaría que hubiesen llegado. Precisión. Se debe evaluar contra unos criterios establecidos en la convocatoria y nada más. Consistencia. Todas las propuestas deben ser evaluadas de la misma forma. Confidencialidad total, absoluta y permanente.

9 Individual EVALUATION (1) Los que más saben están involucrados en alguna propuesta Es muy difícil que los evaluadores sean expertos de varios temas El evaluador lee N propuestas que parecen todas idénticas... al propio redactado de la call!

10 Individual EVALUATION (2) Desesperado por encontrar una propuesta Original pero creíble Con socios que no sean los de siempre pero que den confianza De lectura breve pero intensa Y esta desesperación hace que leas detenidamente la primera página. Pero el resto en diagonal.

11 Individual EVALUATION (3) 0 The proposal fails to address the criterion or cannot be judged due to missing or incomplete information 1 Poor. The criterion is inadequately addressed, or there are serious inherent weaknesses. 2 Fair. While the proposal broadly addresses the criterion, there are significant weaknesses. 3 Good. The proposal addresses the criterion well, although a number of shortcomings are present. 4 Very Good. The proposal addresses the criterion very well, although a small number of shortcomings are present. 5 Excellent. The proposal successfully addresses all relevant aspects of the criterion. Any shortcomings are minor.

12 Implementation Impact Excellence Individual EVALUATION (4) Research and Innovation/Innovation Clarity and pertinence of the objectives Soundness of the concept, including trans-disciplinary considerations, where relevant Extent that proposed work is ambitious, has innovation potential, and is beyond the state of the art (e.g. ground-breaking objectives, novel concepts and approaches) Credibility of the proposed approach The expected impacts listed in the work programme under the relevant topic Enhancing innovation capacity and integration of new knowledge Strengthening the competitiveness and growth of companies by developing innovations meeting the needs of European and global markets; and, where relevant, by delivering such innovations to the markets Any other environmental and socially important impacts (not already covered above) Effectiveness of the proposed measures to exploit and disseminate the project results (including management of IPR), to communicate the project, and to manage research data where relevant Coherence and effectiveness of the work plan, including appropriateness of the allocation of tasks and resources Complementarity of the participants within the consortium (when relevant) Appropriateness of the management structures and procedures, including risk and innovation management

13 Individual EVALUATION (5) Cada evaluador evalúa los tres criterios: Scientific and technological excellence Impact Quality and efficiency of the implementation La propuestas se evalúan tal y como se han entregado, no como podrían ser si se hiciesen algunas mejoras. No se pueden hacer recomendaciones relevantes o importantes. El evaluador no puede evaluar las páginas que excedan el límite establecido en la convocatoria. Al mismo tiempo que se puntúa, se deben aportar comentarios que justifiquen el valor dado.

14 Brussels CONCENSUS (1)

15 Brussels CONCENSUS (2) Las intenciones son gaussianas al principio pero tarde o temprano aparece el ouija effect.

16 Brussels CONCENSUS (3) El moderador juega un papel fundamental en ese momento porque de forma totalmente objetiva pone encima de la mesa aspectos que quizás no se han considerado anteriormente. Entre tanto, la redacción final de los ESR se va adecuando al ranking final del panel. no problem

17 Recomendaciones (1) Lo bueno, si breve, dos veces bueno. Un buen uso de la redundancia ayuda a fijar los conceptos. Uso de diagramas, tablas, esquemas, imágenes. Ser claros y concisos. Las ambigüedades dan lugar a múltiples interpretaciones y raramente hacen subir la nota. No asumáis que los evaluadores tienen detalles científico/técnicos sobre el reto que se pretende solucionar. Una introducción que explique los conceptos siempre es bienvenida y ayuda a situar nomenclatura y planteamiento. Cuidado con las abreviaturas. Revisar la ortografía.

18 Recomendaciones (2)

19 Recomendaciones (3) Equilibrio de contenido entre apartados y paquetes de trabajo. Consistencia. Evitad documentos densos. Los riesgos y las contingencias deben ser creíbles. Al describir el consorcio, tened en cuenta el equilibrio perfecto y absoluto. El evaluador lo evalúa todo. Todos los evaluadores opinan y hablan entre ellos. El coordinador, coordina también la elaboración de la propuesta.

20 Recomendaciones H2020 (1) El rol del experto en temas de explotación. Contrastar los TRLs con indicadores comerciales. Evitar templates, copy-pastes, updates, de otras propuestas o cursos. Realidad en contenido y originalidad en la presentación. Cross-cutting issues. KET s. Smart Specialization No hay negociación. Y el evaluador lo sabe. El presupuesto también se evalúa. Y en los tres ejes! A igualdad de puntos, una propuesta con un socio que solo haga la gestión será penalizada.

21 Recomendaciones H2020 (2) En el plan de explotación usar datos actuales. Referenciar con experiencias anteriores europeas. Revisión de la propuesta con criterios económicos y comerciales. Involucrar a las empresas en esta tarea. Indicar qué intersección puede existir con los societal challenges. Y sobretodo ORIGINALIDAD, CONSISTENCIA, CLARIDAD y CREDIBILIDAD.

22 S E M I N A R I O A S ESORES H O R I ZO N T E Octubre 2014, El Escorial Muchas gracias! Joan Guasch Ingeniero Superior Industrial