La Visión de un Evaluador. Juan Ramos Martos

Transcripción

1 La Visión de un Evaluador Juan Ramos Martos

2 La información contenida en esta presentación corresponde a la opinión personal del autor, no estando avalada por ninguna institución. La aplicación de la información presentada para la elaboración de una propuesta es responsabilidad exclusiva del lector, que deberá contrastarla debidamente con las condiciones específicas de la convocatoria a la que se vaya a presentar la propuesta. El autor no se hace responsable en ningún caso de los perjuicios que pueda ocasionar el uso de la información facilitada. La distribución por cualquier medio de esta presentación deberá incluir esta nota.

3 El Objetivo de la Evaluación Conseguir que los impuestos de los contribuyentes europeos financien los proyectos más rentables para la sociedad europea. Rentabilidad fijada por los criterios y baremos de evaluación definidos por la Comisión Europea en cada convocatoria: Excelencia, Impacto, Implementación La Comisión: Define prioridades y criterios. El Evaluador: Aplica esos criterios basándose en su experiencia y en lo que está escrito en la propuesta.

4 El Proceso de Evaluación La Comisión asigna a cada proyecto al menos tres evaluadores, seleccionados de una base de datos de expertos. El evaluador confirma su disponibilidad para las fechas de la evaluación. Firma un contrato personal con la Comisión. Realiza una primera evaluación individual (remota o local) y emite un informe por proyecto. Previamente identifica posibles conflictos de intereses. Participa en las reuniones de consenso (una por proyecto) con los otros evaluadores asignados a ese proyecto para llegar a una valoración consensuada. Participa en los Paneles en los que están presentes evaluadores de todos los proyectos para establecer la clasificación definitiva. El evaluador actúa a título personal, sin tener en cuenta los intereses de su país, de su Institución ni de grupos conocidos o afines.

5 Participantes en la Evaluación Comisión Europea Officer Expertos Evaluador Relator (Rapporteur) Observador Se necesitan expertos para evaluación en el área de espacio. Para inscribirse, buscar en Google ECAS Portal

6 El Objetivo de la Propuesta La evaluación es similar a un examen. No se trata de saber mucho, sino de responder bien a las preguntas (criterios) El objetivo fundamental de una propuesta no es: Demostrar lo buenos que somos Justificar el dinero que se solicita Explicar lo que vamos a hacer El objetivo de una propuesta debe ser: Superar con máxima puntuación todos y cada uno de los criterios de evaluación

7 Qué necesita (y desea) el evaluador para hacer bien su trabajo? Una buena propuesta Está bien estructurada y bien escrita. Sin incoherencias ni lagunas. Es completa. Contiene toda la información esencial para describir sin ambigüedad como se cumplen los criterios de evaluación. El evaluador tiene que valorar siguiendo esos criterios. El objetivo prioritario de la propuesta debe ser que quede bien explicado como se cumple con ellos. En las evaluaciones en una sola fase, los evaluadores no pueden hacer recomendaciones para mejorar o completar la propuesta. UNA VEZ ENVIADA, NO HAY POSIBILIDAD DE MEJORAR LA PROPUESTA

8 Generalidades Los expertos tienen grados de conocimiento muy variados, no solo técnico. Cuidar la excelencia de la propuesta en todos sus aspectos (técnico, organizativo, planificación, explotación) Dar al experto las armas para que pueda defender una buena propuesta. No puede hacer suposiciones para rellenar lagunas en el texto. Lo que no está escrito no existe. No hay segunda fase para corregir omisiones o errores. La propuesta debe estar bien organizada y ser fácil de entender. La Comisión asigna al evaluador medio día de trabajo para analizar cada propuesta. Una propuesta difícil de leer, a la que hay que dedicar mucho tiempo por una estructura/redacción incorrecta no facilita una correcta evaluación ni produce una actitud positiva en el evaluador. Con la evaluación remota los expertos tienen acceso a Internet. Se pueden incluir enlaces a páginas con información complementaria relevante

9 Consorcio Que estén todos los participantes necesarios para cubrir las tareas del proyecto. Y solo los necesarios. Evitar duplicidades. Justificar la experiencia de cada participante respecto a las tareas que tiene encomendadas. Incluir referencias a proyectos y publicaciones anteriores. Si en la evaluación se considera que un participante no está cualificado, se tiene que valorar el proyecto como si no participase. No complicar el consorcio con participantes que sólo proporcionan servicios estándar. Incluir al menos un esbozo del acuerdo de consorcio, regulando como se van a gestionar puntos clave, como conocimientos previos, propiedad, protección y explotación de resultados, resolución de conflictos, actividades de difusión y publicaciones ( acceso abierto?).

10 Forma Estructurar bien el documento. Cuidar el inglés Homogeneidad del texto. Evitar la redacción independiente de cada participante (cambio de estilo, y de nivel de detalle). Evitar cortar y pegar de otros documentos (se nota) No superar el número de páginas especificado (las páginas en exceso no pueden ser tenidas en cuenta). Ojo con las convocatorias que se evalúan en una sola fase. No habrá oportunidad para corregir o complementar información. Se evalúa sobre lo escrito, sin posibilidad de proporcionar ampliaciones de información o corrección de defectos.

11 Plan de Trabajo Estructurar bien el plan de trabajo. Dar una descripción global que ayude a comprender la estructura del proyecto, seguida de una descripción más detallada de cada paquete de trabajo y tarea. Las dependencias entre paquetes de trabajo deben estar bien definidas y ser coherentes. Lo mismo para las dependencias de unas tareas respecto a otras. Entradas que necesita cada tarea, y resultados que proporciona a otras. Cada paquete de trabajo y cada tarea deben tener un responsable. Indicar las relaciones y coordinación intra- e inter-tarea. Las interfases son muy importantes. Debe quedar claro lo que hace cada uno de los participantes en una tarea, y quién se encarga de cada una de las actividades necesarias para su ejecución. Dedicar tiempo al análisis de riesgos. Identificar las principales dificultades que puedan aparecer y proponer soluciones alternativas.

12 Gestión del Proyecto No inventar estructuras nuevas y complejas para gestionar el proyecto. Mantener la complejidad estructural al mínimo necesario y concentrarse en la descripción de los procedimientos de gestión (resolución de conflictos, seguimiento y control, análisis de riesgos, incumplimientos, explotación y diseminación...) Definir bien las responsabilidades y los agentes gestores. Suministros e hitos: Deben permitir el control del progreso en la ejecución del proyecto. Repartir uniformemente en el tiempo. No más de un año sin hito de control. No olvidar la gestión de la innovación. Como se va a llevar a cabo la explotación de resultados y la diseminación de información. En las actividades de diseminación, tener en cuenta el público al que debe ir dirigida.

13 Impacto Muy importante, aunque difícil de evaluar ya que son predicciones. Difícil para Espacio, donde el volumen de mercado es muy pequeño. Una solución para Espacio no suele ser competitiva en el mercado de consumo. Usar informes de agencias de previsión tecnológica siempre que existan. Previsiones de uso en misiones futuras, en base a evolución histórica. El impacto puede proceder de soluciones avanzadas para aplicaciones muy específicas, o menos avanzadas, pero con un ámbito de aplicación extenso. Debe quedar claro el punto de partida (qué se tiene al principio del proyecto) y lo que se quiere conseguir. Es más creíble un incremento de conocimiento que un cambio radical.

14 Impacto (2) Incluir un plan de negocios con proyecciones de utilización de los resultados y retorno (económico o de otro tipo). Identificar a los actores (internos o externos al Consorcio) que pueden llevar a cabo la explotación de resultados. En algunas convocatorias, como COMPET, se puede exigir que el resultado del proyecto alcance un TRL (Technology Readiness Level) determinado. Comprobar si es el caso, y tenerlo muy en cuenta. Una propuesta que no alcance el TRL especificado se verá penalizada en la evaluación. Justificar bien como los resultados alcanzarán ese TRL solicitado.

15 Impacto (3) Los niveles de madurez tecnológica: TRL 1 Principios básicos estudiados TRL 2 Concepto tecnológico formulado TRL 3 Prueba de concepto experimental TRL 4 Tecnología validada en laboratorio TRL 5 Tecnología validada en un entorno relevante (entorno relevante industrial en el caso de las tecnologías facilitadoras clave KET) TRL 6 Tecnología demostrada en un entorno relevante (entorno relevante industrial en el caso de las tecnologías facilitadoras clave KET) TRL 7 Demostración de prototipo en entorno operacional TRL 8 Sistema completo y cualificado TRL 9 Sistema real probado en un entorno operacional (fabricación competitiva en el caso de las tecnologías facilitadoras clave -KET)

16 Resumen No se trata de demostrar lo que se sabe, sino de demostrar como se cumplen los criterios de evaluación. Propuesta equilibrada, que trate con el mismo cuidado los tres criterios. No pensar solo desde un punto de vista científico-técnico.

17 Muchas gracias por su atención