Evaluación de Proyectos en España

Transcripción

1 Evaluación de Proyectos en España Angel L. Corbí Laboratorio de Células Mieloides, CIB, CSIC Adjunto del Área de Biomedicina de ANEP Vice-gestor del Area de Salud de CYTED

2 Agencia Nacional de Evaluación y Prospectiva (ANEP) La ANEP fue creada en 1986 para establecer un mecanismo de evaluación científica rigurosa basada en la "evaluación por pares" (peer review) para ayudar a los organismos gestores en decisiones de financiación de ayudas y subvenciones. La ANEP ha contribuido notablemente al enorme salto cualitativo ocurrido en la ciencia española durante los últimos años y se ha convertido en un relevante observatorio científico. Es por ello que la ANEP ha sido y sigue siendo una importante institución de apoyo al sistema español de Ciencia y Tecnología.

3 AGENCIA NACIONAL DE EVALUACIÓN Y PROSPECTIVA (ANEP) Ministerio de Ciencia e Innovación (MICINN) C/ San Fernando del Jarama, 14, 2º MADRID TEL FAX Objetivos Evaluar la calidad científico-técnica de las propuestas de instituciones públicas y privadas que solicitan financiación pública. Mejorar la capacidad del sistema público de Ciencia y Tecnología. Contribuir a que las decisiones de asignación de recursos para I+D+i se realicen sobre la base de criterios de excelencia y calidad científico-técnica. Funciones Evaluación científico-técnica, objetiva e independiente, de las unidades, equipos humanos y las propuestas de investigación para participar en los programas y proyectos del Plan Nacional, y el seguimiento de los resultados. Estudios y análisis prospectivos en materia de investigación científica y desarrollo tecnológico.

4 Agencia Nacional de Evaluación y Prospectiva (ANEP)

5 Estructura actual de la ANEP DIRECCIÓN COMISIÓN ASESORA REGISTRO CONSEJERÍA TÉCNICA CONSEJERÍA TÉCNICA GESTIÓN ECONÓMICA JEFE DE SECCIÓN SEC. DE ÁREA (FFI, HA, PS, CS) SEC. DE ÁREA (BMC, AGR) SEC. DE ÁREA (NF, COM, FI, TM) SEC. DE ÁREA (FFA, IME, IEL) SEC. DE ÁREA (MTM, VM, ECO, TA) SEC. DE ÁREA (TQ, QMC, CT) SEC. DE ÁREA (MED, BVA, GAN) COORDINADORES (26) Y ADJUNTOS (169)

6 Estructura actual de la ANEP: Comisión Asesora COMISIÓN ASESORA 1. La ANEP cuenta con una Comisión Asesora de Evaluación y Prospectiva, integrada por miembros relevantes de la comunidad científica, que asesora a la dirección de la ANEP en la toma de decisiones y procedimientos. 2. La Comision Asesora de ANEP está integrada por los siguientes miembros: 1. Presidente: El Secretario de Estado de Universidades e Investigacion. 2. Vicepresidente: El titular de la Subdireccion General de ANEP. 3. Vocales: Seis miembros de la comunidad cientifica con reconocido prestigio en alguna de las areas de competencia de la indicada Agencia, designados entre Catedráticos de Universidad y Profesores de Investigación del CSIC. 4. Secretario: Un funcionario que preste servicio en la ANEP (sin voto).

7 Estructura actual de la ANEP: Áreas COORDINADORES (26) Y ADJUNTOS (169) 1. La ANEP comprende 26 áreas temáticas, con un coordinador de área al frente de cada una de ellas. 2. Los coordinadores son prestigiosos científicos que desempeñan su actividad en organismos públicos y privados de investigación o desarrollo tecnológico. Son los responsables de la evaluación en sus respectivas áreas y seleccionan los expertos más idóneos para cada proyecto de investigación. En la actualidad la ANEP cuenta con una base de datos con aproximadamente evaluadores, que incluye expertos de otros países. 3. Los coordinadores son apoyados en su tarea por un equipo de coordinación, en el que participan coordinadores adjuntos, también investigadores y tecnólogos de reconocido prestigio y de campos de especialización complementarios al suyo.

8 REESTRUCTURACIÓN DE ÁREAS AREAS DE CIENCIAS DE LA VIDA Y DE LA SALUD Biología Fundamental y de Sistemas: abarca la investigación sobre los fundamentos de la función biológica, estructura y sus interrelaciones, desde el nivel molecular al de organismo, y sin distinción del modelo biológico de estudio, a excepción de aquélla cuyo propósito principal sea mejorar la salud humana Biomedicina que abarca todas las actividades de investigación relacionadas con salud humana realizadas en el laboratorio Medicina Clínica: que engloba todos los estudios que tienen como objetivo un mejor conocimiento de la enfermedad, de sus mecanismos o de sus posibles tratamientos, cuando una parte significativa de los estudios se realiza en seres humanos Areas MCL BMC FFA BMED Proyect Becas Infra Otros Total

9 Actividad Evaluadora de la ANEP 1. Proyectos de Investigación Convocatoria anual Plan Nacional Proyectos de I+D+I Desarrollo tecnológico Estímulo a la transferencia Convocatorias de Comunidades Autónomas Proyectos de cooperación internacional Convocatorias de Instituciones privadas 2. Personal de Investigación Becas pre-doctorales y de movilidad. Contratos post- doctorales: RC y JC Evaluación de Producción y Trayectoria Científica Premios de investigación 3. Evaluación de otras actividades Institutos universitarios Acciones especiales y complementarias Centros de investigación (CNB, Hospitales) Infraestructura científica Total evaluaciones 2008:

10 Actividad Evaluadora de la ANEP, 2007 (Proyectos y Becas, por área)

11 Proceso de evaluación de proyectos SOLICITANTES EVALUACIÓN INSTITUCIONES CONVOCANTES MICINN CCAA UNIVERSIDADES FUNDACIONES MINISTERIOS EMPRESAS ANEP COMUNIDAD CIENTÍFICA PROYECTOS EXPERTOS

12 Proceso de evaluación de proyectos ANEP Informes Proyectos ORGANISMO CONVOCANTE 27 Equipos de Coordinación de áreas temáticas (169 miembros) Selección de pares Informes de expertos Evaluadores INFORMES FINALES Científicos Investigadores Tecnólogos Expertos Empresarios Gestores

13 Proceso de evaluación de proyectos: Interacción con MICINN Dirección General de Proyectos y Transferencia convocatoria Investigadores Proyecto Decisión sobre financiación Expertos del MICINN ANEP Comisión de selección (mixta)

14 Proceso de evaluación de proyectos: Interacción con MICINN Proceso de selección de proyectos INFORME ANEP CIENTÍFICO-TÉCNICO INFORME CDTI TÉCNICO COMISIÓN DE SELECCIÓN FINANCIACIÓN INFORME INSTITUCION ADECUACIÓN, PRIORIDAD, OPORTUNIDAD LOS INFORMES DE ANEP Y CDTI SON DETERMINANTES (OBLIGATORIOS) PERO NO VINCULANTES

15 ANEP: Métodos de evaluación Mediante informes individuales solicitados a expertos (mínimo 2) y elaboración de un informe final por los equipos de coordinación de cada área, que se genera en base a la información aportada por los expertos. Este método es normalmente utilizado para proyectos de investigación (especialmente aquellos con duración superior a un año). Mediante Comisiones de expertos que se reúnen en la ANEP, en aquellos casos en que las evaluaciones han de ser comparativas, se necesita hacer una priorización, homogenizar criterios, etc.. Este es el caso de evaluación de becas, contratos Ramón y Cajal, Juan de la Cierva, etc. Mediante Comisiones que se reúnen como un paso posterior a la evaluación individual del proyecto (evaluación mixta). Cuando los proyectos o solicitudes no se adecuan a ninguno de estos métodos, la ANEP diseña un método de evaluación ad hoc para la convocatoria.

16 Evaluación y Comunidad Científica Es la Comunidad Científica la que lleva a cabo la labor EVALUADORA de la ANEP, puesto que sus actividades de evaluación las llevan a cabo científicos, tecnólogos y expertos españoles y extranjeros de prestigio internacional, conjuntamente con el personal necesario para las tareas administrativas y de gestión. Actualmente la base de datos de ANEP incluye unos expertos, y esta base de datos se actualiza continuamente. EVALUADORES ANEP Investigadores principales de proyectos Expertos en transferencia de tecnología Expertos en otras materias (ingenieros, personal sanitario, ) Expertos extranjeros

17 ANEP: Selección de Evaluadores Los equipos de coordinación asignan expertos en el tema del proyecto, elegidos por su especialización y teniendo en cuenta los criterios de independencia, objetividad, ausencia de conflicto de intereses, confidencialidad, lejanía territorial, etc. Los expertos son consultados de antemano si aceptan la evaluación del proyecto de acuerdo con estas condiciones. La ANEP se hace responsable de mantener anónima la identidad de los evaluadores. Los evaluadores deben firmar previamente un compromiso de confidencialidad y de no presentar conflicto de intereses ante cualquier evaluación a realizar. El documento de compromiso es de firma obligada antes de evaluar cualquier proyecto. En las evaluaciones realizadas por paneles o comisiones, es posible la publicación de la identidad de los evaluadores, siempre que se considere dicha evaluación en conjunto y sin revelar, en su caso, las solicitudes evaluadas por cada experto.

18 Selección de evaluadores (Visión particular) Investigadores activos y con buen nivel de productividad. Investigadores con capacidad de diseccionar y poner en proyecto a evaluar en el contexto presente (local y temporal). Investigadores no implicados en el proyecto, no relacionados con el proponente del proyecto (distinta Institución, distinto Centro) y sin historial de colaboraciones previas en un plazo de tiempo razonable. Investigadores ponderados y no extremistas son preferibles.

19 ANEP: Guía para Evaluadores INFORMES DE EVALUACIÓN Aspectos generales del informe El informe de evaluación debe redactarse teniendo en cuenta que su contenido puede ser enviado al solicitante. No hay edición ni corrección lingüística de los informes que elaboran los equipos de coordinación, por lo tanto debe cuidarse este aspecto de la redacción. El informe debe ser claro, estar bien argumentado y ser coherente con la puntuación. Deben incluirse comentarios detallados, no ambiguos, que justifiquen la calificación y que no sean una descripción del proyecto. Su redacción debe ser educada y no debe contener comentarios despectivos ni humillantes. Cuando se considere conveniente, deben incluirse sugerencias para la mejora de la propuesta.

20 ANEP: Guía para Evaluadores INFORMES DE EVALUACIÓN Valoración del CV del candidato Producción científica: Se debe valorar la calidad, no la cantidad. En las publicaciones, es importante estimar la contribución personal del investigador, tanto para investigadores jóvenes como para los que están en su etapa más madura. En general, es recomendable valorar sobre todo las mejores y más recientes publicaciones del candidato y no dar el mismo valor al resto. Debe valorarse positivamente la disposición del candidato para iniciar nuevas líneas de investigación y enfrentarse a problemas importantes. No debe ser penalizado un cambio de área si el investigador tiene potencial para ello Valoración científico-técnica del proyecto La calidad del proyecto se basa en la importancia de la idea, la viabilidad y la relevancia de los resultados. Deben valorarse positivamente proyectos innovadores, así como líneas de investigación interdisciplinares que supongan un avance en la frontera del conocimiento, aunque impliquen el aprendizaje de nuevos conocimientos y técnicas. Los resultados de transferencia han de ser valorados positivamente, pero la ausencia de los mismos no debe implicar una disminución en la valoración global.

21 ANEP: Guía para Evaluadores INFORMES DE EVALUACIÓN Ejemplos de comentarios que deben evitarse como argumentos negativos El candidato tiene poca experiencia en el tema. El proyecto se relaciona parcialmente con su tesis. El candidato no ha sido Investigador Principal de ningún proyecto. El proyecto es ambicioso. El hecho de que un proyecto sea ambicioso no tiene por qué ser negativo, dentro de un orden. Otra cosa es que sea inviable. La memoria está escrita en inglés. El proyecto no es de esta área. El investigador no cumple los requisitos administrativos de la convocatoria.

22 Comentarios inútiles (Experiencia particular) Este proyecto no va a ninguna parte y menos si lo lleva a cabo el grupo proponente. Recomendación a los investigadores proponentes: Publicar más y en mejores revistas. El proyecto es demasiado ambicioso. El grupo investigador no tiene experiencia en el tema de trabajo.

23 ANEP: Guía para Evaluadores INFORMES DE EVALUACIÓN 2.- CONFLICTOS DE INTERESES El tratamiento de los conflictos de intereses es similar al que se utiliza en las agencias de otros países y en la Comisión Europea. En general, no participan en la evaluación los expertos que se encuentren en alguna de las siguientes situaciones respecto a alguno de los solicitantes: Ser familiar (con un grado próximo) Ser director de tesis doctoral del solicitante (defendida en los últimos 10 años) Colaborar en publicaciones o patentes en los últimos 5 años Tener relación contractual o compartir fondos o proyectos de investigación en los últimos 3 años Haber sido recusado por alguno de los solicitantes o presentar amistad o enemistad manifiesta con alguno de los solicitantes. Participar en la propuesta.

24 ANEP: Guía para Evaluadores INFORMES DE EVALUACIÓN ASPECTOS ESENCIALES EN LA EVALUACION DE UN PROYECTO Interés de los Objetivos. Los objetivos deben estar claramente expuestos y bien fundamentados en todos sus términos. Deben valorarse favorablemente proyectos de temas novedosos y de calidad, y primarse, con la lógica prudencia, los intentos ambiciosos y arriesgados. Los objetivos deben ser coherentes, ya que mo es posible considerar como un proyecto sólido la mera yuxtaposición de objetivos, atribuidos a diversos miembros del equipo, y débilmente ligados entre sí. Los objetivos deben contrastarse con los propuestos en el ámbito internacional. La inclusión de una lista de citas de otros equipos españoles o extranjeros que revelen el interés y actualidad de los objetivos, debe ser valorado positivamente. Experiencia del Equipo. Viabilidad de la Propuesta y Coordinación. Adecuación del Presupuesto.

25 ANEP: Guía para Evaluadores INFORMES DE EVALUACIÓN ASPECTOS ESENCIALES EN LA EVALUACION DE UN PROYECTO Interés de los Objetivos. Experiencia del Equipo. Una garantía fundamental para el adecuado desarrollo del proyecto es la experiencia previa del equipo, aunque la calidad de un equipo no es determinante por sí misma (memorias "continuistas o mal redactadas). Debe evaluarse especialmente: El historial científico de cada integrante (preferentemente, los últimos 5 años), y en especial el del investigador principal (IP), líder científico y responsable del proyecto. Experiencia previa en el tema concreto del proyecto, cuando proceda. La coordinación en el equipo. Si se trata de equipos recientes, debe ponerse especial atención en las actividades anteriores de los investigadores y su potencialidad. Viabilidad de la Propuesta y Coordinación. Adecuación del Presupuesto.

26 ANEP: Guía para Evaluadores INFORMES DE EVALUACIÓN ASPECTOS ESENCIALES EN LA EVALUACION DE UN PROYECTO Interés de los Objetivos. Experiencia del Equipo. Viabilidad de la Propuesta y Coordinación. La viabilidad depende de la solvencia científica del equipo y de la naturaleza de los objetivos. Un criterio obvio de viabilidad es la valoración de los resultados obtenidos en proyectos anteriores. La valoración de la dificultad de los objetivos propuestos debe ser realista. Un cierto grado de riesgo es aceptable en un proyecto bien fundamentado, en especial si el equipo de investigadores ha demostrado su solvencia en actividades anteriores. También es importante la correcta distribución de tareas entre los distintos miembros del equipo, debiendo el IP estar vinculado a los objetivos mas cruciales. Adecuación del Presupuesto.

27 ANEP: Guía para Evaluadores INFORMES DE EVALUACIÓN ASPECTOS ESENCIALES EN LA EVALUACION DE UN PROYECTO Interés de los Objetivos. Experiencia del Equipo. Viabilidad de la Propuesta y Coordinación. Adecuación del Presupuesto. Para la evaluación de este aspecto deben tenerse en cuenta, entre otros, los siguientes aspectos: Presentación de una estimación razonable de los costes de los viajes programados. Evaluación de los costes de material a la vista de los medios de que el equipo disponga, y de la cofinanciación que puedan obtener de su centros u otras Instituciones. En este apartado podría juzgarse la conveniencia o no de adjudicar técnicos al proyecto, al ser dicha petición una parte importante del presupuesto.

28 Distribución del número de evaluaciones por proyecto

29 Disparidad: existente entre puntuaciones asignadas a un mismo proyecto (desviación típica de las puntuaciones de expertos)

30 Distribución de disparidades de experto agrupadas según la calificación final de los proyectos. El grado de coincidencia en la puntuación asignada a los proyectos es directamente proporcional a su calificación final. Existe un alto grado de acuerdo entre expertos en proyectos catalogados como excelentes, aumentando las discrepancias en otras categorías.

31 Gestión informática

32 Gestión informática

33 Gestión informática

34 Gestión informática

35 Muchas gracias por su atención

36 Proceso de evaluación de proyectos: Interacción con MICINN

37 Identificación de Criterios de Evaluación. Grupos de Trabajo Ante la necesidad de identificación y revisión de los criterios de evaluacion en ciertas áreas, la ANEP, en colaboración con la Fundación Española de Ciencia y Tecnología (FECYT) lleva a cabo estudios cuyo objetivo es la elaboración de documentos públicos en los que se indiquen los criterios de evaluación que se utilizan en la ANEP para evaluar actividades de I+D+I en estas áreas. Dichos documentos se elaboran por grupos de trabajo constituidos por expertos, investigadores y tecnólogos, tras un exahustivo análisis de los indicadores y criterios que han de ser considerados en la evaluación. Criterios de evaluación del Mérito tecnológico Criterios para las áreas de Humanidades Criterios para las áreas de Ciencias Sociales Criterios para las áreas de Ciencias Jurídicas Criterios para las áreas de Medicina Clínica