Evaluación de Publicaciones Científicas. Lilian Calò BIREME/OPS/OMS PFI, gerente

Transcripción

1 Evaluación de Publicaciones Científicas Lilian Calò BIREME/OPS/OMS PFI, gerente

2 Flujo de la Comunicación Científica

3 Contribución de Ibero America a la producción científica mundial B R AZ IL C HIL E ME X IC O A R G E NT INA C O L O MB IA V E NE Z UE L A C O S T A R IC A C UB A E C UA D O R J AMA IC A PERU T R INID & T O B AG O UR UG UA Y A L &C ,101 0,391 0,382 0,186 0,178 0,115 0,009 0,009 0,009 0,009 0,009 0,009 0,009 2,415 Articles in W os in S P AIN P O R T UG A L IberoAmérica ,447 0,071 3, ,139 0,618 7, ,222 1,527 37, ,035 4,064 31, C ountry US A C anadá A mérica do Norte W os / W orld T itles % W orld % W orld 1,950 0,304 0,767 0,469 0,139 0,082 0,026 0,058 0,023 0,023 0,042 0,001 0,005 3,885

4 Acceso a la información científica y técnica indexada en AL&C AL&C es probablemente la región en desarrollo con mayor capacidad y mejor infraestructura de acceso a la información científica y técnica en salud. Esta evaluación considera tanto el acceso a las referencias bibliográficas como a los textos completos de los documentos. La contribución e impacto de la BVS es significativo en la promoción de la información científica y técnica calificada, organizada, accedida y evaluada.

5 Actividades relacionadas con la publicación científica Contenido informativo: selección de contenido, adaptabilidad Redacción del manuscrito: redacción científica, formatos, standards Canales de transmisión: selección del vehículo apropiado para diseminar la información, público-alvo, idioma Evaluación: peer-review, inclusión en bases de datos, medidas de impacto, uso y nuevas métricas Publicación y difusión: periódicos impresos, en línea, conferencias, blogs, redes sociales, foros en línea, etc.

6 Evaluación de la Producción Científica Es importante evaluar la producción científica para traducir la investigación en programas y políticas públicas y saber lo que es relevante. Indicadores de impacto científico: Factor de Impacto, Scimago Journal Rank, Eigenfactor, Indice h, medidas de uso y download, nuevas métricas; Indexación en Bases de Datos regionales e internacionales: Scopus, LILACS, SciELO, MEDLINE, Web of Science, JCR

7 Factor de Impacto Utiliza la base Web of Science (Thomson Reuters) FI = Citas recibidas / numero de artículos Es calculado en base a 2 o 5 años para efecto de comparación de áreas con distintos parámetros de citación Por ejemplo, FI de New England Medical Journal en 2008: Citas recibidas en 2008 a artículos publicados en 2007 y 2008: Artículos publicados en 2007 y 2006: 646 Resultado: /646 = 50,017 = Factor de Impacto del NEMJ Críticas al FI: Es impreciso pues lo que cuenta en el numerador no es tomado en cuenta en el denominador; Existen artificios para aumentar FI de periódicos, como artículos de revisión, editoriales de impacto, que serán mucho citado y otros; Disponible en una base de datos de acceso pagado Por qué es tan popular? Por haber sido el pionero, por ser simples de calcular

8

9 Scimago Journal Rank SCImago Journal Rank es una medida de impacto científico de las revistas académicas que representa el número de citas recibidas por una revista y la importancia o prestigio de las revistas donde tales citas vienen; Utiliza la base de datos Scopus y acumula citas en 3 años; Es basado en el algoritmo PageRank, utilizado por el Google para ordenar las páginas más visitadas en una búsqueda; Es un indicador independiente de tamaño y sus valores ordenan las revistas por su "prestigio promedio por artículo" y puede ser utilizado para las comparaciones de revistas en los procesos de evaluación de ciencias; Disponible en una base de datos en acceso abierto, aunque la base Scopus es de acceso por asignatura.

10

11 Eigenfactor Eigenfactor utiliza el mismo algoritmo PageRank del clasificador de páginas de Google; El sistema de clasificación de periódicos utilizando Eigenfactor toma en cuenta la diferencia de prestigio entre los periódicos que citan; Eigenfactor también se ajusta para diferencias de patrones de citación entre disciplinas, permitiendo comparar desempeños entre ellas utilizando el mismo índice. También con esta finalidad, Eigenfactor se basa en las citas recibidas en un período de cinco años. Otra particularidad de Eigenfactor: diferente del factor de impacto, unifica y contabiliza citas en revistas en los campos de ciencias y ciencias sociales; Elimina autocitaciones. Se descuenta cada referencia de un artículo en una revista a otro artículo de la misma revista. Utiliza la base de datos Web of Science. El cálculo matemático se ideó de forma que la suma de Eigenfactor de todos los periódicos indexados en JCR sea 100. El índice Eigenfactor se encuentra disponible en acceso abierto ( y también en el sitio de Web of Science (acceso por asignatura)

12 Article Influence El Article Influence de un determinado periódico es la medida del prestigio de este periódico por artículo. Él se calcula dividiéndose Eigenfactor por la fración de artículos publicados por el periódico. Esta fracción se normaliza, para que la suma total de artículos en todos los periódicos sea 1. Así, mientras Eigenfactor toma en cuenta toda la red de citaciones recibidas en los últimos cinco años por todos los artículos del periódico, el article influence es una medida del prestigio de este periódico basado en las citaciones por artículo. El valor mediano del article influence es igual a Valores mayores que 1 indican que cada artículo en el periódico ejerce una influencia arriba de la media y valores menores que 1 indican que cada artículo en el periódico en cuestión ejerce influencia abajo de la media. El índice article influence se encuentra disponible en acceso abierto y también en el sitio de Web of Science.

13

14 Indice h Idealizado por J.E.Hirsch (2005) Proc. Natl. Acad. Sci. USA vol. 102 (46) ; Es un índice para cuantificar la productividad científica de un investigador, departamento o institución; Índice h es definido como el numero de publicaciones con citas > h; Este índice normaliza las diferentes áreas del conocimiento; Un autor con 20 publicaciones con 20 citas cada tiene un índice h igual a 20. Es posible calcular el índice h de una revista. Una publicación tiene índice h 50 se tiene 50 papers con 50 citas cada.

15

16 "Estos resultados deben hacernos repensar FI y SJR como el golden standard de las medidas de impacto científico. Los resultados aquí presentados indican que las métricas basadas en medidas de uso y no de citación - como ha sido más común - pueden representar una mejor medida de consenso".

17 Bases de Datos Permiten organizar y catalogar las revistas; Realizar búsquedas por asunto, autor, periódico, palabras-clave; Su función primordial es separar los periódicos basado en la calidad en los artículos publicado; Criterios varían poco entre las varias bases regionales e internacionales; Para que sean más representativas, las bases no necesitan indexar la totalidad de los periódicos, y sí los más representativos;

18 Ley de Bradford Un número relativamente pequeño de revistas de cada especialidad publica la mayor parte de los resultados científicos significativos; 2000 revistas corresponden a 85% de los artículos publicados y 95% de los artículos citados Esta porción de revistas no es fija, una constante reevaluación e indexación de nuevas revistas es necesaria.

19 Indexación de revistas en salud de AL&C en bases de datos

20

21 Revistas de Brasil en la Web of Science/JCR Año Número de Revistas Web of Science JCR* ** (*) Science Citation Index Expanded (**) Se publicará em jun/2010

22 Relación Revistas Web of Science / JCR Journals in JCR Science Edition Journals Ratio in WoS Journals in WoS/JCR Australia Austria Belgium Brazil Canada Czech Rep Denmark England Finland France Germany India Italy Japan Netherlands New Zealand Norway China Poland Russia Scotland South Africa South Korea Spain Sweden Switzerland USA Country

23 Comparación entre criterios de Bases de Datos Bases de Datos de Revistas Científicas Criterios Número de títulos en la base Títulos aceptados Periodicidad y Regularidad Recomendaciones ICMJE* Peer Review Analice de citaciones (Factor de Impacto) Diverdad Internacional de autores Cuerpo Editorial Diversificado Mérito y carácter científico contribuciones originales Título, resumen y palabras clave en inglés Referencias en alfabeto romanas Publicaciones en el área médica y biomédica Scopus LILACS SciELO NLM Web of Science/JCR / peer reviewed 40% Importancia relativa % 18% 20-25% No o otro standard o otro standard No importante Importante No importante Importante Importante Importante No importante Importante No necesariamente No necesariamente Importancia relativa Importancia relativa Importancia relativa 5455 (MEDLINE) / %/ 5-6% Importancia relativa Importancia relativa Importancia relativa Importancia relativa Importante Importante Importante, resumes en ingles No No No No No No (*) International Committee of Medical Journal Editors Uniform Requirements for Manuscripts Submitted to Biomedical Journals ( Importante Importante

24 Conclusiones La indexación de una revista en una base de datos regional o internacional no obedece solamente a criterios formales; La situación de las revistas concurrentes en la selección presente o precedente en la misma área de conocimiento es un factor determinante; Muchas veces criterios comerciales, geográficos o de fomento de una área especifica influencian la selección de revistas por una base de datos; En el año 2008 Thomson Reuters seleccionó 700 nuevas revistas en el mundo de carácter regional para apoyar la diseminación del conocimiento regional. El proceso de selección duró cerca de 2 años; De estas, 80 son de AL&C en varias áreas del conocimiento, incluso ciencias de la salud. Los criterios son los mismos que para la admisión en la WoS, pero sin dar tanta importancia a las citas. La indexación en base de datos es una indicación de cualidad de una revista pero no es el único criterio para aferir esta cualidad.