[Impact and prestige indicators of SciELO network health sciences journals: comparative study]

Rev Esp Salud Publica. 2020 Sep 9:94:e202009110.
[Article in Spanish]

Abstract

Objective: The use of bibliometric indicators to measure the quality of scientific journals is a general practice in all areas of science. The WoS and Scopus databases continue to be the reference sources to obtain bibliographic indicators. Others such as SciELO network offer indicators about Ibero-American science, which are scarcely collected in WoS and Scopus. The aim of this work was to analyze the association of the indicators proposed by SciELO for health sciences journals, with the most widely used impact and indicators and to study the complementarity of the existing prestige indicators.

Methods: Analytical correlational study between SciELO indicators, with impact and prestige indicators from Journal Citation Report, Scopus and Web of Science. The results refer to 2018, the most recent and complete data available. Association between the qualitative variables was analyzed using the chi-square test, and the analysis of variance (ANOVA) was performed for the quantitative variables using the Tukey method as a post hoc test. To obtain the relationship between quantitative variables, Pearson's correlation coefficient was used and Spearman's coefficient for ordinal variables. The level of significance used in all the hypothesis tests was α≤0.05.

Results: The SciELO Impact Factor showed a weak correlation both, with Journal Citation Report (R=0.36; p=0.003), and Scopus Cite Score (R=0.39; p=0.001). The association between the H index of the Web of Science andthe H index of Scopus with the H index of SciELO was weak in both cases (R=0.45; p<0.001 and R=0.340; p=0.003).

Conclusions: Indicators proposed by SciELO, for health journals, did not show an association with those of WoS or Scopus. The weak correlation between Impact Factor and Cite Score with SciELO Impact Factor, converts the latter into a necessary "metrics" to assess journals excluded from the "mainstream" and fundamentally those from the Latin American region. The need of using the prestige indicators to fill in the impact indicators, has not been proven in this study.

Objetivo: La utilización de indicadores bibliométricos para medir la calidad de las revistas científicas es una práctica generalizada en todos los ámbitos de la ciencia. Las bases de datos WoS y Scopus siguen siendo las fuentes de referencia en la obtención de indicadores biblométricos. Han surgido otras como la red SciELO que ofrecen indicadores de la ciencia iberoamericana, escasamente recogida en WoS y Scopus. El objetivo de este trabajo fue analizar la asociación de los indicadores propuestos por SciELO para las revistas de ciencias de la salud, con los indicadores de impacto más utilizados y estudiar la complementariedad de los indicadores de prestigio existentes.

Metodos: Estudio analítico correlacional entre los indicadores ofrecidos por SciELO con los indicadores de impacto y prestigio de Journal Citation Report, Scopus y Web of Science. Se estudiaron los resultados de la anualidad 2018 al ser la más actual de la que se disponían los datos completos. Se analizó la existencia de asociación entre las variables cualitativas mediante la prueba de la chi-cuadrado, y en las variables cuantitativas se realizó el análisis de la varianza (ANOVA) utilizando como prueba post hoc el método de Tukey. Para obtener la relación entre variables cuantitativas se usó el coeficiente de correlación de Pearson y para las variables ordinales el de Spearman. El nivel de significación utilizado en todos los contrastes de hipótesis fue α≤0,05.

Resultados: El Factor de Impacto de SciELO presentó débil correlación tanto con el del Journal Citation Report (R=0,36; p=0,003), como con el Cite Score de Scopus (R=0,39; p=0,001). La asociación entre los índices H de la Web of Science y de Scopus, con el índice H de SciELO fue débil en ambos casos(R=0,45; p<0,001 y R=0,340; p=0,003).

Conclusiones: Los indicadores propuestos por SciELO para las revistas de las ciencias de la salud no presentaron asociación con los de WoS o Scopus. La no relación entre el Factor de Impacto y el CiteScore con el Factor de Impacto de SciELO convierte a este último en una “metría” necesaria para valorar las revistas excluidas de la “corriente principal” y fundamentalmente las del área latinoamericana. No se ha demostrado necesidad de utilizar los indicadores de prestigio para cumplimentar a los de impacto.

Keywords: Bibliometric Indicators; Health Sciences; Impact Factor; SciELO; Scientific journals; Spain.

Publication types

  • Comparative Study

MeSH terms

  • Bibliometrics*
  • Biomedical Research*
  • Databases, Bibliographic*
  • Humans
  • Latin America
  • Periodicals as Topic*
  • Spain