Objective: Incorporating open science practices has become a priority for submission criteria in the International Journal of Eating Disorders (IJED). In this systematic review, we used the rigor and reproducibility framework developed by Hildebrandt and Prenoveau (2020) to examine the implementation of statistically sound open science principles in IJED, determining whether the cost and effort of incorporating these practices ultimately make research more likely to be cited.
Method: For this systematic review, six trained coders examined 1145 articles published from January 2011 to May 2021, including the 5 years prior to the 2016 introduction of the Open Science Foundation article preregistration. We coded for the presence or absence of 10 specific open science elements and calculated citation metrics for each article.
Results: There was evidence of a significant positive relationship between time and total rigor and reproducibility (Total RR) criteria included in IJED articles following the implementation of preregistration in 2016. For every increase in year from 2011 to 2016, there was a .14 decrease in Total RR criteria. From 2016 to 2021, there was a .42 increase per volume in Total RR criteria. There was no statistically significant relationship between Total RR criteria and citation impact.
Discussion: Although findings indicate that statistical rigor and reproducibility in this field has increased, the lack of direct relationship between open science methods and article visibility for scientists suggests that there is a limited incentive for researchers to participate in reporting guidelines.
Public significance: Statistical controversies within science threaten the rigor and reproducibility of published research. Open science practices, including the preregistration of study hypotheses, links to statistical code, and explicit data-sharing arguably generate reliable and valid inferences. This review illustrates the rigor and reproducibility of articles published in IJED between 2011 and 2021 and identifies whether open sciences practices have become increasingly prevalent in eating disorder research.
Objetivo: La incorporación de prácticas de ciencia abierta se ha convertido en una prioridad para los criterios de envío en el International Journal of Eating Disorders (IJED). En esta revisión sistemática, utilizamos el marco de rigor y reproducibilidad desarrollado por Hildebrandt y Prenoveau (2020) para examinar la implementación de principios de ciencia abierta estadísticamente sólidos en IJED, determinando si el costo y el esfuerzo de incorporar estas prácticas en última instancia hacen que la investigación sea más probable que sea citada. MÉTODO: Para esta revisión sistemática, 6 codificadores capacitados examinaron 1,145 artículos publicados desde enero de 2011 hasta mayo de 2021, incluidos los 5 años anteriores a la introducción en 2016 del preregistro de artículos de Open Science Foundation. Codificamos la presencia o ausencia de 10 elementos específicos de ciencia abierta y calculamos las métricas de citación para cada artículo.
Resultados: Hubo evidencia de una relación positiva significativa entre el tiempo y los criterios de rigor y reproducibilidad totales (RR total) incluidos en los artículos de IJED después de la implementación del preregistro en 2016. Por cada incremento en el año de 2011 a 2016, hubo una disminución de 0.14 en los criterios de RR total. De 2016 a 2021, hubo un aumento de 0.42 por volumen en los criterios de RR total. No hubo una relación estadísticamente significativa entre los criterios de RR total y el impacto de las citas. DISCUSIÓN: Si bien los hallazgos indican que el rigor estadístico y la reproducibilidad en este campo han aumentado, la falta de una relación directa entre los métodos de ciencia abierta y la visibilidad de los artículos para los científicos sugiere que existe un incentivo limitado para que los investigadores participen en las pautas de presentación de informes.
Keywords: authorship; eating disorders; open science; reproducibility; research; statistics.
© 2022 Wiley Periodicals LLC.