新工具可计算生物医学论文可重复性得分

1月19日公布的一个新的在线工具可通过分析已发表论文的引文数量，衡量该论文可再现性。

这个软件出现得可谓正当其时，很多证据已经给科学界和期刊行业敲响警钟，它们表明许多已发表文章的研究结果是不可重复的，为此科学界正在努力寻找可靠的方法来评估它们是否可以再现。

新工具由美国康涅狄格州纽黑文市Verum分析公司开发，它生成了一个叫作r-因子的指标，该指标依据其他证明或驳斥其研究结果的研究数量，来说明一篇期刊文章的可再现性。但r-因子指标却引来了学者的大量批评，他们认为这种相对简单的方法可能不足以解决衡量可重复性的多方面问题。

对新工具的初步反馈表明，Verum公司并没有完全消除这些担忧。该公司开发者承认新工具仍然存在局限性；他们表示开放该工具的目的是接受相关反馈，以获得关于其工作效果以及如何改进的建议。Verum公司自愿开发了该工具，其联合创始人Josh Nicholson说，他们希望公开该工具的初步版本能吸引潜在的投资人助力改善它。

Verum去年8月在一篇预印文本中报告了该工具基于r-因子的方法，并在新工具中对其进行了改进。它仅依赖于受欢迎的生物医学搜索引擎PubMed网站上可免费获取的研究论文的数据。

在开发之初，Nicholson和同事手动分析了4.8万个引用其他已发表文章的论文文本的片段。Verum和同事将每个片段分别归类为“证实、反驳或是提及”其他的文章。然后，Verum利用这些分类来训练一个算法自动识别样本群之外的每类片段。

基于约1万个摘录的片段样本，Verum公司的开发人员称，新工具可以在93%的情况下对段落进行正确的分类。与证实或反驳性的引用片段相比，它能更准确地检测到“提及”其他文章的引用，因为证实或反驳类的样本更少。分析发现，绝大多数文章都提到了以前的研究，但却没有证实或反驳它们的主张；只有约8%的引用是证实性的，而反驳性的约有仅1%。