推广文章在跨出版商分发平台上的引用优势:一项36个月的随机对照试验随访

介绍

引文是学术影响的主要指标。它们衡量新知识的传播;认可同事的贡献;而且，在许多领域，它们构成终身任职、晋升甚至直接补偿的基础[1，2]。引用是由作者在创作自己的学术作品时注意到并使用的研究而产生的。问题是，新发表的文章数量与学者在自己的学术工作中可以发现并最终引用的论文数量之间的不匹配越来越大。每天有超过8000篇新的同行评议文章发表，这一数字呈指数级增长，这使得学者们很难筛选潜在的相关文献[3.，4]。因此，学者们错过了许多可以被引用的相关论文[3.]。因此，数据显示，1990年至2015年间发表的文章中，约有35%未被引用;可能增加的数字[5]。2021年发表的一项研究发现，越来越多的学术文献可能会阻碍新思想的兴起、进步和采用;作者建议，学术传播需要改变，以增加研究人员可能没有寻找的新概念的可发现性[6]。已发表文章的数量与读者无意中发现文章的能力之间的差距越来越大，这就迫切需要提高学术内容的可发现性并将内容定向到潜在知识用户的策略。发表后策略，如在社交媒体和其他内容分发网络上推广文章，有望提高可发现性，这可能会增加最相关的论文被发现的机会，并最终被学者们在创作自己的作品时引用。然而，如何针对正确的受众进行促销活动仍然是一个悬而未决的问题，目前只有有限的证据表明哪种策略会对学术文章的影响产生积极的影响，比如被引用的数量。

为了提高学术作品的可发现性、可访问性和相应的引用数量，最广泛研究的策略之一是在开放获取(OA)期刊上发表内容。OA提高了能见度，因此可以对下载量等使用指标产生积极影响[7]，但对引用的影响不太清楚，而且可能与学科有关[8-12]。自2006年第一个精心设计的多变量观察性研究显示，即使对可能的混杂因素进行调整，OA的引用优势也很明显[8，9，13]，几项大型观察性研究发现，开放获取文章的引用次数比封闭获取文章多50%至200%;这被称为“开放获取引文优势”(OACA) [8，14]。然而，OACA并没有被普遍接受[7，15，16]。例如，2011年，戴维斯[16]完成了一项随机对照试验研究，表明在3年的时间里，与封闭获取的文章相比，免费开放的文章并没有增加被引用次数。在观测数据而不是实验数据中发现OACA的部分原因可能是由于残留混杂因素。尽管最初的研究表明OA引用优势经过了多个混杂因素的仔细调整[8]，选择偏倚不能完全调整，并且是在检查OACA的观察性研究中发现的最大混杂因素之一[17];更著名的作者更有可能付费发表OA文章，如果作者更有可能提供他们“最高质量”的文章，那么OA文章的引用次数就会高于封闭获取文章[11，18]。此外，随着开放获取内容在学术生态系统中变得越来越普遍，OACA(如果有的话)可能会消亡，因为所有文章都具有相同的开放获取特征。

除了在开放获取期刊上发表研究外，其他研究表明，在社交媒体平台上推广文章可以用来增加文章的页面浏览量和引用量，但这也存在很大争议。例如，最近的两项研究[19，20.发现密集的社交媒体推广显著增加了学术文章的页面浏览量。最近的一项研究[21发现密集的社交媒体推广策略对推广文章产生了引用优势。然而，Luc等人[21研究受到了相当多的审查，因为方法上存在重大缺陷，表明社交媒体推广根本没有产生引用效益[22-24]。最重要的方法论缺陷是Luc等人[21他们的论文可能与他们的方法所描述的不相符。同样，两项严格的随机对照试验[25，26研究发现，在社交媒体上推广文章并没有增加文章的浏览量。这些结果指的是自然推文，一个未经检验的问题仍然存在，即推广推文是否会带来更多的访问，也会带来更多的引用。综上所述，尽管关于社交媒体推广是否会增加文章的页面浏览量的数据参差不一，但目前还没有重复的数据表明该策略会对推广的文章产生引用优势。

我们的团队之前发表的研究调查了在一个新的跨出版商分发平台(TrendMD)上推广文章在多大程度上增加了文章的页面浏览量、使用率和引用次数。在2014年的一项研究中，在为期4周的随机对照试验中，TrendMD文章推广导致相对于对照组的页面浏览量增加了87% [27]。这些数据在一项为期3周的交叉试验中得到了重复，该试验发现，在TrendMD网络中推广文章，相对于对照组，每周的页面浏览量增加了30%和49% [28]。2017年，我们完成了一项为期4周的随机对照试验，发现随机分配到TrendMD的文章相对于对照组，Mendeley的文章保存量增加了77% [29]。这些发现特别重要，因为Mendeley节省不仅是文章使用的可靠衡量标准，而且与未来的引用密切相关。30.-34]。基于这些数据，我们在2019年进行了一项随机对照试验，包括发表在8个学科领域(如医学、物理、商业和人文学科)的3200篇文章，结果发现，与12个月的对照相比，推广超过6个月的文章获得了50%的引用优势，这在统计上是显著的[35]。TrendMD的推广增加了被测8个学科中的3个学科的引用，对发表在健康、医学和生命科学学科领域的文章产生了最大的引用优势。综上所述，我们的研究结果表明，TrendMD具有短期的页面浏览量、使用率和引用优势;然而，我们不知道衡量的优势是否会随着时间的推移而持续，还是会被其他因素所稀释[36]。

在这项研究中，我们对我们12个月的随机对照试验进行了随访分析，以确定引用优势是否在36个月时持续存在。我们还试图确定TrendMD对引文数量的影响是特定于特定学科还是所有学科的一致性。我们假设在TrendMD上推广文章将在36个月后产生持续的引用优势。我们进一步假设，这种影响将在更多学科中出现，而不是最初在12个月时测量。

方法

总结

本文中方法部分的大部分内容都是从我们之前发表的12个月随机对照试验中描述的方法部分逐字复制的[35]。

我们进行了一项为期36个月的随机对照试验，纳入了8个学科领域64种同行评审期刊上发表的3200篇文章。研究的时间为6个月的干预和30个月的观察，总共36个月。我们在12个月时发表了初步研究结果[35]。我们测量了6个月、12个月和36个月的引用次数。主题领域/类别是根据Google Scholar中列出的8个类别[37]。选择的类别是商业经济学和管理学;化学与材料科学;工程与计算机科学;卫生和医学;人文、文学、艺术;生命科学与地球科学;物理和数学;还有社会科学。对于每个学科领域，选择Google Scholar h-5索引排名前20的期刊(Google Scholar只显示每个学科领域排名前20的期刊)。 Please see the supplementary material published in our 2019 study [35我们在选择标准中使用Google Scholar和h-5指数的理由。然后用随机数生成器从每个学科领域的前20名中随机选择8本期刊纳入研究;我们这样做，而不是选择每个学科领域的顶级期刊，这样我们的样本将包括每个学科领域中影响力高和影响力低的期刊的随机混合。包括高影响力期刊和低影响力期刊对我们的研究很重要，因为我们想要减轻TrendMD促销仅在高影响力期刊中有效的潜在混杂因素。未被Scopus或Web of Science收录的期刊被排除在研究之外。预印本服务器如ArXiv也被排除在研究之外。

从2018年4月开始，从各期刊最近发表的原创文章或综述文章中选择50篇纳入研究。入选的文章在2017年1月至2018年4月期间在线发表;这包括早期的视图文章。不包含摘要或DOI的文章被排除。在受试者水平上使用随机数发生器进行块随机化，将文章随机分配到研究的对照组或干预组。对于每个主题领域，200篇文章被随机分配到对照组，200篇文章被随机分配到干预组。总共有1600篇文章被随机分为对照组，1600篇文章被随机分为干预组。整体研究设计见图1。

‎ 查看此图

干预

TrendMD [38是一个跨出版商文章推荐和分发平台，截至2019年5月，该平台已被嵌入300家出版商的4700多种期刊和网站上，每月约有1.25亿读者阅读。TrendMD网络大约三分之二的内容与科学、技术和医学(STM)出版物有关;另外三分之一是社会科学、人文科学和商业出版物之间相对均衡的分布。参与的出版商使用TrendMD在其期刊(非赞助推荐)或TrendMD网络内的第三方期刊(赞助推荐)的文章中显示的文章推荐中发布其已发表的文章链接;请参阅图2和3.)。TrendMD的内容分发模式以消费者网络中的类似服务为基准，其中领先的网络Outbrain [39]和Taboola [40]生成“来自网络”和“你可能喜欢”的推荐，与CNN或BBC等许多热门网站的内容并列[29，35(请参阅图4供参考)。

干预包括在2018年5月1日至2018年11月2日期间，在TrendMD网络上推广1600篇文章。包含在TrendMD网络中的文章显示为推荐文章链接。随机分配到TrendMD的文章链接在参与TrendMD网络的出版物上显示为赞助推荐链接。在研究过程中，平均每月有4300家期刊参与，读者人数为1.21亿。赞助文章链接放置的频率由基于以下因素的相关性评分决定:相关性(即关键字重叠)、协同过滤(类似于亚马逊的“购买此商品的人也购买了该商品”)和用户点击流分析(Netflix的方法，基于用户通过其在线历史表达的兴趣进行推荐)[27-29，35]。作为相关性评分系统的结果，一些随机分配到TrendMD的文章比TrendMD网络上的其他文章更经常被看到(即积累了更多的链接印象)和更频繁地被点击。

‎ 查看此图

‎ 查看此图

‎ 查看此图

赞助链接显示在TrendMD网络，只要他们是相关的，广告主帐户余额大于0美元。TrendMD为这项研究创建了一个帐户。随机分配到TrendMD的1600篇文章的最高总预算为9600美元，赞助的TrendMD点击次数为96000次，每次点击费用为0.10美元。在为期6个月的研究期间，该账户每月最多可消费1600美元，或每月最多消费16000次点击，共计96000次点击。该帐户的实际支出金额为每月1600美元;在为期6个月的研究中，每个月都进行所有点击。TrendMD的工作原理和测量结果的总结可以在图3。

控制

随机分配到对照组(n=1600)的文章在TrendMD网络中没有得到提升。随机分配到对照组的文章通过自然方式(例如，Google、Google Scholar或PubMed)和本研究之外的内容的出版商或作者实施的其他方式获得流量。

主要的结果

我们研究的主要结果是随机分配到TrendMD的文章在36个月时与对照相比的平均引用数。在2021年3月30日通过Scopus应用程序编程接口(API)提取36个月的文章引用计数。

二次结果

Thirty-six-Month分析

将随机分配到TrendMD和对照的8个学科领域的文章在36个月后的平均引用数进行比较。完成这项分析是为了评估TrendMD推广的效果是否具有学科特异性。文章引用计数提取自Scopus API，截止日期为2021年3月30日。

12个月和6个月分析

将随机分配到TrendMD的文章与对照组的文章在12个月和6个月后的平均引用数进行比较。2019年5月2日从Scopus API中提取了12个月的数据，2018年11月2日提取了6个月的数据。为了方便读者，这些数据也发表在我们2019年的论文中[35]。

统计分析

我们进行了先验功率计算，以确定必要的样本量(研究的每组中n=1600)，以检测12个月各组平均引文计数的主要结果的差异。请参阅我们之前发表的论文，了解我们如何确定研究中每个组所需的样本量[35]。该研究没有检测到6个月或36个月的引用数差异，也没有检测到在任何时间间隔内学科领域水平比较的差异。为了使一项研究能够发现受试者水平上的差异，每个受试者在研究的每个分支中需要1000到3000篇文章，由于预算原因，这对我们来说是不可行的。

将研究开始时文章的基线特征制成表格，并在研究的随机分组中进行比较。我们根据主题领域、获取类型(封闭与开放获取)、期刊影响因子、引用和Mendeley保存对文章进行了分类。用双样本分析主要和次要结局t对对数转换数据(1 + x)进行检验。如果平均差异在统计上显著，我们使用Cohen计算效应量d［41]在对数转换数据上。科恩d定义为两个均值之差除以数据的标准差。最后，我们进行了逐步和反向多元普通最小二乘(线性)回归分析，以确定6、12和36个月的引文预测因子;我们在模型中使用对数变换的因变量。在逐步回归模型中，剔除变量的显著性值为0.1。期刊影响因子，访问类型(即开放获取与封闭)，Mendeley保存和引用基线，TrendMD点击(即推广文章链接的点击)和印象(即推广文章链接的显示)是回归模型中的协变量;它们被选为协变量是因为它们中的每一个都对引用有已知的独立影响(例如，期刊影响因子是引用计数的预测因子)，并且不存在多重共线性的问题。在我们的回归模型中，我们没有收集所有可能的引用预测因子(例如，作者数量或国际合作)的数据，因为这超出了我们的分析范围;我们回归模型的主要目标是确定TrendMD的点击量和印象量是否是我们36个月引用的主要结果的独立预测因子。所有回归均采用Huber-White SEs调整引文聚类的SEs;这修正了异方差[42]。残差采用Kolmogorov-Smirnov检验进行正态性分析;我们还使用偏度和峰度统计值分析残差，并与SE值进行比较。

一个2-tailedP<。05was considered statistically significant. To mitigate the type I error rate, the Bonferroni correction method was used to control for multiple comparisons made for the 8 disciplinary differences in mean citation counts [43]。一个2-tailedP<。006was considered to be statistically significant for mean differences in Mendeley reader and citation counts across subject areas. Arithmetic mean values for Mendeley saves and citation counts are shown with 95% CIs on non–log-transformed data unless otherwise specified. Tests for normality were included in the model. SPSS version 25 (IBM Corp) was used to complete the statistical analyses.

结果

基线特征

以下是我们之前发表的随机对照试验的逐字摘录[35];为了方便读者，这里包括了这些数据和讨论。总的来说，3200篇文章被随机化:1600篇在TrendMD组，1600篇在对照组。6个月门德利存活期的Kolmogorov-Smirnov检验(P= 0.61)和引用数(P=.13)数据保留了原假设，即在对照和TrendMD臂内分布是对数正态分布。表1和2显示随机分配到TrendMD的文章与对照组的基线特征;根据2010年CONSORT(综合报告试验标准)指南，没有使用统计检验来比较基线组间的任何指标[44]。

主要的结果

随机分配到TrendMD的文章(n=1600)显示，在36个月时，相对于对照组，平均引用数增加了28% (图5)。随机分配到TrendMD的文章的平均引用数为48.05 (SD 113.51)，而随机分配到对照组的文章的平均引用数为37.53 (SD 77.36)。TrendMD文章的平均引用数与对照组的差异为10.52 (95% CI 3.79-17.25)，具有统计学意义(P=措施)。TrendMD对36个月引文的影响很小(Cohend0.11;表3)。36个月的文章引用累计分布见图6。TrendMD累积分布曲线相对于控制曲线向右移动的事实表明，在整个文章分布中，被引率的增加得到了促进;这种影响并不局限于几篇外围文章。

‎ 查看此图

‎ 查看此图

二次结果

36个月平均引文的学科区域差异

在36个月的时间里，TrendMD没有发现在任何单独的学科领域中，相对于对照组，引用次数有统计学上的显著增加。与对照相比，被引次数的最大相对差异出现在卫生和医学学科领域(41%);然而，并没有发现统计学上的显著性(见表4和图7为每个学科领域的平均差异的细分)。

‎ 查看此图

多元回归分析

总的来说，我们的多元回归模型可以很好地预测6、12和36个月时所有文章的引用。残差的Kolmogorov-Smirnov检验(P=.21)正常;残差中偏度和峰度的值都小于1 SE，这表明残差值与正态分布的期望值零没有显著差异。我们的模型分别预测了6个月、12个月和36个月时引用数变化的41%、43%和44%。TrendMD驱动的点击量是引文的独立预测因子;从TrendMD获得最多点击量的文章在36个月内拥有最大的引用优势表5对于模型中每个协变量的标准化beta系数)。

讨论

据我们所知，这是第一个随机对照试验，旨在证明在6个月的时间内，对同行评议文章进行相对简短的发表后推广，如何在36个月后持续提高这些文章的引用率。在TrendMD网络中，文章推广带来的总体引用优势在36个月时相对于对照组为28%，在12个月时从50%的引用优势消失。尽管在36个月时观察到总体的引用优势，但在本研究中，我们没有发现单个学科领域的引用数量有统计学上的显著增加。然而，在某些科目与其他科目的引用数量上存在更大的差异，尽管没有统计学上的显著差异。例如，与发表在人文、文学和艺术期刊上的文章相比，健康和医学科学文章的引用量增长更大。一个可能的解释是，TrendMD网络的三分之二是STM期刊;因此，与人文学科相关的文章相比，STM文章的推广效应可能更大。另一种可能的解释是，某些学科领域的引文优势较小是因为不同的出版周期长度，这对引文积累的速度有直接影响。例如，与人文和社会科学领域的文章相比，医学、生命科学和物理学领域的文章通常发表得更快[2]。

尽管如此，我们的研究并不能检测出学科区域水平比较的差异;因此，个别学科领域的负面结果可能是由于样本量小和由此产生的第二类错误[45]。鉴于我们在36个月时发现了总体引用优势，并在6个月时在8个学科领域中的7个领域发现了Mendeley节省优势，我们可以合理地得出结论，在超过36个月的时间里，在学科领域中使用更大样本量的研究可能会显示出引用的增加。未来的研究需要在更长的时间内使用更大的样本量来确定TrendMD网络上的文章是否以及在多大程度上给单个学科领域带来了引用优势。

我们最初假设，在12个月内观察到的50%的引用优势将随着时间的推移而增加，因为从手稿经过同行评审到发表需要时间[2]。然而，我们的数据表明，被推荐文章的引用优势在12至36个月内消失，这可能是由于影响文章引用率的多种因素，如作者资格、主题和被引用的参考文献[36]。我们不知道引文优势达到顶峰的确切时间，因为我们只测量了6个月、12个月和36个月的引文数量。未来的研究有必要以更频繁的间隔测量引用率，以辨别何时授予推广文章的引用优势达到最大。

基于这些数据，我们可以推测TrendMD在36个月时为推广文章提供持续引用优势的机制。读者点击小部件中显示的推广文章链接，他们可能没有发现这些文章，将这些文章保存到他们的Mendeley参考库中，并在创建自己的学术工作时引用这些文章。事实证明，TrendMD驱动的页面浏览量(即点击量)是6个月Mendeley节省和6、12、36个月引用的独立预测因子(表5)。

我们的研究结果大大增加了有限的文献语料库，这些文献检验了增加同行评议研究的引用数的策略的有效性。虽然在开放获取期刊上发表研究是研究最广泛的增加引用数的策略，但OACA存在或被选择偏差混淆的程度仍然未知[7，11，12，15，16]。此外，即使OACA在过去的某个时间点确实存在，OA内容成为标准越多，该策略产生引用效益的可能性就越小，因为这种效应将在所有文章中普遍存在。其他策略，如在社交媒体平台上推广同行评议文献以提高引用次数，也同样产生了不确定的结果，有时甚至是相互矛盾的结果[21-23，25，26]。我们的研究中提出的这些数据解决了作者、出版商和资助者对基于证据的策略的迫切需求，这些策略可用于提高目标受众的可发现性，从而增加同行评审内容的使用率和引用数。

这里介绍的研究有几个优势。首先，引文计数的结果是公正和客观的，增加了结果的可重复性。其次，我们采用了严格的随机对照试验设计，最大限度地减少了偏倚和混淆的可能性。第三，我们的样本量很大，我们的研究对平均引用差异的结果有足够的支持。

然而，这项研究也有一些局限性。首先，所有作者都与TrendMD的创造者(PK和GE)或雇员(TB)的结果存在利益冲突。然而，随机对照试验设计降低了偏倚风险。其次，尽管我们的研究有足够的能力来检测12个月内所有文章的引用数量的平均差异，但我们的研究没有足够的能力来检测学科之间的引用数量的平均差异。第三，我们的纳入标准是随机选择发表在Google Scholar类别中h-5指数最高的前20种期刊中的8种期刊上的文章，这可能会使我们的结果无法推广到发表在影响因子较低的期刊上的文章。我们试图通过随机选择每个学科前20名期刊中的8本来缓解这种可能的限制。未来的研究需要确定TrendMD是否仍然赋予发表在低影响因子期刊上的文章持久的引用优势。从这些数据中产生的另一个限制和问题是，超过6个月的更长时间的推广是否会对引用数量产生更大、更持久的好处。需要使用超过6个月的推广期的未来研究来确定文章推广期的长度与所带来的引文优势的大小之间是否存在剂量依赖关系。我们小组先前完成的一项研究显示，文章推广力度与网页浏览量之间确实存在剂量依赖关系[28];然而，页面浏览量的增加在多大程度上带来了引用优势尚不清楚。也有可能，随着时间的推移，随着读者看到相同的文章链接，文章的推广期可能会饱和;未来的研究需要确定文章的长期推广是否会导致引用回报率的降低。最后，参与TrendMD网络的发布者的数量和类型可能会随着时间的推移而变化，这可能会影响我们研究结果的可重复性[35]。过去的研究表明，TrendMD推广的效果取决于参与网络的发布者的数量和类型[28，29]。总的来说，重复的数据表明，使用TrendMD的主题领域的发布者越多，该渠道在提高文章可见性和使用率方面的效果就越好[35]。如果出版商停止使用TrendMD，该渠道不太可能像本研究中描述的那样有效地增加引用数。更一般地说，引文分析当然有局限性;引文只反映学术界的活动，引文作为指标的有用性在不同领域之间差别很大[46]。

尽管存在局限性，但本研究表明，在跨出版商在线分销渠道(TrendMD)中进行6个月的文章推广，可以在36个月后持续增加文章的引用。虽然我们在36个月时没有发现单个学科领域的引文数量有统计学上的显著增加，但这可能是由于样本量小和功率不足，导致了II型错误。推广文章的总体引用优势在6个月时被观察到，在12个月时达到顶峰，并持续下去，尽管在36个月时相对于对照组的水平较低。