皮肤病学期刊发表文献的透明、可重复和开放科学实践:横断面分析

简介

科学研究目前面临着一个问题再现性危机，估计有50%至90%的研究被认为是不可复制的[1-3.］．支持这一危机的概念，可重复性项目:癌症生物学经历了50次复制尝试中的32次失败，部分原因是再现原始研究所需的信息报告不足[4］．Baker和Dolgin在这个大型项目中进行了一项研究[5］．为了更好地了解黑色素瘤的原因，作者对25个人类端粒酶逆转录永生转移性黑色素瘤细胞进行了全基因组测序，并报告了6种不同的PREX2基因突变在黑素瘤细胞中很常见。他们还断言，与对照组相比，PREX2突变可以增加肿瘤发病率[5］．然而，重复这些发现的尝试失败了。在一次这样的尝试中，Berger等人[6]获得了最初研究中使用的人类皮肤细胞样本，并刻苦地复制了该研究的实验条件。他们发现中位无瘤生存期仅为1周，而最初的研究发现70%的小鼠在9周时仍无肿瘤。这些结果最终使得无法确定PREX2突变是否影响了与对照组相比的肿瘤发病率。

可重复研究是科学进步的基本组成部分[7];然而，许多已发表的作品往往缺乏基本的再现性相关元素，例如公开共享的数据文件、材料和协议[8，9在缺乏信息共享方面同样存在问题的是，在研究开始前，试验的前瞻性注册率。例如，Nankervis等人[10]发现只有5%的湿疹随机对照试验(rct)进行了预注册、正确注册，并注册了足够的可获取信息来评估主要结果是否与原始注册一致。预注册可防止选择性结果报告偏见，并有助于减少虚假和误导性结果的流行[11-13］．此外，通过基于web的存储库传播临床研究的原始数据集，可以重新分析复杂的问题，以通过复制研究进行确认或反驳[14］．此外，数据共享允许通过公开讨论进一步澄清，并有助于使研究成果的质量和完整性合法化[15，16］．临床试验现在要求在试验注册中包括数据共享计划，作为考虑在国际医学期刊编辑委员会成员期刊上发表的条件[17］．遵循这一政策的皮肤学期刊包括JAMA皮肤病，皮肤病学，美国临床皮肤病学杂志,外科皮肤病学杂志等等。优化良好的统计实践——以及使用促进可重复性和透明度的方法——最终可以提高皮肤病学文献的可重复性。由于可疑的发现或错误的线索会影响科学进步，研究人员和医生必须倡导有效的科学方法，以支持可重复的研究[18，19］．

由于对皮肤病学期刊中可重复文献的程度知之甚少，有必要进行进一步的调查。因此，我们从皮肤病学领域的出版物随机样本中探索了与重复性相关的研究实践的现状。我们的研究在类似研究的基础上，检查了可重复性和透明度的特定指标，为后续调查提供基线数据[8，9，20.］．

方法

概述

该评价指标再现性和透明度的横断面分析基于Hardwicke等人的方法[8]，略有改动。为了提高我们研究的透明度和清晰度，所有协议、数据和适当的材料都可在开放科学框架[21］．该分析不包括人体实验对象，也不受机构审查委员会的监督[22］．该调查报告使用了Murad和Wang详细介绍的元研究指南[23]以及在必要时，系统评价和元分析的首选报告项目指南[24］．我们的主要目标是评估已发表的皮肤病学文献中重复性和透明度的特定指标。

期刊和出版物选择

2019年6月6日，一位作者(DT)使用主题术语标签“dermatology [ST]”在国家医学图书馆(NLM)目录中搜索皮肤病学领域的期刊。要被收录，期刊必须(1)被MEDLINE索引，(2)以英语出版。一个研究者(DT)使用电子ISSN提取期刊列表。然后于2019年6月7日在PubMed上使用相同的issn期刊搜索字符串，收集2014年1月1日至2018年12月31日期间发表的所有出版物。使用Excel的随机数函数，我们选择了300份出版物的随机样本进行分析。我们的搜寻范围及搜寻结果所返回的完整刊物一览表可供参考[25］．

数据提取

在数据提取前，2名调查人员(MA和AN)完成了培训(DT进行)，以确保调查人员之间的可靠性。本次培训课程(已记录，可供参考[26])包括回顾研究目标、研究设计、研究方案和数据提取形式。训练完成后，MA和AN以盲法和独立方法从随机抽样的300篇出版物中提取数据。数据提取始于2019年6月10日，结束于2019年6月30日。调查人员举行了最后的共识会议，以解决任何分歧。如有必要，DT可以进行裁决。论文被分为两类:(1)包含实证数据的论文和(2)缺乏实证数据的论文。我们的数据集可在基于web的存储库[27］．

再现性和透明度的具体指标

与Hardwicke等人创建的类似的飞行员测试谷歌表单[8]用于数据提取。该表格促使调查人员识别出再现研究所必需的预先指定指标的存在[28］．从每个出版物中提取的信息根据研究设计而有所不同。采用实证数据的研究根据以下指标进行评估:材料可用性、数据可用性、分析脚本、方案、预注册、利益冲突(COI)声明、资助声明和开放获取。非实证研究仅评估了3个指标:COI、资助报表和开放获取。此外，尽管病例报告和病例系列经常提供经验数据，但以往的研究表明，再现这些研究类型所需的关键方法学信息通常缺乏或不足[9］．因此，我们决定从某些评估中省略这些研究类型。表1详细介绍了8个可重复性和透明度的查询指标，它们的重要性，以及每个分析中包含的研究设计的描述。

评估开放获取

我们采用了一个系统的过程来确定公众访问我们样本中包括的出版物全文PDF版本的能力。首先，使用出版物的标题、数字对象标识符和/或PubMed ID在Open Access按钮上进行搜索[29]被执行。如果这个搜索没有得到回报，调查人员就会使用谷歌Scholar和PubMed进行相同的搜索过程。出版物被确定为无法访问，如果无法获得全文版本，则限制付费墙。

研究综合中复制与引用的尝试

为了评估一篇带有实证数据的出版物是否被系统综述和/或元分析引用，我们使用了Web of Science [30.]，根据先前的研究[8，9，20.］．我们通过个别筛选标题、摘要或必要时的全文，确定引用的出版物是复制研究、荟萃分析或系统综述。

统计分析

我们以相关95% ci的百分比表示结果，使用威尔逊二项比例置信区间方法计算。使用Microsoft Excel中提供的功能报告描述性统计数据、中位数和上下四分位数。

结果

我们在NLM目录中搜索到100种皮肤病学期刊。从2014年到2018年，这些期刊中共有46种符合纳入标准，共发表了46615种出版物。数据是从300份出版物的随机样本中提取的。共有280个被认为符合资格和可获得，而其余20个则无法获得(图1)．

‎ 查看此图

样本特征

我们对280篇皮肤病学出版物的最终分析包括127篇(45.4%)具有可重复研究设计的经验数据的出版物和153篇(54.6%)缺乏经验数据或本质上难以重复的出版物。中位5年期刊影响因子为2.719。21篇论文无法获得期刊影响因子。表2而且3.为我们的皮肤病学出版物样本提供额外的特征。

再现性和透明度的八个指标

在280份符合条件的出版物中，201份(71.8%)可以公开阅读，而其余79份(28.2%)只能通过付费墙阅读。我们将无法获得全文PDF版本的20种出版物归类为付费墙限制出版物。因此，共有99种出版物(300;33.0%)被归类为对公众不可用。在114份出版物中，只有23份(20.2%)提供了一份声明，表明有其他材料可用。在127份出版物中，只有3份(2.4%)提供了协议可用性声明。这三个语句都提供了到基于web的协议的有效链接。几乎所有出版物都缺乏数据可用性声明。共有14篇出版物(127篇，11.0%)包含数据可用性声明;然而，这些数据报表中只有11个链接到补充数据文件。 Of the 11 accessible supplemental data files, only 3 provided access to complete and unmodified raw datasets. In addition, only 1 publication (out of 127, 0.8%) provided an analysis script or code. Our analysis revealed only 3 publications (of 127, 2.4%) were prospectively registered. A total of 233 publications (out of 280, 83.2%) provided a COI statement. Of these 280 publications, 30 (10.7%) indicated that 1 or more authors had a COI, and 203 (72.5%) declared the author(s) did not have a COI. The remaining 47 publications (out of 280, 16.8%) failed to provide a COI statement. Furthermore, 155 (out of 280, 55.4%) publications reported a funding source, whereas 125 (44.6%) publications did not receive external funding. Finally, 23 publications (out of 114, 20.2%) included in our analysis were cited in a subsequent data synthesis or review paper (表4)．我们分析中包含的出版物没有被复制研究引用。

讨论

主要研究结果

我们的研究结果表明，目前皮肤学研究的氛围不鼓励可重复和透明的研究实践。很少有研究提供数据集、分析脚本或完整的研究方案。这些发现与以前的报告一致，这些报告发现研究往往不能促进透明和可重复的研究实践[9]，并且与发表在自然在1500多名研究人员中，90%的人认为生物医学科学正面临着重大的可重复性危机[1］．这种糟糕的研究实践环境对临床医生和研究人员来说是有问题的，他们可能会试图全面验证或复制一项研究。随着科学家和临床医生不断取得医学进步，研究必须易于重复，以确保结果得到适当验证，并允许临床实践的持续进展。在接下来的文章中，我们描述了皮肤学领域的2个实践——研究方案和预注册——这通常被研究人员所忽略。我们为研究资助者、期刊和研究人员提供了可行的建议，如果实施成功，可能有助于改善已发表的皮肤病学文献中可重复研究的氛围。

我们样本中包含的大多数研究没有提供额外的材料或完整的研究方案。精确地概述方法对于研究的可重复性至关重要[31]，不论该资料是载于刊物内，还是载于补充资料内[32］．的美国皮肤病学会杂志(JAAD)对作者的说明说明:“提交研究文章应附有一份补充文件，其中包括方案和统计分析计划;这应该被标记为“仅供编辑/审稿人参考”不用于出版"(重点是我们的)[33］．的英国皮肤病学杂志（BJD)作者指南声明，“编辑团队发现，如果有研究方案，提供研究方案有助于论文被接受。因此,BJD鼓励在稿件提交时提交方案，并将方案标识为“供审查的补充文件”。“对于行业赞助的试验，也强烈鼓励提交试验方案。“(34］JAMA皮肤病指南规定，“报告临床试验稿件的作者必须在投稿的同时提交试验方案(包括完整的统计分析计划)……如果稿件被接受，方案和统计分析计划将作为补充发表[35)。”这3个著名的皮肤病学杂志提供的指导广泛的可变性-从未发表的研究方案到JAAD在文章接受后，由JAMA皮肤病-暗示了在该领域内实施可重复研究实践的不同观点。BJD不要求提交协议，只是鼓励提交。由于期刊是发表研究的最终仲裁者，它们对皮肤病学研究的可重复性和透明度有很大的影响。我们强烈建议皮肤学期刊对投稿作者采取更严格的要求，以提高透明度和可重复性。

根据2007年制定的《食品和药物管理修正案》，所有适用的随机对照试验必须在参与者登记前进行注册[22］．尽管预注册rct的数量有所增加，但其他研究设计并没有显示出如此大的改善。Boccia等人发现，在11年的时间里，只有1109项癌症观察性研究在ClinicalTrials.gov上注册[36］．此外，系统评价有一个预注册平台，即国际系统评价前瞻性注册(PROSPERO)，自2011年成立以来，该平台的使用率呈指数级增长[37］．这些研究设计是完全由作者自行决定的，很少有期刊或资助者对该主题有具体的指导。在上述3种期刊中，只有BJD提到了系统综述的注册，指出作者需要在PROSPERO进行预注册[34］．透明的研究实践，如前瞻性注册，可以通过提供有日期戳的协议细节和告知公众当前正在进行的临床试验，有助于减少不道德的研究实践[38］．例如，P-hacking(使用不同的统计分析，直到发现一个不显著的发现是显著的)[39]和HARKing(在计算结果后形成研究假设)[40如果研究人员在开始前披露整个研究过程中所使用的预期统计分析，则可以避免使用。值得注意的是，HARKing可以在事后分析中产生重要的发现，从而有利于科学过程[41-43此外，之前的研究表明，审稿人经常鼓励作者在同行评议过程中事后添加假设[44］．然而，当作者认为这些事后假设是原始研究设计的一部分时，就会出现研究不端行为，从而潜在地降低了统计显著性结果的置信度[45］．

未来的建议

改变皮肤学研究的格局是有必要的;然而，这样做的最佳框架尚不清楚。在这里，我们为研究利益相关者(包括资助机构、期刊和研究人员)提供建议，如果实施成功，这些建议可能有助于提高皮肤病学可重复研究实践的质量。

关于资助，一些基金会和政府机构已制定措施，以促进它们提供资助的研究的可重复性和透明度。一份不详尽的资助者名单包括美国国立卫生研究院(NIH)、美国国家科学基金会、威康信托基金会以及比尔和梅琳达·盖茨基金会。例如，盖茨基金会每年资助大约2000至2500篇研究文章，总额达50亿美元[46)建立了一项开放获取政策，要求所有由其基金产生的研究数据和手稿都必须公开迅速广泛传播［47］．为了进一步实现广泛传播的目标，基金会推出了自己的开放获取期刊，盖茨开放研究。目前，由该基金会资助的研究没有资格在一些世界上最著名的期刊上发表，例如自然，科学，美国国家科学院院刊,新英格兰医学杂志由于这些资金限制[48］．美国国立卫生研究院已经建立了严谨性和可重复性倡议，嵌入了提交拨款申请的要求，概述了更可重复性研究的策略[49］．诸如此类的策略是迈向采用更透明和可重复的研究实践的第一步。

对于期刊，我们建议考虑对研究材料、原始数据集、协议和分析脚本的公开采用更严格的标准。期刊应考虑要求作者在公共存储库(如开放科学框架)上共享所有研究资料。随着基本研究材料的公开，结果可以更容易地再现和验证。最近的一项调查发现，开放获取研究数据增加了公众对研究成果的信任和信心[50］．在发表前保存所有研究材料和数据可能会增加公众对发表在有这种要求的期刊上的文献的信心和信心。

最后，对于研究人员来说，我们认为需要对主要研究人员进行培训和装备，使他们能够采用更具可重复性和透明度的研究实践。这一目标可以通过继续教育、学术会议、网络研讨会和期刊俱乐部来实现。还需要训练和装备下一代科学家。鉴于许多生物医学实验室的学徒制性质，主要研究人员应带头在实验室内培养这种文化，并向学员灌输这种做法。全国各地都在开发开放科学课程，许多课程都发布在开放科学框架上[51］．美国国家普通医学科学院发布了几个基于网络的培训模块，以提高医学研究的整体严谨性和可重复性[52］．随着这些课程在大学和资助者的不断扩大，这种培训的持续发展和吸收可能有助于扭转皮肤病学文献中研究的可重复性和透明度的不足。

优势与局限

我们的研究有很多优势，但也存在一些局限性。关于优势，我们研究的所有材料、协议、分析计划和原始数据都可以在开放科学框架上公开获得。此外，我们采取了许多措施来确保研究结果的可靠性，包括:(1)使用盲法、双数据提取技术——元研究实践的金标准[53(2)对每个调查人员进行全面培训，以确保调查人员之间结果的可靠性。关于限制，数据提取仅限于每一出版物的全文pdf文件和现有补充材料的内容。其他材料可以通过联系通讯作者获得。此外，本研究特别关注皮肤病学杂志上的出版物。因此，这项研究的结果可能无法推广到其他学科或出版年份。由于上述原因，对我们研究结果的解释应被视为皮肤病学期刊发表论文可重复性的下限估计。

总之，抽样皮肤病学出版物的研究材料、数据、方案和分析脚本的披露率低得不可接受。如果不实施和坚持更健全的报告标准和开放科学实践，皮肤科学研究的可重复性相关因素可能仍然很差。