这是一篇开放获取的文章,根据创作共用署名许可协议(https://creativecommons.org/licenses/by/4.0/)的条款发布,允许在任何媒介上不受限制地使用、分发和复制,前提是正确引用了首次发表在JMIR皮肤病学研究上的原创作品。必须包括完整的书目信息,http://derma.www.mybigtv.com上的原始出版物的链接,以及此版权和许可信息。
Spin被定义为对研究结果的错误表述,这可能导致对研究结果的误解或误解。Spin此前已在寻常痤疮治疗和各种非皮肤疾病治疗的随机对照试验和系统综述中被发现。
本研究的目的是量化黑色素瘤治疗的系统综述和荟萃分析摘要中旋转的存在,并确定这些文章的任何相关次要特征。
我们于2020年6月2日使用了横断面方法,从MEDLINE和Embase数据库开始搜索。为了满足纳入标准,研究必须是与人类黑色素瘤治疗相关的系统综述或荟萃分析,并以英文报告。我们使用了PRISMA(系统评价和元分析首选报告项目)对系统评价和元分析的定义。数据以一种隐藏的、重复的方式提取。我们进行了动力双变量线性回归,并计算了每个研究特征的优势比。
共有200篇系统综述符合纳入标准。我们在38% (n=76)的摘要中识别了自旋。发现的最常见的自旋类型是3型(选择性报告或过度强调疗效结果或有利于实验干预有益效果的分析),出现40次;最不常见的是2型(标题声称或暗示实验干预的有益效果,但结果不支持),这在任何收录的摘要中都没有出现。我们发现,与药物干预有关的摘要含有旋转的可能性是3.84倍。文章中包含自旋的可能性逐年下降(调整后优势比0.91,95% CI 0.84-0.99)。资金来源或其他研究特征与自旋的存在之间没有显著相关性。
我们发现,在黑素瘤治疗的系统综述摘要中,旋转相当常见,但从1992年到2020年,这些摘要中旋转的患病率一直在下降。
皮肤癌是美国最常见的癌症,每天有9500多例新诊断。
这个词
尽管临床医生在日常决策中依赖系统评价,但已证明系统评价摘要中的报告经常存在缺陷[
由于这项研究没有涉及人类,因此不符合美国联邦法规对人类受试者研究的监管定义,也不受机构审查委员会的监督。相关的协议、提取表单、数据分析脚本和其他研究工件已上传到开放科学框架,以确保透明度和可重复性[
研究小组成员(DW),系统综述馆员,构建了MEDLINE (Ovid)和Embase (Ovid)数据库的搜索策略,并使用它们来定位黑色素瘤治疗方式的系统综述和荟萃分析(
这两个数据库从一开始就被搜索了。DW在2020年6月2日进行了这些搜索;检索到的记录上传到系统审查筛选平台Rayyan [
1.exp黑色素瘤/
2.(黑色素瘤*或(色素* adj1癌*)或黑素癌*或新癌*).mp。
3.1或2
4.exp疗法/
5.(治疗*或治疗*或帮助*或干预*).mp。
6.4或5个
7.3和6
8.exp黑色素瘤/dh, dt, th[食疗,药物治疗,治疗]
9.7或8
10.exp“系统评价”/
11.exp荟萃分析/
12.(“系统评价”或“元分析”或(systematic* adj1评价*)).ti,ab。
13.10或11或12
14.9和13
1.exp黑色素瘤/
2.(黑色素瘤*或(色素* adj1癌*)或黑素癌*或新癌*).mp。
3.1或2
4.exp疗法/
5.(治疗*或治疗*或帮助*或干预*).mp。
6.4或5个
7.3和6
8.exp黑色素瘤/dm, dt, th[疾病管理,药物治疗,治疗]
9.7或8
10.Exp“系统回顾”/
11.经验元分析/
12.(“系统评价”或“元分析”或(systematic* adj1评价*)).ti,ab。
13.10或11或12
14.9和13
研究必须满足以下纳入标准:(1)系统综述,包括或不包括荟萃分析;(2)重点研究黑色素瘤的治疗;(3)仅以人类为实验对象;(4)有英文版本。我们使用了PRISMA定义的系统评价和荟萃分析[
在标题和摘要筛选开始之前,作者RN和AW完成了Li和Dickersin的系统回顾和元分析在线培训课程[
数据以一种被掩盖的、重复的方式提取,使用了试点测试的谷歌表单。所收录的系统综述的摘要被彻底检查了9种最严重的自旋类型的存在。由Yavchitz等人定义的9种自旋类型[
使用AMSTAR-2量表将每项研究的方法学质量评定为高、中、低或极低[
从每个系统综述和荟萃分析中提取的研究特征如下:(1)干预类型(手术、药物、非药物、联合、其他);(2)期刊收到审稿的日期;(3)资金来源(医院、工业、私人、公共、包括工业的综合来源、不包括工业的综合来源、无、未提及、其他);(4)评审是否讨论了与PRISMA或PRISMA for Abstracts的合规性[
自旋的总体频率及其亚型的特征是使用描述性统计。然后,我们使用未调整的逻辑回归模型来确定提取的研究特征对系统综述和荟萃分析摘要中自旋存在的影响的二元关联。然后,我们构建了一个多变量逻辑回归模型,以确定这些变量对自旋存在的影响,控制每个变量。在我们的方案中,我们预先指定了二元逻辑回归的可能性,并在本研究开始前计算了功率分析,以使用GPower(版本3.1.9.7)确定所需的样本量。先前一项针对寻常痤疮的系统综述和荟萃分析摘要中关于spin的调查表明,31%的摘要中存在spin。因此,我们基于以下假设和参数进行功率分析:(1)20%符合prisma标准的系统评价和40%不符合prisma标准的系统评价包含自旋;(2) I型错误率为.05(双尾);(3) .80的幂;(4)多重系数的决定系数为0.10。因此,我们得出的结论是需要185项系统综述。 These analytic decisions are documented in our protocol. We used Stata 16.1 for all analyses.
我们最初的搜索返回了3106篇独特的文章,其中718篇作为重复文章被删除。另有1972篇文章在标题和摘要筛选时被排除在外。全文筛选结果排除了189篇文章。因此,227篇系统文献符合纳入标准并进行随机分配,随后从200篇文献中提取数据。我们的筛选(排除的基本原理)和随机化过程说明在
最常见的干预类型是药物干预(115/200,57.5%),其次是手术干预(38/200,19%)。他们出版的期刊从1992年到2020年收到了系统评价(
PRISMA(系统评价和元分析的首选报告项目)流程图,展示了文章筛选的所有步骤,并为排除的文章提供了理由。
系统综述和荟萃分析的一般特征。
特征 | 文章(N = 200) | 优势比(95% CI) | ||||
|
总计 | 摘要包含自旋 | 未经调整的 | 调整 | ||
|
||||||
|
混合 | 32 (16) | 6 (3) | 1(参考) | 1(参考) | |
|
Nonpharmacologic | 15 (7.5) | 7 (3.5) | 3.79 (0.98 - -14.60) | 4.69 (0.73 - -30.10) | |
|
药理学 | 115 (57.5) | 54 (27) | 3.84 (1.46 - -10.02 |
2.60 (0.64 - -10.61) | |
|
手术 | 38 (19) | 9 (4.5) | 1.34 (0.42 - -4.29) | 1.25 (0.24 - -6.35) | |
|
||||||
|
没有 | 119 (59.5) | 41 (20.5) | 1(参考) | 1(参考) | |
|
是的 | 81 (40.5) | 35 (17.5) | 1.45 (0.81 - -2.58) | 1.24 (0.49 - -3.13) | |
|
||||||
|
没有 | 98 (49) | 40 (20) | 1(参考) | 1(参考) | |
|
是的 | 102 (51) | 36 (18) | 0.79 (0.44 - -1.40) | 0.55 (0.25 - -1.24) | |
|
||||||
|
不资助 | 46 (23) | 15 (7.5) | 1(参考) | 1(参考) | |
|
行业 | 27日(13.5) | 14日(7) | 2.23 (0.84 - -5.90) | 2.08 (0.58 - -7.41) | |
|
没有提到过 | 86 (43) | 29 (14.5) | 1.05 (0.49 - -2.25) | 0.54 (0.18 - -1.61) | |
|
私人 | 24 (12) | 8 (4) | 1.03 (0.36 - -2.95) | 0.74 (0.20 - -2.79) | |
|
公共 | 17 (8.5) | 10 (5) | 2.95 (0.94 - -9.29) | 1.50 (0.35 - -6.44) | |
|
||||||
|
高 | 17 (8.5) | 6 (3) | 1(参考) | 1(参考) | |
|
温和的 | 47 (23.5) | 27日(13.5) | 2.48 (0.78 - -7.82) | 1.83 (0.47 - -7.19) | |
|
低 | 19日(9.5) | 11 (5.5) | 2.52 (0.65 - -9.71) | 3.05 (0.60 - -15.48) | |
|
极低 | 117 (58.5) | 32 (16) | 0.69 (0.24 - -2.02) | 0.45 (0.11 - -1.86) | |
5年影响因子,平均值(SD) | 6.02 (6.57) | 6.84 (7.36) | 1.03 (0.98 - -1.08) | 1.04 (0.98 - -1.10) | ||
摘要字数限制,平均值(SD) | 281 (125.35) | 276 (115.84) | 1.00 (1.00 - -1.00) | 1.00 (0.99 - -1.00) | ||
出版年份(1992-2020年) | N/Ac | N/A | 0.99 (0.93 - -1.04) | 0.91 (0.84 - -0.99) |
一个PRISMA:系统评价和元分析的首选报告项目。
bAMSTAR-2:评估系统评审的测量工具。
cN/A:不适用。
在200项研究中,68项(34%)获得资助,最常见的资金来源是工业(27/200,13.5%),而46项研究没有获得资助(46/200,23%),86项研究没有提及资金来源(86/200,43%)。大多数研究未提及遵守PRISMA(119/200, 59.6%),共有102项研究(51%)发表在其投稿指南推荐遵守PRISMA的期刊上。摘要平均字数限制为281 (SD 125.35)。我们样本的平均5年影响因子为6.02 (SD为6.57)。
在我们样本中的200项研究中,我们在76篇(38%)的摘要中发现了自旋。我们经常在摘要中发现不止一种类型的自旋;因此,确定了117个自旋实例。Spin类型3 -选择性报告或过度强调疗效结果或有利于实验干预有益效果的分析-是最常见的,出现在40篇摘要中(20%;
摘要中的自旋类型和频率(%)(N=200)。
九种最严重的旋转类型[ |
包含自旋的摘要,n (%) |
1.结论包含临床实践的建议,但未得到研究结果的支持。 | 4 (2) |
2.标题声称或暗示实验干预的有益效果,但没有得到研究结果的支持。 | 0 (0) |
3.选择性的报告或过分强调疗效结果或有利于实验干预的有益效果的分析 | 40 (20) |
4.结论基于非统计显著性结果,且置信区间宽。 | 3 (7.1)一个 |
5.结论:尽管前期研究存在较高的偏倚风险,但实验性治疗效果良好。 | 16 (8) |
6.选择性报道或过度强调伤害结果或有利于实验干预安全性的分析。 | 27日(13.5) |
7.结论将综述的发现外推到不同的干预措施(即,尽管综述涵盖了一类的几种干预措施,但声称一种特定的干预措施有效)。 | 4 (2) |
8.结论将综述的发现从替代标记物或特定结果推断为疾病的整体改善。 | 13 (6.5) |
9.结论:尽管报道存在偏差,但实验治疗效果良好。 | 10 (5) |
一个共有158个抽象结论未提及安全性,因此n=42。
最严重的旋转类型,类型1 -结论包含临床实践的建议,但没有得到研究结果的支持,出现在4篇摘要中(2%)。由于158项研究在其结论中未提及安全结果或安全措施,因此只有42篇摘要可以评估旋4型(3/ 42,7.1%)。没有包含自旋类型2的抽象。
从双变量logistic回归来看,与参考组相比,涉及药物干预的系统评价包含旋转的几率高出384%(优势比[OR] 3.84, 95% CI 1.46-10.2)。在对可能的协变量进行调整后,旋转和药物干预之间的相关性不具有统计学意义(OR 2.60, 95% CI 0.64-10.61)。我们发现含有自旋的文章的可能性每年都在下降(调整OR 0.91, 95% CI 0.84-0.99;
1992-2020年摘要中包含自旋的系统综述的比例。
在我们的样本中,共有58.5%(117/200)的系统综述在AMSTAR-2量表上获得了“极低”的方法学质量评级,9.5%(19/200)被评为“低”质量,23.5%(47/200)被评为“中等”质量,8.5%(17/200)被评为“高”质量。自旋的存在与研究的AMSTAR-2评级没有显著关联。所有AMSTAR-2项目和响应频率都在
AMSTAR-2一个项目和反应频率(N=200)。
AMSTAR-2项 | 响应,n (%) | ||
|
是的 | 没有 | 部分是的 |
1.综述的研究问题和纳入标准是否包括PICO因素(患者/人群、干预、比较和结果)? | 200 (100) | 0 (0) | 0 (0) |
2.审查报告是否包含明确的声明,说明审查方法是在进行审查之前确定的,报告是否证明了任何与方案的重大偏差? | 66 (33) | 75 (37.5) | 59 (29.5) |
3.综述作者是否解释了他们选择纳入综述的研究设计? | 103 (51.5) | 97 (48.5) | 0 (0) |
4.综述作者是否使用了全面的文献检索策略? | 37 (18.5) | 54 (27) | 109 (54.5) |
5.综述作者是否进行了两份的研究选择? | 121年60.5) | 79 (39.5) | 0 (0) |
6.综述作者是否重复进行数据提取? | 126 (63) | 74 (37) | 0 (0) |
7.综述作者是否提供了排除的研究清单并证明排除的合理性? | 15 (7.5) | 65 (32.5) | 120 (60) |
8.综述作者是否足够详细地描述了纳入的研究? | 46 (23) | 23日(11.5) | 131 (65.5) |
9.综述作者是否使用了令人满意的技术来评估纳入综述的个别研究的偏倚风险? | 51 (28.5)b | 104 (58.1)b | 24 (13.4)b |
10.综述作者是否报告了纳入综述的研究的资金来源? | 20 (10) | 180 (90) | 0 (0) |
11.如果进行了元分析,综述作者是否使用了适当的方法对结果进行统计组合? | 95 (93.1)c | 7 (6.9)c | 0 (0)c |
12.如果进行了荟萃分析,综述作者是否评估了个别研究的偏倚风险对荟萃分析结果或其他证据综合的潜在影响? | 62 (60.7)c | 40 (39.2)c | 0 (0)c |
13.综述作者在解释/讨论综述结果时是否考虑了主要研究的偏倚风险? | 74 (37) | 126 (63) | 0 (0) |
14.综述作者是否对在综述结果中观察到的任何异质性提供了令人满意的解释和讨论? | 121 (60.5) | 79 (39.5) | 0 (0) |
15.如果他们进行了定量综合,综述作者是否对发表偏倚(小研究偏倚)进行了充分的调查,并讨论了其对综述结果的可能影响? | 53 (52)c | 49 (48)c | 0 (0)c |
16.综述作者是否报告了任何潜在的利益冲突来源,包括他们为进行综述而收到的任何资金? | 163 (81.5) | 37 (18.5) | 0 (0) |
一个AMSTAR-2:评估系统评审的测量工具。
b共有21篇文章只纳入了干预措施的非随机研究,未纳入表中,因此N=179。
c共有98篇文章未进行meta分析,因此N=102。
我们的研究表明,大约三分之一的聚焦于黑色素瘤治疗方式的系统综述或荟萃分析在其摘要中包含spin。在我们的样本中发现的最常见的自旋类型是3型选择性报告或过度强调疗效结果或有利于实验干预的有益效果的分析。这种选择性报告的一个例子发生在Verma等人的一项研究[
一个有趣的发现是6型自旋(选择性报告或过度强调伤害结果或有利于实验干预安全性的分析)与3型自旋同时发生的频率(30.7%)。例如,Dafni等人[
为了将我们的发现纳入现有的自旋文献中,我们必须将我们的结果与先前随机对照试验和观察性研究中对自旋的评估进行比较。我们团队之前的研究发现,在肿瘤学随机对照试验中,摘要中的旋转率从37%不等[
2013年,PRISMA发布了用于抽象的扩展[
我们的研究以最大限度地提高可重复性和透明度的方式进行。这是通过将我们的方案(在调查开始日期之前)、所有数据和培训模块发布到开放科学框架来实现的。所有数据分析均由独立小组确认,从而获得了额外的统计可重复性。最后一个优点是数据是以复制和隐藏的方式提取的,Cochrane协作组认为这是黄金标准[
关于局限性,对自旋的评估本质上是主观的。为了减少主观性,调查人员完成了几天的在线和现场培训,严格定义旋转和识别它的存在。此外,由于我们只搜索了2个数据库(MEDLINE和Embase),可能遗漏了一些相关研究。特定的研究特征具有内在的局限性。例如,一些研究是在PRISMA发布之前发表的。由于没有以前的作者指南,目前尚不清楚期刊是何时开始推荐PRISMA指南的。此外,由于已发表研究的日期范围较广,我们使用5年影响因子来解释变化,这可能不能准确反映过去的期刊影响因子。最后,我们用于评估系统评价的工具AMSTAR-2于2017年开发并发布;因此,使用它来评估2017年之前发表的系统综述可能会导致较低的分数。
总之,我们发现38%的黑色素瘤治疗相关的系统综述和荟萃分析摘要中存在旋转。我们的结果表明,在聚焦于黑色素瘤治疗的系统综述摘要中,spin的发生率与其他医学领域的调查报告的发生率相同或更低。此外,我们的研究结果表明,聚焦于黑色素瘤治疗的系统综述摘要中的旋转正在减少。因此,皮肤病学和肿瘤学领域有机会成为减少抽象旋转流行和提高黑色素瘤治疗系统综述摘要报告质量的领导者。
评估系统评审的测量工具
系统评价和元分析的首选报告项目
随机对照试验
该方案和研究的开发由俄克拉荷马州立大学健康科学中心总统导师-学员研究奖学金资助。
没有宣布。