人工智能与临床医生在疾病诊断中的对比:系统综述

介绍

背景

患者人口的老龄化和医疗专业人员的短缺导致全球关注通过信息技术提高临床服务的效率。人工智能(AI)是一个基于算法的应用领域，它可以模拟人类的心理过程和智力活动，使机器能够用知识解决问题。在信息时代，人工智能被广泛应用于医疗领域，可以促进治疗的发展。AI可以优化慢性病患者的护理轨迹，为复杂疾病提供精准治疗，减少医疗差错[1]。

目前有两种常见的AI类型。第一类是专家系统。专家系统是一种在监督下产生预测的计算机系统，在决策方面可以胜过人类专家。它由两个相互依赖的子系统组成:知识库和推理引擎。虽然知识库中包含了积累的经验，但推理引擎(推理系统)可以访问知识库的当前状态并补充新的知识。专家系统可以为系统创建更明确的关键信息，使维护变得容易，并提高原型的速度[2]。然而，专家系统在知识获取和性能方面存在局限性。计算机辅助技术已经在医疗实践中引入了几十年，但最近收效甚微。第二种是机器学习。这是人工智能的核心，也是使计算机智能化的基本方法。机器学习需要大量的数据进行训练。这系统地提高了他们在这个过程中的表现。机器学习的核心之一是参数筛选。过多的参数会导致不准确的输入和计算;因此，减少参数的数量可以提高人工智能的效率，但也可能降低其准确性。 However, 1 of the critical objectives of AI is to outperform humans via self-study in challenging fields without any previous knowledge.

人工智能已广泛应用于一系列医疗领域。急性阑尾炎等急慢性疾病的临床诊断[3.]及阿尔茨海默病[4]，通过人工智能技术(如支持向量机、分类树和人工神经网络)进行辅助。由多种算法而不是单一算法组成的综合人工智能大大提高了其检测恶性细胞的能力，从而提高了诊断准确性[5]。

各种人工智能技术的发展也有助于乳腺癌复发的预测[6]。家用人工智能系统可能会监测胰岛素异常和吞咽问题的患者[7而不是医生。人工智能可实现治疗优化[8由于基于大数据的人工智能算法，患有常见但复杂的疾病(如心血管疾病)的患者更有可能从更精确的治疗中受益[8]。另一方面，人工智能辅助的医院管理系统也可以在更大范围内帮助最大限度地减少与物流相关的金钱和时间成本[9]。

目标

据我们所知，目前还没有发表过比较人工智能和临床医生诊断表现的综述。因此，我们的目的是系统地回顾文献，并提供最新的总结，表明与临床医生相比，人工智能在疾病诊断中的应用程度。我们希望这篇综述能够帮助医护人员提高对人工智能相关临床实践的认识和理解。

方法

检索策略、选择标准和研究选择

这个搜索策略是在与专业图书管理员协商后制定的。文献检索在Scopus(最大的跨多学科摘要和引文数据库)、PubMed、CINAHL、Web of Science和Cochrane Library中使用组合检索词(参见多媒体附录1)。检索限于2000年1月至2019年3月之间发表的文章，遵循系统评价和元分析的首选报告项目。通过筛选纳入文章的参考文献列表以及我们的个人档案，手动搜索其他可能符合条件的文章。

如果文章(1)专注于高级人工智能(定义为包含训练或训练的人工智能)，我们将其纳入文章学习(2)包含至少一个特定疾病诊断的应用程序，(3)比较人工智能和人类专家在特定临床任务上的表现，以及(4)用英语编写。如果文章(1)只描述不涉及任何培训或人工智能的更简单的人工智能，则将其排除在外学习过程;(2)没有将人工智能的性能与医学专家的性能进行比较;(3)会议摘要、书籍章节、评论或其他没有详细实证数据的形式。

根据上述纳入和排除标准，2名审稿人(JS和BJ)独立筛选文章标题和摘要，确定符合条件的文章。通过机构检索检索符合条件的文章全文。在此过程中出现的任何差异都是通过与两位资深作者(WKM和CJPZ)讨论解决的。系统检索和鉴定评审文章的过程描述在图1。

数据提取、数据综合和质量评估

纳入研究的特征经2名资深作者(WKM和CJPZ)验证后，由2名审稿人(JS和BJ)独立提取。这些特征包括(1)第一作者和出版年份，(2)人工智能技术，(3)分类和标记，(4)数据源(包括总集、训练集、验证和/或调优集和测试集的样本量)，(5)训练过程，(6)内部验证方法，(7)人类临床医生参考，(8)性能评估。

使用Cochrane的偏倚风险工具评估研究质量[10]。该工具提供了一种基于领域的方法，通过仔细检查被审查文章中的信息来帮助审稿人判断各种类型风险的报告，反过来，可以根据这些针对特定类型感兴趣的风险的支持信息片段做出判断。本综述评估的风险类型包括:(1)参与者和人员的盲性(表现偏倚)，(2)结果评估的盲性(检测偏倚)，(3)不完整的结果数据(损耗偏倚)，(4)选择性报告(报告偏倚)。

‎ 查看此图

结果

系统的搜索

经过系统的检索过程，从数据库中检索到41769条引文，根据题目和摘要排除了22900篇文章，对850篇文章进行了详细审查。此外，根据全文进一步排除了842篇文章。一篇文章从人工搜索中被识别出来。最终纳入9项研究(图1)。

纳入研究的特点

表1总结了这9项研究的特点。这9项纳入的研究发表于2017年至2019年之间，在包括中国、德国、韩国、英国和美国在内的国家进行。就其研究的医疗状况而言，有3项研究可归为眼科，包括糖尿病视网膜病变[11]、黄斑变性[11]和先天性白内障[12]，而另外3项研究关注的是甲真菌病[13]及皮肤损伤/癌症[14，15]。其他与放射学相关的研究主要集中在胸部[16，17]和神经学的[18)条件。

在所有被回顾的研究中，卷积神经网络(CNN)是常用的先进人工智能技术，除了1项研究:González-Castro等人在他们的研究中采用了支持向量机分类器[18]。

由于研究目的、研究方法和医学领域的不同，个体研究之间的分类类型也相应不同。例如，与眼科影像有关的研究[11，12]在图像来源(如眼图像)上存在差异[12]或光学相干断层扫描[OCT]衍生图像[11])，因此分类也相应不同(表1)。另一项基于oct衍生图像的研究[19]重点研究了临床专家与人工智能之间的转诊建议，并对多个建议决策进行了分类。对于甲真菌病图像，分别使用4类和6类进行训练，Han等随后使用二值分类进行测试[13]。

同样，在个别研究中采用的训练过程彼此也不相同，因为它们具有特定领域的性质和分类特有的算法。例如，一项眼科研究的预测[11在分级OCT图像训练的基础上，使用基于web平台的迁移学习模型。另一项眼科研究[12]以先天性白内障为重点，采用三阶段培训程序(即识别、评估和策略网络)建立了一个超越疾病识别的协同疾病管理系统。因此，培训的数据来源是针对具体领域的。其他研究的训练程序详见表1。

此外，有2项研究[11，16]采用内部和外部验证方法，通过训练和/或使用来自自己数据集和外部数据集的图像验证其人工智能算法的有效性。Kermany等人研究了他们的人工智能系统在他们自己的眼科图像中预测诊断的有效性，以及对胸部x线图像的推广[11]。相比之下，Nam等人不仅使用他们自己医院的数据集，还使用其他不同的本地或海外医院的数据集来验证他们的工作[16]。其余的研究没有报告内部或外部验证，也没有区分。

还观察到数据集大小的变化。具体来说，训练集、验证(和调优)集和测试集的数量分别从211到大约113,300，从53到大约14,163，从50到1942。

人工智能与临床医生的绩效指标及比较

所有研究都比较了人工智能和执业医生之间的诊断表现(见表2)。用于比较的性能指标包括诊断准确性、加权误差、敏感性、特异性(和/或受试者工作特征曲线下面积[AUC])和假阳性率。共4篇文章[11，12，15，17采纳;采纳精度(即，真实结果(阳性和阴性)在检查病例总数中的比例)，以比较人工智能和人类之间的诊断性能。Long等人观察到，与一组专科医生预先确定的诊断决策相比，人工智能的准确率很高(90%-100%)，在大多数临床情况下，除了治疗建议外，人工智能的准确率超过了临床医生的平均水平。Esteva等人还发现，人工智能达到了与人类对手相当的准确率，甚至超过了他们的人类对手(人工智能对皮肤科医生:使用3类疾病划分为72.1%(标准差为0.9%)对65.8%，使用9类疾病划分为55.4%(标准差为1.7%)对54.2% [15])。Rajpurkar等人的研究也发现了同样的情况[17]，表明人工智能和放射科医生在结果上达成了一致。类似地，Kermany等人表明，他们的人工智能达到了很高的准确率(96.6%)，同时承认他们的6名经验丰富的眼科医生仍然表现良好[11]。他们还报告了加权错误率，医生保持了更好的准确性(4.8%对6.6%)。De Fauw等[19]报告了使用两种设备的未加权误差，结果显示他们的人工智能性能与视网膜专家相当，并可推广到另一种OCT设备类型。

总共有7项研究[11，13-18比较了人工智能和医学专家之间的敏感性、特异性和/或AUC。总体而言，该算法的性能与人类专家相当，明显优于经验较少的专家[11，13，16，18) (表2)。

人工智能与临床医生的假阳性率比较有2项研究[12，16]。人工智能在图像评估(人工智能vs专家或主管:9 vs 5或11)和治疗建议(人工智能vs专家或主管:5 vs 1或3)方面与专家和主管眼科医生的错误发现数量接近，但在图像评估和治疗建议方面，新手眼科医生的错误发现数量分别为5 vs 12和8 [12]。另一项研究也发现，他们的深度学习算法在结节检测中的假阳性率接近胸科放射科医生的平均水平(0.3 vs 0.25) [16]。

其他性能指标在单个研究中进行比较。除了假阳性外，Long等人还比较了他们的人工智能和眼科医生之间的漏检次数，他们的人工智能表现优于所有具有不同专业知识(专家、胜任和新手)的眼科医生(即漏检次数更少)。Rajpurkar等人报道了人工智能和人类放射科医生之间解释测试图像的时间[16作者还比较了人工智能和放射科医生在阳性和阴性预测值、Cohen kappa和F1指标方面的差异(表2)。

纳入研究的质量评估

纳入研究的方法学质量(见图2和3.)使用Cochrane的偏倚风险工具进行评估[10]。该工具的设计目的是根据被评审文章在特定领域的报道，协助评估其偏倚风险。评估的依据是个别文章是否提供了支持性细节，摘要在图表中以高、低或不明确的偏差呈现。总体而言，大多数研究在特定领域的偏倚风险较低(图2和3.)。共有3项研究被分类为不清楚风险在特定的领域。具体来说，De Fauw等人的研究中是否观察到参与者和工作人员的盲化(与绩效偏差相关)，尚无报道[19]。González-Castro等人[18在选择性报告(报告偏差)方面被归类为风险不明确，因为未能报告所有预先指定的绩效指标。根据Nam等人的报告，由于不完整的结果数据(即医生的表现)而产生的损耗偏差是无法评估的[16)(见多媒体附录2详情)。

‎ 查看此图

‎ 查看此图

讨论

主要研究结果

我们的系统综述确定了9篇关于先进人工智能在疾病诊断中的应用的文章。这些研究涉及多个医学主题，包括视网膜疾病、皮肤癌、肺结节和脑肿瘤。虽然有几篇文章涵盖了类似的医学主题，但不同的文章采用了不同的人工智能算法和训练过程。人工智能算法有效性的验证方法在不同的文章中也有所不同。根据我们的纳入标准，只审查了包括先进人工智能和临床专家之间诊断表现比较的文章。

文献表明，人工智能的表现与医学专家不相上下。主要的先进人工智能方法，如深度学习和cnn，在提供足够的训练数据集的情况下，可以产生显著的判别性能。除了在对象识别任务中具有较高的灵敏度和特异性外[11，15]，人工智能的优势还体现在报告的即时性和产生结果的一致性[17]。虽然神经网络方法通常需要大量数据进行训练，但最近的研究表明，将人工智能应用于罕见疾病是可行的[11，12]，在特殊情况下，也适用于无法获得大量示例的数据库。与其他技术(如基于云的数据共享平台)的结合，将使人工智能的应用范围超越临床环境或空间限制。20.]。

大多数AI成就都可以在图像识别中观察到[21]。对象识别任务是在医学诊断中的主要应用。计算机辅助技术有助于根据图像特征(如色调和边缘)快速检测感兴趣的临床症状(如良性和恶性)，从而产生一致的输出。在训练过程中，通过大量的例子，基于人工智能的身体特征分类得到了加强，这种能力得到了巩固，并逐渐消除了基于外貌的诊断(如皮肤病)中的歧视性学术表现[15，21]。这种人工智能辅助的影像相关临床任务可以减轻人类专家的认知负担[17从而提高医疗保健服务的效率。

人工智能在图像分析方面的表现与人类专家不相上下。图像分析涉及许多对象识别任务，其输出完全依赖于形状和颜色等具体特征的检测和解释。先进人工网络的非疲劳特性使其能够不断地训练和学习，直到达到令人满意的精度[17]。这显示了与图像评估相关的疾病诊断的显著成功。这一人类在生物学上不可能拥有的独特优势，使得人工智能的表现超过了临床专业人员。

文献表明，人工智能的几乎每一项成就都是基于诊断结果建立的。然而，对诊断结果的任何评估都需要产生有意义的影响。诊断标准是基于长期和递归的过程，包括临床医生评估的现实世界的实践，如总结在表1。尽管最近人工智能的自我学习能力可能会带来更多的前景[22]，这种诊断过程的可行性不可避免地要由人类专家通过累积的临床经验来确定[23，24]。换句话说，临床专家是告诉人工智能期望的预测是什么的人。人工智能仍然无法解释它从数据中获得的东西，也无法提供有说服力的结果。因此，人工智能的最终成功有条件地受到医疗专业人员的限制，而医疗专业人员才是人工智能诊断性能的真正评估者。这标志着它的人工人类主导的医疗环境中的自然。

考虑到人工智能与人类用户之间的这种关系，先进人工智能的适用性和临床意义是不能孤立的。人工智能技术的发展本身可能为医学应用提供了令人鼓舞的前景，但医学专家的评估在人工智能的持续发展中起着至关重要的作用。在医疗应用中，人工智能离不开人类的参与，因为最终的诊断需要对现实世界产生影响。以患者为导向的药物规定了人工智能建立和学习过程中患者数据的本质。每一个成功的人工智能，无论是数据库驱动的还是自我学习的，最终都需要改善患者的健康。人工智能不知疲倦的学习能力可以弥补人类的认知疲劳[17]，可大幅提高临床效率。其优异的性能可与专家媲美，在临床实践中节省了大量的时间，从而缓解了长期以来从临床新手到专家过渡过程中的紧张情绪。

尽管对人工智能来说是一个有利的时刻，但在未来阶段仍有一些问题需要解决。目前尚不清楚人工智能是否能改变目前临床程序中以临床医生为主的评估方式。由人工智能和医生共同贡献的混合系统将产生更有效的诊断实践，这并不奇怪，正如其中一篇综述文章所证明的那样[17]。这反过来又可以改善医疗保健。数据解释似乎仍然是人工智能面临的重大挑战。未来的研究可能会更多地关注这一主题。

与以往工作的比较

在这篇综述之前，已经有一些关于人工智能在特定领域的应用的综述，如神经外科、数字皮肤镜和产时胎儿心率的解释[25-27]。然而，这些评论中的大多数并没有将其范围限制在高级人工智能或深度学习上，这被认为是医疗保健专业人员在疾病诊断方面的新兴兴趣。我们的综述特别将先进人工智能的诊断性能与临床医生专家的诊断性能进行了比较，提供了人工智能应用于疾病诊断的最新发展的最新总结。我们的研究结果表明，人工智能的诊断表现与临床专家不相上下，人工智能的精简效率超越了人类医生。认识到人工智能在当前实践中增加的实用价值，人类临床经验和以患者为中心的原则应该在未来人工智能在疾病诊断中的应用中保持基础。

限制

我们的综述系统地检索了在选定的主要数据库中发表的文章。根据我们预设的纳入和排除标准，我们没有具体审查可能包含最先进的人工智能的会议摘要，这些人工智能可以为诊断实践提供信息。本综述只纳入了英文文章，因此可能遗漏了其他语言发表的相关研究。

结论

总而言之，目前的人工智能发展已经在特定领域取得了与医学专家相当的成绩。由于它们孜孜不倦和稳定的特性，它们在疾病诊断方面的预测性能和简化效率——特别是在医学成像任务方面——已经超越了临床医生。进一步的研究可以集中在其他医学成像上，如磁共振成像和其他与图像无关的医学实践[28，29]。随着人工智能辅助技术的不断发展，在未来与人工智能相关的和基于技术的医学研究中，应考虑以临床医生的经验为基础，以患者为中心的医疗原则为指导的临床意义。