影响医疗专业人员与人工智能临床决策支持系统交互的人为因素和技术特征:文献综述

简介

背景

从全球角度来看，许多卫生保健系统面临着全面的挑战，这些挑战影响着如何向社会提供医疗服务。在这方面，有几个因素日益使护理结构、过程和相关行为者感到紧张。例如，人口结构的变化和社会的整体老龄化引起了与年龄有关的健康问题和需求[1，2]并进一步介绍个案的复杂性;例如，以共病的形式[3.］．与此同时，在许多地区(通常是偏远和农村地区)可以看出人员和医疗专业知识的短缺，这是由于不适当的报酬和高工作量导致护理工作吸引力低造成的[4]、市区及建筑物的吸引力[5]，缺乏年轻毕业生愿意建立新的或继续现有的实践[6]，或向集中护理设施发展的趋势，除其他外[7］．因此，更大的集水区为那些必须应对第一手医疗服务不足和分布不公平问题的提供者开辟了。[8］．此外，正如美国的一项研究所表明的那样，在社会层面上，获得医疗服务的不利机会可能会使较低的社会经济群体边缘化[9]，阻碍了全面和包容性护理的维持。一方面考虑到医疗护理的日益复杂，另一方面考虑到时间和人力资源的减少，在护理点积极支持临床医生的需求正在增长。

临床决策支持系统

所谓的临床决策支持系统(CDSSs)是一种很有前途并被广泛采用的技术，可以提高流程和决策的效率，是一种能够促进医疗专业人员决策过程并为其提供信息的软件应用程序[10］．虽然存在针对患者决策过程的应用程序，通常被称为决策辅助[11]或病人决策支持干预措施[12]， cdss的临床应用仍然是决策支持的主要领域。在这里，对性能、采用、有效性和对患者结果的影响的评估取得了进展，但仍然缺乏全面的方法[10]，包括分析技术特征、持续使用和对诊断和治疗的影响之间的关系。然而，cdss支持诊断过程的潜力导致它们在其他医学背景下的使用;例如，初级保健[13]，以及几个不同的学科，从急诊医学[14]及皮肤科[15]转到放射学[16］．除诊断用途外，cdss亦用于检测药物处方是否不足[17]或模拟不同的治疗策略及其对患者结果的影响[18］．直到今天，由于种种原因，cdss部分不被采用;例如，工作流干扰或信任缺陷，它们的采用与许多有关技术和人与技术交互的不同因素有关[19，20.］．特别是，对CDSS的主观看法和态度仍然是采用CDSS的关键预测因素[21］．这是因为CDSS超越了对医疗信息最好的客观描述(例如，在电子健康记录中)，并解释了这些信息以支持临床干预[19］．同时，由于已经提到的用户群体(患者、医生、护士等)、医学领域(临床护理、初级护理等)、医学学科(皮肤科、放射学等)和目的(诊断、处方、治疗等)的差异，CDSS在不同上下文之间的可比性是困难的。

由于技术创新，医疗保健技术，包括cdss，越来越多地由人工智能(AI)实现[22］．与传统CDSS相比，人工智能CDSS的首次评估承诺提高性能和准确性[23］．此外，随着人工智能的出现，临床医生和该领域的专家通常希望简化组织流程，例如患者流程[24］．被定义为一种技术以人类认为智能的方式工作的能力[25]，人工智能可用于CDSS的各种场合，如医疗并发症的风险预测[26]及药物不良反应[27］．然而，对人工智能进行严格而一致的定义是具有挑战性的。因此，我们跟随Helm等人[28Schuetz和Venkatesh [29他们强调人工智能的自适应特性，这意味着人工智能支持的cdss是随着时间推移而变化的学习实体，同时考虑其环境条件。因此，这些系统不是确定性的，并且可能在不同时间从相同的输入提供不同的输出[30.］．与医疗专业人员相比，人工智能系统可以超越人类的评级或预测;例如，关于真皮病变和增生的分类[31］．关于普遍采用人工智能系统，正在进行的研究报告了临床医生提出的几个问题。尽管对被取代的恐惧似乎取决于临床医生对人工智能概念的了解程度[32]，研究报告称，临床医生害怕被人工智能的建议所误导，从而导致过度自信和对患者的有害后果[33］．此外，临床医生担心人工智能可能会增加数据泄露的威胁和患者隐私的相关风险，以及治疗错误导致的法律后果[34］．然而，目前的研究表明，人们对人工智能的看法是矛盾的。考虑到上述问题和采用的潜在障碍，临床医生认为人工智能系统可能节省时间，并改善对患者的持续监测[35］．此外，研究强调，只有少数临床医生理解人工智能的各种应用及其概念性质[34，35］．对AI的认知差异;例如，关于被取代的恐惧[36]，强调临床医生对人工智能态度的主观性。

考虑到临床医生对人工智能的态度的模糊性，上述CDSS采用的障碍，以及与人工智能和CDSS相关的担忧之间的相似性(例如，有偏见的决策，法律后果，或害怕被取代)，人工智能支持的CDSS实际上可能会增加采用的感知和主观因素的相关性，以及它们与技术特征的相互作用。在AI-enabled CDSS的开发和评估过程中，很明显，临床表现和治疗质量的潜在收益是由人类- ai合作最大化的，而不是通过人类- ai竞争[31］．然而，由于基于人工智能的CDSS具有交互性和自适应特性，用于解释这些系统的使用和采用的传统理论和模型丧失了解释和预测人工智能与人类之间成功合作的能力[29，37］．关于人工智能技术和人类参与者(如皮肤科医生、放射科医生和其他医疗专业人员)的特定因素被强调来影响它们之间的关系，包括系统的可解释性或可理解性[38]，其目的[39]，以及由此产生的人类参与者对系统的信任[40］．考虑到与临床医生的主观态度和感知相关的因素，如信任，已经影响了非ai CDSS的采用[21，41，42]，我们认为，人工智能系统的出现增加了不完全与技术特征相关的特定因素的重要性。考虑到已经调查的阻碍临床医生采用CDSS的障碍[43，44]，缺乏坚实的理论基础，或在正在进行的研究中依赖传统的理论方法[45]，对影响人工智能与人类行动者之间合作的人工智能特定因素进行审查的需求有所增加。

人机交互与协作

为了理解人类和人工智能之间的二元关系，有必要理解关键概念及其相互关系。尽管许多研究人员使用相互作用这个术语[46，很少有文献定义互动的意义。霍恩贝克等人[46的研究表明，没有共同的定义，并确定了7个突出不同角度的交互概念。而Li和Zhang的人机交互框架[47]表明交互通常可以被理解为在特定的上下文中使用一项技术完成一项任务的过程。而从词源上来说，协作源自于这个词collaborare这意味着一起工作．正如起源所揭示的，合作可以理解为追求共同目标的共同努力。因此，从我们的角度来看，协作是与自适应人工智能系统的成功交互。假设人类和人工智能系统都不是无错误的，那么当错误被防止时，人类与人工智能的协作是有效的。在这种情况下，这种有效协作的一个关键驱动因素是医疗专业人员认为该系统对于所要完成的任务是值得信任的(即，一定程度的信任)，并接受它。信任是一种复杂的心理结构，它被描述为使自己变得脆弱的意志。48］．如果一方认为另一方是值得信任的，那么这种关系反过来取决于对其他各方能力属性的感知(系统推荐特定决策的合法性)、善行(人类行为者与系统做好事的意图和动机的一致性)和完整性(人类行为者与系统的上级价值观的一致性)[40］．然而，目前尚不清楚系统设计如何影响对可信赖性的感知，以及人类的哪些特征促进了信任倾向。

目标

本研究的目的是总结影响医疗专业人员和人工智能cdss之间有效合作的因素。捕捉这些因素对于医疗专业人员、管理人员和技术设计人员反映人工智能cdss的采用、实施和开发至关重要[48，49］．此外，我们试图探索用于评估人类和ai支持的cdss之间成功合作的具体结果(性能、有效性、对患者结果的影响等)以及它们所基于的理论基础。最后，与人工智能支持的cdss相关的因素与非人工智能支持的cdss相关的因素之间的比较，在评估当前文献已经反映了人类-人工智能合作的独特性的程度方面，似乎很重要。

方法

概述

我们进行了叙述性回顾，以总结当前关于我们特定目标的文献[50］．在接下来的文章中，我们报告了为了达到我们的目标而对相关文献的搜索、文献的选择和文献的综合以抵消我们结果的主观性[50］．我们选择了3个不同的元数据库来搜索符合我们研究目标的研究。我们根据研究范围相对较广的情况，确定了搜索策略[51］．为了报告我们的结果，我们遵循了PRISMA(系统评价和元分析的首选报告项目)指南[52］．通过我们最初的搜索，我们通过筛选标题和摘要确定了1161篇研究，其中100篇(8.61%)满足我们的纳入标准。通过反向搜索，我们确定了另一项纳入全文评估的研究，结果是对101篇文章进行了资格评估。最后，6.9%(7/101)的研究被纳入我们的结果综合。

数据库

我们将PubMed、PsycInfo和Business Source Complete数据库纳入文献综述。PubMed索引了医学、卫生保健及相关学科领域的>5000种期刊。我们特别使用PubMed来收集关于ai支持cdss的临床有效性和实施的信息。PsycInfo包含行为和社会科学研究的2000篇期刊。我们搜索PsycInfo来检查人工智能支持的cdss和决策过程的心理维度。最后，我们扫描了Business Source Complete的结果，其中包含了商业科学领域的>1000种期刊，以从经济和程序的角度获得关于我们目标的见解。

研究选择

我们合并了搜索词(AND条件)的两个不同部分。第一部分介绍了与我们的研究目标相关的技术(AI或人工智能或机器学习或认知计算或智能代理或决策支持或推荐代理)．第二部分反映了人类与人工智能协作的交互性维度(信任*或接受或*协议或同意或遵守或一致或合作或抵抗)．我们收录了过去10年用英语发表的文章。为了选择相关文献，2位作者(MK和SW)独立筛选标题和摘要，以排除不涉及人工智能技术的文章(见定义)临床决策支持系统部分)和与保健或医药无关的问题。筛选前详细讨论了纳入和排除标准。此外，为了熟悉程序，初步筛选了100个条目样本。两位作者(MK和SW)通过讨论达成了高度一致，并解决了分歧。在剩下的论文中，只有少数边缘案例进行了讨论，直到达成共识，两位作者(MK和SW)最终得出了相同的结果。在全文筛选中，不涉及AI或AI-enabled系统的文章(n=32)、不考虑人类参与者和AI-enabled系统之间的交互(n=15)、不区分AI-enabled和非AI-enabled CDSS (n=6)、不涉及CDSS (n=38)或医疗专业人员的观点(n=1)，或似乎是灰色文献或意见(n=2)的文章被排除。全文筛选的排除过程的详细文档在多媒体附件1，其中列出了所有被排除的研究和排除的原因。相关文献的选择通过PRISMA流程图(图1)．如果文章符合条件，我们总结并报告了影响有效合作的具体因素。

‎ 查看此图

结果

概述

根据我们的研究选择，我们最终综合了7项研究。从我们的角度来看，这一结果源于以下事实:许多基于人工智能的cdss研究(1)仅比较人类评分者和基于人工智能的系统的诊断准确性;(2)关注这些系统的技术特征和发展，但没有讨论它们对技术与人类参与者之间的交互或协作的影响。因此，纳入的研究中，大部分(5/ 7,71%)通过元视角思考目标，反映了特定特征或因素的相关性(表1)．

影响合作的因素

工艺特点

本研究涉及支持ai的CDSS的开发、实现和采用中的不同维度或步骤。这些系统的技术特征，即它们的设计所定义的技术的能力和属性[58]，被描述为有意义的决定因素，决定了系统和人类参与者之间的交互是如何形成的。例如，Cabitza等人[53他总结说，一个“真实、可靠、有代表性”的系统需要高质量的数据，并以此为基础进行训练。同样，Asan等人[30.]认为，与算法决策发展“健康的信任关系”依赖于对系统特征的深思熟虑设计。总的来说，系统的最终表现及其解释或证明其结论的能力似乎是一种积极关系的强有力预测因素[30.，31，54-56］．雷耶斯等人[56他将人工智能系统的可解释性定义为确保人类参与者理解“机器学习系统使用的特征与预测之间的联系”的能力。在目前的文献中，系统的可解释性和透明性经常互换使用[54]或者在某种意义上，透明度似乎是可解释性的一个上级类别[30.］．与系统解释其内部过程的能力密切相关的是，给定信息的主观可解释性对人类行为者的结果影响[55］．

此外，Tschandl等人[31]认为，ai支持的CDSS在简单性、粒度和具体方面的输出可能会影响临床医生的最终决定;人工智能系统的输出越能适应其使用的情景上下文，人工智能和人类的整体诊断性能就越精确(例如，面对多类别诊断问题的临床医生得到基于人工智能的多类别概率的支持)。此外，一项研究提到了可用性和用户满意度对有效的人类与人工智能协作的重要性[53]但没有在ai支持的cdss的背景下提供定义。

人为因素

此外，影响人类行动者与技术互动的社会(如信任)、心理(如人格特征)和认知特征(如认知偏见)，即人为因素[59]，似乎也是系统和参与者之间关系的有意义的先决条件。艾山等[30.]， Tschandl等[31]，费明汉等[54]、郑、曾[57他认为，医疗专业人员的临床经验是决定人类与人工智能合作的互动和表现的一个非常重要的因素。总的来说，这些研究表明，经验较少的医生从ai支持的cdss中受益最多，并获得更高的整体诊断准确性，而经验丰富的医生的诊断准确性差异很小或根本没有差异。此外，Asan等人[30.]和费明汉等人[54]认为，技术经验，甚至医疗专业人员的个性是医疗专业人员决策过程的重要因素，尽管还没有研究调查它们对人工智能支持的cdss和人类参与者之间合作的影响。此外，Asan等人[30.]和费明汉等人[54]提到，系统和人类行动者之间的关系可能会被几种在不同时间影响协作的认知偏差所破坏，即确认偏差、锚定效应、过度自信、可用性偏差、框架效应、过早关闭和自动化偏差。从一般的医疗决策中已经知道，认知偏见改变了医疗专业人员的理性过程，导致错误的诊断和治疗[60］．由于决策过程中的偏见思维以及在这些过程中不同时间出现的各种偏见，人工智能支持的cdss容易受到这些偏见的影响[54］．

在纳入的研究中，人类参与者对ai支持的CDSS的信任似乎是直接影响合作质量和技术采用的另一个重要因素。例如，Cabitza等人[53)认为，缺乏信任可能是由于不同的技术特征及其环境适应性造成的，但总是会对人类-人工智能团队的整体表现产生负面影响。雷耶斯等人[56假设系统的可理解解释性确保了高水平的信任，包括系统解释其学习过程和预测的基本或最有效决定因素的能力，以及对其内部过程的充分和情景可视化。费明汉等[54他认为信任是通过人工智能和人类之间的互动过程创建的。因此，Asan等人[30.]也强调了构成信任因素的人为因素和制度特征之间的相互依存。然而，Asan等人[30.]认为，最大化信任不应该是最终目标，因为人工智能也有其局限性，盲目信任可能会导致不良后果。相反，系统设计者应该建立鼓励相互怀疑的机制，建立健康的信任关系，并最大限度地提高临床决策的准确性。从这个角度来看，信任高度依赖于人类参与者的个性、系统设计和协作中可能出现的认知偏差。综述了影响有效人工智能-人类协作的技术特征和人为因素表2．

医疗结果评估

在纳入的7项研究中，只有1项(14%)研究提到了有效的人类与人工智能合作与主要临床结果之间的相互关系。回顾一种用于皮肤癌诊断的人工智能CDSS, Felmingham等人[54]提到了这些系统对患者与皮肤癌相关的发病率和死亡率的可能影响。其他研究描述了次要结果，例如系统的数学精度[55]或使用CDSS的行为意图[57］．没有研究调查技术特征或人为因素对主要临床结果的影响。

研究的理论基础

在纳入的7项研究中，只有1项(14%)研究明确提到了实践意义所基于的理论基础。郑与曾[57]从技术接受与使用的统一理论中导出了他们实证调查的假设，这是一种被广泛用于解释技术使用意图和后续使用行为的技术接受理论[61］．这一理论模型的一个重要前身是社会影响(即“……一个人认为重要的人相信他或她应该使用新系统的程度。[61])。然而，根据他们的研究结果，郑和曾[57]放弃了他们关于社会影响影响临床医生使用CDSS的意图的理论假设。费明汉等[54]讨论了认知偏差在涉及ai支持cdss的决策过程中的作用。然而，Felmingham等人[54]并没有明确提到卡纳曼和特沃斯基的前景理论中认知偏见的起源[62］．

讨论

主要研究结果

我们的结果表明，只有少数(7/101,6.9%)研究已经提出了影响人类参与者和ai支持的CDSS之间有效协作的个体因素的问题。虽然关于这些系统出现了独特的考虑;例如，信任的重要作用[30.，53]，基本因素或特征的关系结构缺乏经验证据。此外，许多研究没有广泛描述所涉及的系统及其特征，无法准确区分AI和非AI系统[42］．因此，我们认为，更全面地描述所涉及的系统及其特征对未来的研究非常重要，因为它为比较不同系统及其有效性奠定了基础。然而，在回顾文献的过程中，我们能够区分主要与技术结构和功能相关的因素(技术特征)，以及主要与人类参与者的心理或感知属性相关的因素(人为因素)。技术特征和人为因素都会影响人类参与者与ai支持的cdss之间交互的性质。有趣的是，一些技术特征和人为因素似乎是相互作用的先决条件;例如，医疗专业人员的性格[54]，而另一些则似乎是相互作用的结果[53］．因此，正如Felmingham等人提出的[54]，可以假设人为因素和技术特征是相互依赖的，并共同塑造了人类参与者和ai支持的cdss之间的交互。如在背景部分中，人类行为者和AI之间的交互形式及其产生的交互关系可以被视为成功合作的条件。然而，根据当前针对非ai CDSS的研究，评估支持ai的CDSS的基础有所不同[20.］．我们的研究结果讨论了系统的准确性或数学性能，医疗专业人员的采用，交互的可持续性和一致性，以及与评估相关的对患者结果的影响。尽管人类行动者和人工智能之间合作的有效性目前取决于系统的背景和目标[53]，医学范式清楚地规定了CDSS的最终评估，通过其改善患者的主要和次要结果的能力[22］．由于人工智能系统具有自适应特性[29]，个人互动和协作的过程很可能是迭代和互惠的，并将随着时间的推移而改变和完善。图2根据我们的结果总结了这一过程，可以被视为人类与人工智能合作的拟议描述性框架。

‎ 查看此图

当将我们的结果与有关医疗专业人员与非ai CDSS相互作用的研究进行比较时，可以注意到高度的一致性。Khairat等[20.]提到了工作流适应度(适应性)、计算机知识(技术专长)、信任、临床医生普遍乐观的态度(性格)和临床专业知识(医学专长)是有效采用的重要因素。此外，Khairat等人[20.]报告可用性和感知有用性是决定因素。由于感知有用性需要在人工智能系统的背景下进一步具体化[53]，可用性可能对支持人工智能的cdss只产生很小的相关性，因为这些系统基于自动化的使用过程，并集成了类似人类的通信方式(例如，用于语音控制的自然语言处理)[29］．相比之下，CDSS的可解释性似乎是一种技术特征，它强烈影响着人类与系统之间的合作，无论是否由人工智能实现[63］．然而，可解释性与可理解性、可解释性、透明度等相关术语的区分尚未完成，可解释性对信任等其他相关因素的影响尚未得到实证验证[63］．一般来说，尚不清楚技术特征和人为因素如何以及是否会影响人类参与者与人工智能支持的cdss之间合作的其他具体方面。例如，研究表明，高临床专业知识会影响整体合作绩效[54但没有假设可能的解释。临床专业知识可能与对这些系统缺乏信任、过度自信偏见或这些系统有时不如有经验的医生准确有关。

此外，其他涉及非ai cdss的研究强调了信任在人与系统之间有效交互中的重要作用。信任是一个多维的结构。缺乏信任可能是由于对系统的数学准确性或适当性或系统在改善患者结果方面的目的持保留态度[64］．正如我们的文献综述揭示了人工智能cdss技术准确性的重要性，专注于对类人技术信任的研究表明，能力、仁慈和正直是可持续采用的必要先决条件[37，40］．然而，在强调信任在成功合作中的作用的研究中，只有14%(1/7)定义了信任的实际含义[30.]，纳入的研究中没有一项关注先决条件。考虑到对技术信任的定义不一致[48，65]，未来的研究可能会揭示人类行为者和人工智能技术之间相互信任的重要先决条件。此外，对ai支持的cdss的信任与临床结果改善之间的关系需要进一步研究。

来自我们文献的发现以及正在进行的关于非ai患者决策辅助的研究表明，人类参与者和CDSSs之间相互作用的更强大的理论基础是重要的[66］．费明汉等[54]已经证明，起源于前景理论的认知偏差可能会决定性地影响有效的合作，也就是说，倾向于确认已经做出的假设，而不是证伪它们，被称为确认偏差[67，可能会扭曲医疗专业人员和人工智能CDSS之间的关系，因为他们可能不会接受除自己以外的不同意见。相比之下，依赖自动化信息而不是警惕地寻找和解释信息，被称为自动化偏见[68]，实际上可能导致对CDSS提出的建议的未反映的接受。因此，为了讨论合适的理论基础，进一步解释和构建上述影响决策和协作的不同结构、因素和特征的非透明关系可能会有所帮助。此外，传统的以技术为中心的理论(如技术接受模型或技术接受与使用的统一理论)在人工智能决策中的应用所产生的问题可能会导致不适当的结果[29，69］．基于信任采用类人技术的理论[40]承诺通过强调技术采用和使用的交互组件来克服这些缺陷。

限制

我们的研究有一些局限性。由于一些研究从非人工智能启动的CDSSs的研究或非CDSSs分配给CDSSs的结果中得出了关于人工智能启动的CDSSs和人类参与者之间合作的结论，因此关于不同技术特征和人为因素之间相互关系的推理是初步的，需要进一步调查。尽管我们的结果与目前关于人类-人工智能交互的独特性和特殊性的研究结果非常吻合，但由于我们的创新和新颖的目标以及特定的背景，我们纳入了很少(7/ 101,6.9%)的研究，其中大多数是叙述性评论。这可能是我们搜索范围相对狭窄的结果，可以通过解释信任的相关结构和先决条件来扩展。基于合适的理论基础的探索性实证研究可能会产生框架和模型，以构建人工智能支持的cdss的未来研究，因为我们的研究主要提供了相关个体特征和因素的方向。考虑环境影响(例如，组织政策或文化[30.]和病人的意见[70])关于人工智能支持的医疗护理决策过程的信息对于可理解的理解至关重要，但无法在我们的审查范围内提供。

结论

我们提取了与医疗专业人员和ai支持的cdss之间有效协作相关的技术特征和人为因素。尽管之前对非人工智能cdss的研究的大部分结果与我们的结果一致，但特定因素的权重可能会随着人工智能系统的变化而变化。基于人工智能的cdss的适应性和越来越像人类的性质强调了决策过程的时间敏感性和互惠性，最终应导致护理的改善。在这些过程中，认知偏差随时都可能发生，从而影响协作的有效性。可解释性仍然是互动的基本前提，医疗专业人员的专业知识和个性已经成为焦点。此外，人与系统之间的信任成为决策支持的一个核心方面，而这些方面之间的相互关系仍然需要研究。共享决策等概念证明了整合患者的需求和愿望是合理的，这是医疗保健的一个重要因素，但它在人类与人工智能协作中的作用尚未得到充分体现。目前，尚不清楚如何将这些概念集成到人工智能增强的决策过程中，以及在CDSS帮助下的医疗决策在多大程度上受到患者对诊断或治疗的主观意义和理解的影响。此外，由于一些研究已经通过其他参数来衡量合作的有效性，在未来的研究中应该考虑主要和次要的患者结果。

如前所述，现代保健结构正面临越来越大的压力。相关医疗专业人员人均工作量巨大，人员供应下降。由于这些机构构成了大多数需要护理和治疗的公民的初始接入点，促进更有效的决策和治疗过程的方法正成为维持综合护理的必要方法。因此，支持人工智能的CDSS代表了一种重要的面向未来的措施，使卫生保健领域的参与者能够改善资源分配，做出更及时、压力更小的决策，并应对人员、设施和专业知识的短缺。然而，cdss的潜在应用和所追求的好处需要进行调查，以阐明如何在流行的医疗保健结构中实施人工智能支持的流程，从而减轻相关的风险和挑战，例如个体患者数据的过度简化或自动启动次优或错误的治疗。