人工智能(AI)作为一种技术被引入，以改善涉及系统不确定性和复杂性的决策，具有改变医疗保健实践的潜力[ 1, 2］．人类在人工智能实际应用中的作用往往被忽视。增强人类决策能力的自动化系统的发展可以追溯到20世纪50年代的Fitts列表，该列表确定了人类和自动化系统的互补能力[ 3.］．菲茨的清单包括11条陈述，声称人类在探测、感知、判断、归纳、即兴和长期记忆方面更胜一筹，而自动化系统在功率/速度、计算、复制、同步操作和短期记忆方面更胜一筹[ 4］．一些研究表明，自动化系统可能会改善人类的决策，也可能不会，这取决于它们的设计中是否或如何考虑人为因素[ 5］．

随着人工智能的快速发展，与其他技术不同的是，人工智能的过程、功能和角色缺乏明确的定义。 6］．信任是影响人与人之间互动的关键因素，包括他们与人工智能的互动。了解人工智能和人类之间的信任动态至关重要，尤其是在生命面临风险的医疗保健领域。在本文中，我们讨论了信任对人工智能和临床医生之间动态互动的影响，强调了影响信任关系的关键因素，并确定了医疗保健领域的主要挑战和未来研究方向。虽然人工智能系统的用户可以是多种多样的，包括患者和保险提供商，但本文的重点仅限于医疗保健领域的专家，即临床医生。我们承认，患者和保险公司之间的信任关系可能存在显著差异。

人工智能在挖掘医疗记录、设计治疗方案等领域显示出巨大潜力[ 15]，机器人介导的手术[ 16]、医疗管理及辅助医院运作、临床数据解读[ 17]、参与临床试验[ 18, 19]，基于图像的诊断[ 20.]、初步诊断[ 21]、虚拟护理[ 22]，以及连接的医疗保健设备[ 23］．除了这些应用，人工智能研究的重大投资[ 24]，以及最近监管人工智能在医疗领域使用的努力[ 24]，表明在可预见的未来，人工智能可能成为辅助医疗领域决策的重要技术。

与其他技术领域相比，医疗保健领域的人工智能研究提出了独特的挑战。物理系统模型在数学上描述了工程应用中的底层技术行为。然而，在许多医疗保健应用中，如医学诊断(例如，疾病及其原因之间的精确关系)缺乏这种定量模型，这带来了重大挑战。临床医生对相同临床病例的反应差异显著。因此，在不了解基本事实的情况下，训练基于人工智能的工具来接受临床医生携带个人偏见的主观反应将是一个挑战。此外，人工智能研究必须考虑到不同医疗保健应用中不同的医疗问题特征。例如，将针对癌症应用需求的人工智能的数学模型训练过程推广到心血管应用中可能是不可能的。此外，少数民族和残疾患者等弱势群体在数据中可能没有得到充分代表，如果在人工智能系统设计过程中没有仔细考虑这些群体，他们的需求可能没有得到充分考虑。每个应用程序都可能需要定制的人工智能流程，具体取决于可用数据的类型和数量、目标患者群体、数据中的可变性和有用信息的数量，以及要做出的医疗保健决策的性质。

此外，医疗保健是一个高度监管的领域，开发自适应人工智能技术以满足监管要求是一个额外的挑战。美国食品和药物管理局(FDA)将软件分为三类:(a)作为医疗设备的软件(SaMD)， (b)医疗设备中的软件，以及(c)用于制造或维护医疗设备的软件。FDA将SaMD定义为“…基于AI/ ml的软件，用于治疗、诊断、治愈、减轻或预防疾病或其他疾病时，是FD&C法案下的医疗设备，称为软件即医疗设备”[ 25］．SaMD的应用范围从用于诊断的智能手机应用程序，到用于查看放射图像的计算机辅助检测软件，再到用于检测乳腺癌的图像后处理[ 26］．FDA已经批准了几种基于人工智能的samd，这些samd具有“锁定”算法，每次对相同的输入产生相同的结果;这些算法是可适应的，但需要手动过程进行更新[ 25, 27］．

与标准的SaMD模型不同，自适应算法使用确定的学习过程来改变其行为，而不需要任何手动输入。由于学习和更新，每次接收给定的一组输入时，自适应算法可能会产生不同的输出。一个可靠的验证和验证计划，确保在自适应行为下安全可靠地运行，必须是人工智能设计的一部分。

医疗保健领域的人工智能对人类表现有两个潜在优势。首先，人工智能可以比临床医生更有效地从大数据(例如存储在电子健康记录中的非结构化信息的非传染性竖井)中学习。一个成功的人工智能系统可以有效地从离线或实时数据中提取相关信息，以帮助提高组织绩效，并帮助临床医生实时做出明智的决策。其次，人工智能系统可以以更高的精度执行预定义的任务。人工智能可以在不影响其性能的情况下处于持续的活跃状态——它不会像人类那样遭受倦怠。人工智能技术的这一特点有可能彻底改变复杂的手术。达芬奇机器人手术系统可以更精确地模拟外科医生的手部动作[ 28］．此外，人工智能在各个领域的现有应用，如AlphaStar(一种在电子游戏中胜过专家玩家的人工智能机器人)和LYNA(一种能够使用淋巴结活检图像检测乳腺癌的人工智能)报告了与人类决策相当的成功结果[ 29, 30.］．

人工智能的局限性可能会限制其在医疗保健等关键生活领域的应用。人工智能方法要求数据输入采用结构化形式，这限制了可以为医疗决策提供的信息类型。即使是可以从给定数据集自动找到合适数学表示的深度学习方法，也只能针对给定的输入类型(例如医学图像数据)进行训练，而且一旦开发出来，它们就不能接受另一种输入类型(例如来自患者的陈述)。此外，人工智能方法通常缺乏“常识”，这使得它们无法识别数据或决策中的简单错误，否则这些错误对人类来说是显而易见的。 31］．因此，结合医学专家的直觉和分析思维，有很大的潜力和改进的需要[ 32人工智能的计算能力在适当的人类-人工智能协作架构中。

人工智能能力的进步将扩大这项技术的作用，从自动化重复和定义明确的任务，到指导目前仅由医疗专业人员在不确定性下完成的决策。随着医疗保健提供者越来越依赖人工智能，适当的信任关系也被称为 校准信任( 33，成为有效决策的必要条件。典型的基于规则的软件系统的确定性和相对可预测性是促进用户信任发展的重要因素。确定性系统的结果行为完全可以由其初始状态和输入决定。然而，人工智能的不确定性本质，即一个算法对于相同的输入可以在不同的迭代中表现出不同的行为，可能会为信任的概念引入独特的维度。 图1我们概述了影响医疗保健人工智能信任的一些重要因素，改善信任关系的可能方法，以及它们对信任的影响。请注意，该图的目的不是提供一个详尽的列表，而是强调与信任医疗保健应用人工智能相关的重要问题。

目前，对人工智能系统缺乏信任是医疗保健领域采用该技术的一个重大缺陷。对AI的信任可能受到几个人为因素的影响，如用户教育程度、过去的经验、用户偏见和对自动化的看法，以及AI系统的属性，包括模型的可控性、透明度和复杂性、相关风险等。在这些因素中，可靠性是指人工智能技术能否可预测地、持续地执行一项任务[ 34]，可能在医疗保健领域尤其令人担忧，因为在新数据出现时，人工智能的可靠性发生了变化[ 35］．人工智能技术的可靠性取决于用户和输入数据。考虑到人工智能系统可能使用来自多个来源的不充分和主观数据进行训练，人工智能可能会产生临床用户可能意识不到的偏差或过拟合结果。这些担忧阻碍了这项技术的性能[ 36]，从而抑制用户对人工智能系统的信任和接受。

同样重要的是要注意 最大化用户的信任并不一定能从人类与人工智能的合作中得出最佳决策。当信任达到最大值时，用户接受或相信人工智能系统产生的所有建议和结果。而在某些应用中，人工智能可以通过整合来自多个来源的数据来超越人类决策[ 29, 30.]，上述限制表明，对人工智能不必要的高度信任可能会带来灾难性的后果，尤其是在生命攸关的应用中。因此，我们的研究支持的概念 最优信任在这种情况下，人类和人工智能都对对方的决定有一定程度的怀疑，因为两者都可能犯错误。做出最准确的临床决策所需的怀疑程度取决于人类用户和人工智能系统的能力。人工智能的发展必须纳入一些机制，这些机制将建立和维持与用户之间适当平衡的最佳信任水平，与人工智能系统的能力相匹配。 12］．

由于基于知识的进化人工智能系统行为的不确定性，在人类与人工智能协作中建立健康的信任关系是一项挑战。我们假设，在AI的发展中应纳入以下因素，以实现最优的信任水平:公平、透明和健壮性( 图1)．人们通常认为，算法决策可能会比人类判断产生更公平、更稳健的结果。 37］．然而，算法本质上区分并赋予某些因素相对于其他因素的权重。此外，机器学习算法的属性有可能反映和加剧潜在的数据偏见，这可能会不公平地影响基于性别、种族和性取向等敏感类别的受保护群体成员。例如，一项研究[ 38]实现了机器学习来检测皮肤癌，使用了来自深色皮肤患者群体的不到5%的数据来训练模型，这可能会导致对深色皮肤患者的偏见[ 39］．根据英国国际专员办公室的说法，人工智能的公平性取决于数据处理对用户(护理提供者和患者)的影响，他们对如何使用他们的数据(临床和个人数据)的期望，以及提供的透明度水平[ 40, 41)(与其他护理提供者和保险公司共享)。AI过程中的公平性与偏见最小化同时存在。偏差，即训练数据分布与偏好的公平分布之间的不匹配，可能会产生不公平的结果(预测/分类)。为了在人工智能系统中建立公平性，应该在验证和验证期间识别和减少来自临床医生主观反应的偏见。

通过意识或透明度来实现公平也可以提高信任[ 42, 43］．方便安全地获取患者数据可提高透明度[ 44并允许患者验证他们的信息。在我们看来，透明度不仅有助于理解人工智能算法的工作原理，还有助于理解由于代表性不足而导致的算法偏见和偏见。根据数据的可用性和质量，人工智能系统可能在某些任务上表现非常好，而在其他任务上表现很差。回顾上文提到的“皮肤癌的例子”[ 38]，如果临床医生被告知训练数据中的偏见(例如，少数民族代表性不足)，那么他们将更容易确定可以实施AI算法的合适患者群体(例如，白种人)。可解释的人工智能是实现人工智能透明度的另一条途径，它可能帮助临床医生对人工智能应用的结果做出有临床意义的解释，并做出明智的判断。然而，人工智能算法的可解释性和复杂性之间存在权衡。可解释的AI模型，如决策树，直觉上往往是简单的，可能不准确，特别是在处理大而复杂的数据时。确定可解释性和复杂性之间的精确平衡对于增强对人工智能的信任至关重要。最后，鲁棒性是人工智能模型对输入数据集做出决策的敏感性。鲁棒性差可能导致输入数据有小扰动的AI模型的结果发生重大变化。数据不足或错误会阻碍人工智能的健壮性。让AI模型免受这种波动的影响可以帮助建立对AI系统的信任。

人类与人工智能合作的有效性不仅取决于人工智能系统背后潜在数学过程的准确性，还取决于包括信任在内的人为因素。认识到医疗保健是一个动态的社会技术系统，其中子元素相互作用，这对于理解人类与人工智能协作中的信任关系是必要的。例如，对人工智能系统的信任可能会受到组织政策、文化、分配给医疗保健提供者的特定任务、提供者使用的其他类似计算工具、提供者与其他个人(如患者和其他提供者)的互动，以及内部和外部环境因素的影响。这一观点与系统工程文献中提出的人工智能研究路线图是一致的，也是互补的[ 45］．应用人为因素方法，例如SEIPS模型[ 46]到卫生保健领域可以帮助研究人员捕捉整个社会技术工作系统。这些整体的人为因素模型为研究人员提供了一个有用的概念框架，以捕捉与医疗保健中的信任建模相关的当代和动态问题。

其次，最近对人工智能算法的批准揭示了现有监管标准的局限性。2018年初，FDA批准了WAVE临床平台，这是一种利用生命体征数据识别高危患者的早期预警系统[ 35］．FDA标准是为传统的基于规则的算法设计的，不适用于高级人工智能系统，这些系统的预测性能在接触新数据时可能会发生变化[ 35］．为了衡量人工智能系统的影响，FDA应该对预测模型进行基准测试，并确保有临床意义的结果。与药品批准一样，FDA应该在人工智能系统的潜在评估中严格确认和测试替代端点。最近，FDA宣布正在制定一个框架，用于监管对新数据进行自我更新的人工智能系统，并就如何监管自我更新算法征求意见[ 47］．

人工智能引起了人们对医疗责任的深刻关注。根据现行做法，临床医生只在偏离特定健康状况的标准护理程序时才负责(不论病人的健康结果如何)[ 48］．然而，当人工智能的建议与标准护理过程不同，并对患者的健康结果产生负面影响时，如果临床医生遵循人工智能的建议，他们将承担责任[ 48］．这对人工智能系统以及人工智能和用户之间的信任意味着什么?使用人工智能系统的临床医生应该将其用于决策支持，而不是作为训练有素的临床决策的替代品。从这个意义上说，临床医生仍然要对任何可能发生的医疗错误负责，因为人类仍然是最终的决策者。那么，人工智能在哪些方面可以协助临床医生，临床医生是否能够使用和评估人工智能系统的可靠性?这些因素对临床医生对人工智能应用信任的影响有待进一步研究。

考虑到人类认知和人工智能方法的局限性，临床医生和人工智能系统之间的最佳信任水平仍然是未知的，以做出最准确和可靠的临床决策。将这种最佳信任水平与人工智能系统中的特定设计属性联系起来是另一个未知数。对该问题的分析应考虑到系统用户特有的个人人为因素，包括与之相关的相当大的偶然可变性和人工智能方法的不断发展能力。这种分析的结果应该为监管政策决策提供信息。

最后，与临床医生相比，患者对人工智能的信任预计会有完全不同的特征。首先，与临床医生不同，患者通常不具备医疗领域的专业知识。此外，无论患者是否是AI系统的用户，他们都将直接受到AI系统提供的临床决策(或建议)的影响。随着患者越来越多地参与到以患者为中心的医疗保健模式中，特别是受过良好教育的患者可能会质疑临床医生的决定，并希望了解这些决定是否基于人工智能的建议。如果人工智能系统是患者和临床医生之间共享决策过程的重要组成部分，那么患者和人工智能系统之间的信任关系值得进一步深入研究。