英国初级保健候诊室患者对基于人工智能的症状评估和咨询技术的使用和感知:探索性试点研究

简介

背景

当一个人出现新的医学症状时，有一个不断扩大的医疗保健选择菜单。他们的选择可能受到年龄、性别、投诉性质、长期健康状况不佳、对医生的信任、社会经济因素等因素的影响[1]，以及在适用的情况下，自付费用[2］．在传统的英国医疗系统中，他们可能会从医院急诊科、全科医生(GP)、电话分诊服务(如英国的111)、药剂师或紧急治疗中心寻求治疗[3.］．最近，互联网支持的选项已经出现，例如使用搜索引擎查找症状(Dr谷歌)，高质量的在线资源，如NHS Choices [4]、症状检查器[5，6]、以电话或视像电话进行的远程健康谘询[7),分钟的诊所［8可以通过智能手机和点对点网络预订[9］．约三分之二的患者在看医生前在网上搜索过他们的症状[10]，但存在信息不适当和紧急病例缺乏适当分诊的风险[5］．

在人口老化、慢性病负担沉重、求诊率不断上升及门诊时间延长的背景下，基层医疗的整体工作量[11]和急诊医学[12]正大幅增加[11］．因此，对传统流程进行以供应为导向的改进，如分流非紧急患者[13]、护士分诊、快速追踪[12]，以及电话分诊[14力求更有效地利用专业资源。在需求方面，公共卫生运动通过营销活动向患者发出直截了当的信息，如不要去急诊室．然而，在一个长期资源不足的系统中，进行相对较小的调整将产生相对较小的结果[13]，采用广泛的方法劝阻使用医疗资源可能会产生意想不到的负面后果;大多数人不能充分区分问题紧急的，紧急,日常保健［15］．尽管人们对视频咨询的潜力感到非常兴奋，英国国家卫生服务(NHS)的全科医生合同甚至规定“到2021年4月，每位患者都有权进行在线和视频咨询”，但积累的经验是，NHS内部的卫生IT解决方案往往会遭遇“不采用、放弃，以及扩大、传播和可持续性方面的挑战”[16，17］．

应对这些挑战的一种潜在的变革性和更可扩展的方法是数字症状检查[5］．简单地说，病人在问答中输入他们正在经历的症状闲谈，聊天格式，并接收关于问题可能是什么(诊断可能性)，适当的护理水平(分类)，以及通常应该采取行动的紧急程度的建议。这些软件工具不同程度地依赖于数字化的医学知识体系、决策树、预测算法、贝叶斯推理以及针对代表性病例集的测试，以提供准确的建议。例子包括梅奥诊所(Mayo Clinic)或英国国家医疗服务体系(NHS)等医疗机构以及私人公司开发的工具。潜在的好处包括将紧急病例升级到适当的护理，将非紧急病例转移到自我护理，防止抗生素过度处方，减轻医生负担，减少对电话分诊服务的需求[4]，为卫生系统节省资金，并为患者节省金钱和时间(平均每次就诊3小时)[5，18］．

鉴于科技在日常生活中的优势地位，患者似乎已经准备好接受这种方法[19］．健康观察恩菲尔德最近对1000多名伦敦居民进行了调查。20.大多数患者(63%)会欢迎使用可信赖的症状检查器，尽管40岁以下的患者(71%-74%同意)的意愿程度远远高于70岁以上的患者(只有34%同意)。受访者会这么做的原因之一是不想要使用症状检查器，人们对误诊、健康焦虑、数字文盲、易用性以及想要面对面看医生或护士等问题提出了担忧。尽管人们对使用视频咨询(如Skype)或电子邮件表达了类似的兴趣，但这些对专业时间的负担要比全数字症状检查高得多。这项调查在英国卫生政策圈具有影响力，得到了媒体的关注，并促使英格兰NHS和NHSX做出回应，NHSX是英国政府政策部门，负责制定卫生技术的最佳实践和国家政策[21］．

目的

最近对面向患者的数字症状检查器的回顾提出了该领域应采取的一系列下一步措施，以评估此类工具[22］．在这项研究中，我们使用了其中一种建议的方法，即“临床环境中的早期观察性研究”，以“在患者继续接受标准护理的情况下，以安全的观察性方式测试症状检查器”。我们试图确定这种症状评估技术Ada在初级保健环境中的可用性、可接受性和实用性。我们的目的是评估更有效地满足患者需求的潜力，并考虑在家庭中使用类似技术如何在繁忙的初级保健环境中改善患者流量。针对健康观察恩菲尔德报告发现年龄在推动症状检查的可接受性方面的一个重要因素，我们将这一问题作为一个次要的兴趣问题进行了探讨。

方法

招聘

潜在参与者最初在登记时被诊所接待员告知Ada研究。然后Ada的一名工作人员找到这些潜在的参与者，询问他们是否有兴趣测试一项新技术，前提是他们的常规护理不会改变，参与完全是自愿的，参与也不会得到任何补偿。如果他们是出于非临床原因(例如，要求医生开具证明)，或者他们是为了常规的慢性疾病随访预约(没有急性症状)，那么潜在的参与者将被排除在外。如果他们同意，研究人员会给参与者一部预装了Ada特殊测试版本的研究智能手机，完成评估后，将智能手机交还给研究团队。共有3部研究智能手机同时使用。然后，研究团队要求每位参与者完成一份纸质问卷，以收集反馈。然后他们像往常一样去看医生。

措施

参与者被要求完成一份纸质问卷，包括他们的全名、出生日期、性别和李克特量表多项选择题，内容包括他们推荐Ada的可能性有多大，他们的使用易用性，Ada是否提供了有用的建议，他们是否会再次使用它，以及使用Ada是否改变了他们关于做什么的决定。问卷副本载于多媒体附件1．

统计分析

作为一项描述性的可用性和可接受性研究，我们没有可证伪的假设，因此没有进行正式的权力分析。收集的样本是基于可用资源的便利样本;2名全日制医科学生在诊所实习5周。每次分析都描述缺失数据，参与者不因缺失数据而被排除在外。为了与之前的调查进行比较，健康观察恩菲尔德报告[20.]，用户年龄被重新划分为该研究中使用的相同年龄组，<17岁，18-24岁，25-39岁，40-54岁，55-69岁和70+。因为健康观察恩菲尔德没有报告<17岁年龄组的数据[20.，它们被排除在可用性分析之外。一个学生t正态分布连续数据中两组均值的比较采用检验。采用卡方检验比较非参数分布或分类变量差异或两者均有统计学意义P<。05年,双尾。采用SPSS version 21 (IBM)进行统计分析。

道德

与产品测试和可用性研究相关的伦理标准应用于本研究。为了了解英国的相关道德准则，我们采用了NHS健康研究管理局的决策工具[23]，这证实了这项研究不会被NHS视为研究，因为研究参与者不是随机的，不需要改变标准护理，也不打算在兴趣设置之外提供可推广的发现。Ada以符合ISO27001(信息安全质量标准)的方式安全地收集所有数据。此外，Ada拥有I类医疗器械CE标志，符合欧盟通用数据保护条例(GDPR)，并获得德国联邦互联网医学协会“Bundesverband der Internetmedizin”的认证。

设计及设置

这项观察性研究于2017年11月至2018年1月在伦敦南部朗伯斯区的一家大型初级保健诊所Paxton Green Group Practice进行，该诊所有11名工作的全科医生，负责照顾约2万名注册患者。该团队由6名执业护士、一名初级保健助理执业医师、一名临床药剂师和一名副医师，以及19名行政和接待人员支持。相对于英国的全国估计，这种做法的人口倾向于年轻(25-40岁)，收入剥夺程度高于平均水平，黑人和少数民族群体的比例高于平均水平(白人占59%，而英国人口平均占80%)[24大约四分之一的患者是黑人。每天步行等候诊所每天早上均可提供给没有预约的患者，本研究的参与者都是从这些患者中抽取的。

Ada症状评估工具描述

Ada医疗情报的基本原则如下:在评估中，用户输入基本的健康信息(如年龄、性别、吸烟状况、糖尿病状况)，然后询问他们目前最令人不安的症状(目前的投诉)。然后，应用程序会向用户提出一系列问题，每个问题都由Ada的推理引擎根据概率确定的最优问题动态选择。此问题由推理引擎根据先前提供的所有基本健康信息和症状确定。推理引擎的设计目的是提出均衡数量的问题，以便从病史中合理地识别病情，而不需要过于繁重地完成(图1）.

‎ 查看此图

推理引擎根据医学知识的表示推断疾病概率估计。医学知识库用于定义一个贝叶斯网络，在该网络上进行近似推理，然后使用哪些信息理论方法来决定向用户询问哪些问题。该知识库由医生在医学文献知识整合的策划过程中建立和审查。按照这一标准化进程，它正在不断扩大。它包括所有常见疾病和数百种罕见疾病的疾病模型，包括其相应的症状和临床表现。疾病模型及其相关症状被添加到知识库中，并根据同行评审的医学文献的证据进行建模。症状/临床结果可以通过其他属性进一步细化，例如，强度或时间性和流行病学数据用于推导疾病的先验概率，以便进行正确的疾病概率估计。Ada的医学智能(即Ada的推理引擎和医学知识的组合)会根据一组数千个内部测试用例不断进行验证，这些测试用例包括来自不同医学专业的疾病，包括常见疾病和罕见疾病。该组包括基于医学文献(如已发表的病例报告)的病例，以及反映不同诊断确定性水平的典型临床病例场景。Ada医生团队根据这些质量保证措施不断审查系统的固有医学知识。 Ada’s medical intelligence is further verified on a continual basis through a second process, in which a verification tool is used to test each update of Ada’s medical intelligence, using hundreds of cases written by external doctors. These cases are kept confidential from the Ada medical doctors who curate the medical knowledge base and the set of cases is regularly updated.

在Ada，可用性工程直接集成到产品开发过程中。可用性过程及其相关活动与一般设计和用户研究活动有大量重叠，但强调文档的重要性和产品决策的透明度。在产品开发过程的开始，进行生成式用户研究(例如，用户访谈，跟踪，专家访谈)，以更好地了解用户和潜在机会。从这个阶段产生的见解被传递到设计阶段，在设计阶段，基于用户需求的初始概念被精心制作。这些概念通常通过从低保真度到高保真度的原型具体化，以便有代表性的最终用户对它们进行评估。尽管如此，其他方法(如启发式评估或认知遍历)用于收集关于界面的一般可用性和用户体验的反馈。诸如使用错误或可用性问题等发现将反馈到下一次设计迭代中，直到找到合适的解决方案。这种评估工作通常被称为形成性评估。它们发生在迭代产品开发的整个过程中，直到产品达到最终状态，以控制风险并通过设计确保安全性。在发布之前，进行总结性评估(即对产品的最终评估)，以确保产品有效和安全使用。 Furthermore, after product release, user feedback is collected via surveys, contextual interviews, and large-scale research studies, which is part of the postmarket monitoring activities and can initiate design iterations to improve user experience, usability, and safety of the product. If usability problems or areas of potential usability improvement are identified in the postmarket phase, then design improvements are introduced using the same process as described above.

结果

用户数据

在3个月的时间里，523名患者完成了Ada评估和问卷调查。虽然没有收集非自愿患者的数据，但我们估计约有三分之二的患者同意参与。大部分参与者为女性(表1(n= 325,62.1%)，男性约占三分之一(n= 185,35.3%)， 13例无性别报告。与2011年英国人口普查数据和该诊所自己的所有注册患者数据相比，这表明女性所占比例更高，尽管众所周知女性使用医疗服务的频率更高[1］．

患者的平均年龄为39.79岁(SD为17.7岁)，有17名参与者(3.3%)年龄数据缺失。相对于2011年英国人口普查大年龄组数据显示，这一人口中劳动年龄人口(15-64岁)的比例(81.6%)高于普通人口(66%)，儿童比例(0-14岁，7.9%，全国为18%)较小，老年人比例(65岁以上，10.5%，全国为16%)较小。使用Student的男性(39.05岁，标准差19.06)和女性(40.27岁，标准差17.00)的平均年龄无显著差异t测试(t₅₀₁= .739,P= .460)。相对于该机构的注册人口，样本中代表儿童的父母较少，而中年人较多(图2）.

‎ 查看此图

可用性和验收测试

总体而言，参与者对易用性的评价很高，大多数参与者(348/522,66.7%)表示易用性很高非常容易使用Ada;其余大多数参与者都报告了很简单的(163/522, 31.2%)，只有11个报告问题(9/522,1.7%，非常困难；2/522, 0.4%,非常困难的；其中一名参与者缺少数据)。如表2相对于健康观察恩菲尔德的研究，我们发现，与Ada互动过的实际用户的接受程度要比被问及他们认为自己有多大可能使用(未具体说明的)症状检查器的调查受访者的接受程度高得多。

虽然我们没有预先计划的假设来进行统计测试，但对手段的检查表明，有更高水平的热情、效用、再次使用的意愿、对临床决策的潜在影响以及按年龄组从临床转移的潜在趋势。例如，在18-24岁的人群中，22%(11/50)的人表示，如果他们在看全科医生之前使用Ada，使用Ada会改变他们的决定，但70岁以上的患者中没有人(0/ 28,0%)同意这一说法(尽管人数较少，28/427受访者或样本的6.6%)。中描述的任何可用性指标的非参数卡方测试都没有发现性别差异表2(分析未显示)。

紧急通知级别和重定向

数字症状评估工具的一个目标是提供适当的建议，并在适当的情况下鼓励自我保健(例如，上呼吸道感染等自限性疾病)。参与者被要求自我报告使用Ada评估是否会改变他们下一步要做什么的决定。整体而言，大部份受访者(425/494,86.0%)表示不会改变他们的决定表3．

讨论

主要结果

在这项现实世界的可用性研究中，伦敦南部一家初级保健机构的参与者认可了Ada的易用性，大多数人表示他们会再次使用Ada。这些数据来自有机会使用真实产品的人，与在同一城市相似时间范围内收集的健康观察恩菲尔德报告调查形成对比，在调查中，受访者被问及他们是否愿意在理论上使用简单描述的症状检查器，他们不太热情，特别是那些年龄较大的群体[20.］．

考虑到该产品的目的是为每个人提供更好的医疗保健服务，令人欣慰的是，在症状检查应用程序的感知可用性或效用方面没有发现性别差异。然而，我们确实在几个关键因素上发现了年龄差异，包括再次使用的意愿、感知有用性和改变健康决定的可能性。此前该领域的研究发现，使用科技的意愿与年龄有关[20.]，但这也与不同年龄组所呈现的健康问题的性质相混淆。例如，许多应用报告的用户群比一般人群年轻得多，年轻用户也可能反映出用户粘性更高。

虽然只是推测，但老年人认为这款应用同样容易使用，但他们的参与度却较低，这一事实可能表明，问题并非在于可用性或对技术的熟悉程度。相反，未来的研究可以探索老年潜在用户是否对与临床医生面对面的互动更感兴趣，想要讨论慢性病或多种疾病问题，或者，他们对卫生系统有更多的经验，他们可能会看到数字方法中的潜在风险，而年轻人可能不会察觉到。

限制

作为一项小型可行性研究，我们的方法有许多局限性，我们将在不久的将来通过假设驱动的研究来解决这些局限性。询问已经在全科医生候诊室的病人可能已经完成了问卷的预测效度可能较差，与其他标记相比，如他们之前的行为[25］．本研究中未测量的因素，如患者与全科医生的关系质量，已被证明是寻求健康行为的重要驱动因素，应予以考虑[26］．虽然大多数受访者表示，使用症状检查器不会改变他们看全科医生的决定，但值得注意的是，在注册时，他们即将面对面地看医生，因此相当坚持目前的路线。我们的样本所包含的女性比例高于事务所的注册数据或英国人口普查数据;这可能是因为女性更经常使用保健服务[1］．未来的研究应该在患者预约诊所之前研究现实世界的患者行为。

与之前工作的比较:可用性

这项研究表明了高度的可用性，几乎所有的受访者(511/522,97.8%)都报告了高度的易用性。类似地，一个与Ada无关的外部学术小组进行了一项独立研究，试图了解多维简形式的适用性用户粘性量表［27]，以Ada症状检查器为例[28］．在73名讲德语的瑞士参与者(49%为女性;平均年龄39岁，SD 15.4岁;范围18-73)，他们报告的评分很高感知易用性而且审美情趣［28］．对其他症状检查器的研究也报告了高度的感知效用。在对304名美国伊莎贝尔症状检查器用户的便利抽样中，90.1%(274/304)同意或强烈同意该工具为他们提供了有用的信息，类似比例的人表示他们会再次使用该工具[29］．

与之前工作的比较:重定向

在减少初级保健负担方面，本研究中约12.8%(63/494)的受访者预测，如果他们在看医生之前使用Ada，他们会使用不那么紧急的护理选择，如药剂师或自我护理。到底有多少病人会听从下一步去哪里的建议还有待观察，但在对美国伊莎贝尔症状检查器用户的调查中，大约一半(14/ 262,54%)被建议去急诊室的人报告说他们这样做了[29］．最近的另一篇论文报告了与Buoy Health症状检查器超过15万次接触的大致相似的发现:18.8%的计划前往初级保健的患者减少了他们寻求护理的紧迫性，2.6%的患者增加了他们预期护理水平的紧迫性[[30.］．两项研究的结果差异不大，可能主要反映了两项研究之间的主要设计差异:我们的研究探讨了那些已经选择参加初级保健实践的患者，而Buoy研究探讨了在家中表达的意愿。这两种方法都有优点和缺点:本研究排除了那些在使用应用程序后会改变就诊想法的患者，而在Buoy研究中记录后，患者的意愿可能已经改变，即使症状没有改变。我们的研究探讨了主动决定接受手术的患者群体:可能是症状更严重的人群。导致两项研究结果差异的其他可能不太重要的原因可能与文化差异(英国vs美国)、平台差异(基于手机vs基于网络)以及两个症状评估应用程序之间建议级别呈现的差异有关。

针对用户反馈的迭代产品改进

本研究中使用的Ada版本的一个局限性是难以将患者用于表达初始症状的许多短语解释为自由文本。我们试图通过开发一种更复杂的方法来识别患者用来描述其症状的自由文本短语来解决这一后研究问题。这种方法利用了机器学习，如果用户查询与已识别的术语和短语的内部库中的任何结果不匹配，就会应用机器学习。然后，机器学习方法使用之前用户查询训练过的算法，从Ada的医疗知识数据库中推荐实体。这对用户的最终效果是，Ada现在可以识别各种不同的短语，并将这些短语链接到数据库中的特定症状。这种方法也意味着Ada现在可以识别用户输入几次的新短语。很明显，病人经常拼写错误。我们与产品团队合作解决了这个问题，Ada现在能够识别并自动纠正各种拼写错误的术语。收到的另一个反馈是，Ada应该在初级保健诊所的网站上提供，以方便家庭使用。我们开发了一个网络嵌入大规模部署在美国大型医疗系统萨特医疗系统的版本。研究中的几位患者对我们如何在评估结束时改善给予个人的治疗建议发表了评论，特别是在建议自我护理时。这款应用现在提供针对特定病症的高级治疗建议，针对一系列通常适合自我护理的轻微病症。

未来的研究

目前，Ada症状评估工具主要用于家庭。这项研究增加了关于患者对初级保健实践访问的意图如何根据家庭使用应用程序而改变的信息。该研究还提供了关于症状检查器用作候诊室工具的潜力的数据。在这里，收集、记录和评估患者症状的综合能力，以及提供关于最合适护理的建议，可能会在实践中发挥作用;例如，可能基于应用程序支持的快速医生分诊，或者基于将患者重定向到全科医生实践中的护士、药剂师或其他卫生保健从业者。这些方法将在进一步的临床评估中进行调查，这将解决使用症状检查器后患者意愿变化的绝对适当性和安全性。

除了可用性之外，新的数字方法还必须经过严格的诊断覆盖率、准确性和安全性评估。在我们小组的一份预印本(目前正在进行同行评审)中，我们评估了8种流行的症状检查器和7种人类GP评分器的性能，以及一种为对照使用200个临床小插图的诊断建议[31］．这些应用的覆盖范围很广，多达一半的潜在用户因为太年轻、太老或怀孕而没有资格使用症状检查器;Ada为99.0%的用户提供了建议的病情诊断。在建议潜在诊断时，人类全科医生在前三名中给出正确建议的平均时间为82.1% (SD为5.2%);症状检查器的前3个病症诊断准确率低至23.5%，而Ada的前3个病症诊断准确率为70.5%，在症状检查器范围内名列前茅，因此最接近人类全科医生的表现。在安全性方面，人类全科医生对症状检查器用户下一步应该做什么给出的安全建议平均为97.0% (SD为2.5%);Ada的性能相同，为97.0%。

经过严格测试和认证的症状检查器有可能成为有用的工具，与人类医务人员一起部署，以减少诊断错误，优先考虑稀疏的卫生资源，并提高记录和记录历史的效率。诊断错误在我们现有的初级卫生保健系统中非常普遍，世界卫生组织委托进行的一项系统审查表明，初级卫生保健每100次咨询中约有2-3起安全事件，其中许多与文件不完整或不正确以及患者与提供者之间沟通不足有关[3.］．另一项针对大量美国人口的分析表明，医生的误诊率约为5% [22］．虽然软件可以大规模系统地更新、升级和打补丁，但对于现有的医疗系统来说，情况并非如此。理想的情况是可扩展的数字系统，可以帮助医生把时间更适当地分配到目前数字技术无法达到的许多技能上。

结论

像Ada这样的数字症状检查器可以发挥有用的作用，在正确的时间、正确的地点更恰当地指导患者接受正确的治疗。