使用麻醉前会诊前完成的MyRISK数字评分对患者围手术期风险评估:前瞻性观察研究

简介

背景

在法国，病人接受择期手术的过程包括手术会诊、麻醉前会诊(PAC)和麻醉前访视等几个基本步骤[1］．1994年12月5日的法令明确规定麻醉师必须进行麻醉麻醉[2］．这种会诊有助于麻醉前对患者健康状况的评估，为补充检查(如实验室检查)的处方提供依据，以及任何允许根据美国麻醉医师协会(ASA)评分正式进行围手术期风险评估的专业会诊提供依据[3.］．例如，围手术期风险评估可用于确定患者是否有资格接受门诊护理、增强术后恢复方案或相反，是否有资格在重症监护病房住院[4，5］．目前，这种最先进的评估需要医学专业知识。

除了ASA评分的低可重复性之外[6，7]，在PAC期间的围手术期风险整体评估没有很好的标准化，可能是不完整的，特别是在咨询时间有限的情况下。这就是为什么在一些麻醉小组中，患者被要求在PAC前完成一份纸质问卷，允许他们详细说明，例如，他们过去的医疗和手术史或他们通常的治疗方法。然后，病人须在PAC期间将填妥的问卷交给麻醉师[8］．然而，与纸质收集相比，患者报告的电子结果测量有许多优点[9-13]:首选情态;(直接)可视化结果;更高的数据质量和响应率;缩短完工时间;促进患者与临床医生的沟通，改善决策过程;等等。关于麻醉前问卷，电子版本被认为比纸质形式更有效[14］．此外，有研究表明，数字化的术前信息和评估程序可以提高围手术期护理的质量[14-16]，特别是通过自动提醒或临床决策支持。因此，健康数字工具在围手术期肯定是主要的兴趣。

目标

2020年，与covid -19相关的限制加快了组织数字卫生创新的实施。在COVID-19危机的背景下，法国图卢兹Purpan市图卢兹大学医院麻醉科决定通过实施远程会诊来实现PAC的数字化(尽可能地减少人际接触)和数字对话代理(又名聊天机器人)，允许在PAC之前收集医疗数据。评估收集数据的相关性以及用户满意度的方法对于验证这一数字工具的可持续使用似乎至关重要。这项研究的主要目的是证明我们的聊天机器人能够根据围手术期的风险水平对患者进行分层。我们假设MyRISK围手术期风险评分是根据数字化收集的数据，在PAC前根据预定义的算法建立的，与术后6个月并发症的发生相关。我们的次要目标是使用机器学习模型来提高该评分的预后预测价值，以重新分类为中等风险的患者，并评估患者和医生在使用这种数字健康工具时的满意度。

方法

实验设计

本单中心前瞻性观察研究在图卢兹大学医院麻醉科进行。据我们所知，基于自我报告的医疗数据的数字评分与术后并发症的相关性从未被描述过。因此，不能对MyRISK评分中被列为围手术期高危的相对风险和阳性和阴性预测值做出任何假设。考虑到预定骨科手术术后并发症发生率相对较低(近5% [17])，我们估计约500名患者应被纳入以达到我们的目标(基于专家意见)。

人口

2020年6月1日至2020年10月31日期间，计划在图卢兹大学医院接受骨科手术的所有年龄为>岁18岁的患者都符合条件。排除标准是存在成年人保护制度(监护、策展人或正义保障)，不会说法语的患者，存在影响信息理解的重大感官障碍(失明或失聪)，没有通过聊天机器人完成数字问卷的患者(这一标准被认为是拒绝参与)，以及表示反对参与本研究的患者。

MyRISK得分

麻醉前数字会话代理，医疗助理经历（马克斯)，由图卢兹大学医院的两名麻醉师(FF和VM)与一家创建安全健康伴侣的公司合作开发(BOTdesign，图卢兹，法国;图1；多媒体附件1而且2)．其内容基于先前存在的纸质问卷，并添加了被认为相关的麻醉项目，例如那些允许计算文献中发表的围手术期评分的项目。例如，我们可以引用阿姆斯特丹术前焦虑和信息量表评分的计算[18];Lee心血管并发症风险评分[19];或打鼾、疲劳、观察到的呼吸暂停、血压、BMI、年龄、颈围和性别(STOP-BANG)阻塞性睡眠呼吸暂停筛查评分[20.]，其中8个项目中的7个来自患者对对话代理的反应。

一旦做出手术决定，就可以访问聊天机器人，之后患者会收到一封电子邮件，邀请他们使用智能手机、平板电脑设备或电脑创建自己的个人账户。收集的数据可由患者随时编辑。

MyRISK评分采用德尔菲法[21］．第一步是在聊天机器人收集的所有数据项中识别出那些相关的数据项，也就是说，在预测风险评分的制定中被认为具有权重。经过两轮讨论后，由6位专家组成的评审小组就16个项目达成了共识，并将其保留(表1)．第二步是定义16个项目的独立风险等级(1、2或3)(表1)．第三步是基于这16个项目开发一种算法，将全球围手术期风险水平分层为3类，对应于假设的低、中、高全球围手术期风险。简单地说，当16项标准均为1级时，将患者分为低风险，当16项标准中≥1项为2级时，将患者分为中等风险，当存在≥3项2级标准或≥1项3级标准时，将患者分为高风险。

最后，为了使MyRISK评分成为一个可视化工具，需要使用绿色，橙色,或红色的Dot分别被分为低、中、高围手术期风险级别。这种颜色编码在参加MAX项目的患者的数字仪表板上很容易访问和看到。然后患者被认为患有绿色，橙色,或红色的MyRISK得分。

‎ 查看此图

术后并发症

每位患者在手术后6个月由一名参与研究的医生通过电话采访。在提供研究目标和口头同意信息后，采用电话调查的方式询问患者术后可能发生的并发症。该调查由计算机化的结构化问卷指导，允许安全收集匿名数据。经口头同意后，查阅电脑化的术后患者记录表，确保术后并发症的发生无遗漏数据。访谈的平均时间为9.8分钟(SD 9)。

我们认为患者有术后并发症，如果他们经历了至少一个不良事件中列出的文本框1．

用户满意度

通过系统可用性量表(SUS)评估患者对聊天机器人质量和可用性的满意度。SUS是一个经过验证的标准化工具，用于收集用户对数字化系统易用性的看法[39，40］．

简单地说，SUS评估用户体验和可接受性(表2)．列出了10个陈述(5个正面陈述和5个负面陈述)。用户使用李克特量表(Likert scale)从1 (强烈反对)至5 (强烈同意)．总体得分的计算考虑了具有反向价值的项目。最终分数在0到100之间;50 - 75分为一般，75 - 85分为良好，> - 85分为优秀。

通过简单的数字评分量表(NRS)收集患者对数字会话代理的使用和PAC过程(即面对面咨询或远程咨询)的总体满意度，范围从0(非常不满意)到10(非常满意)。

在此期间，要求使用数字平台的麻醉医师使用相同的评估量表(NRS和SUS)评估他们的满意度。

机器学习模型

我们的目标是训练一个机器学习模型来预测患有a或a的患者的MyRISK评分绿色或红色的得分。然后，这个训练过的模型被要求预测分类为橙色然后把它们重新分类修改后的绿色或修改红色．

数据预处理

用于训练模型的数据集是从一个更大的患者数据库中提取出来的。我们过滤掉了缺失值为>70%的重复个体和特征。我们还转换了标称特征在一个炎热的编码方法，为每个惟一值创建一个新的二进制特征。我们最终筛选出了被归类为橙色对于预测任务。最终处理的数据集由1823个人组成，分类为绿色或红色的83个功能。

特征选择

为滤除冗余特征，采用递归特征消除(RFE)方法[41］．简单地说，应用了以下步骤:将数据分为训练集和测试集;在训练集上训练模型，并在测试集上评价模型的性能;评估每个特征的贡献，并确定贡献最小的特征(局部Shapley相加解释方法[42])并删除，然后再回到第一步。

RFE算法返回每个特征的训练集和测试集中的模型性能列表。给出了RFE对模型训练精度和测试精度的影响图2．最终在数据集中选择了25个特征进行最终的模型训练。

‎ 查看此图

模型培训及表现

使用极端梯度增强分类模型对所选的25个特征进行训练[43］．使用超参数网格搜索，获得了良好的训练和测试混淆矩阵，准确率分别为97.5%和96%。

所有处理阶段都使用开源软件机器学习库sklearn 1.0.1和Python编程语言(版本3.9.7;Python软件基金会)。

统计分析

定性数据以数字(%)表示。定量数据酌情用中位数(IQR)或平均值(SD)表示。分类变量比较采用Fisher精确检验或卡方检验。定量变量比较采用非参数Mann-WhitneyU测试。采用多因素分析(逐步logistic回归分析)确定术后6个月并发症发生的解释变量。分析是在意向治疗基础上进行的。使用MedCalc (version 12.6.1;MedCalc Software Ltd)。P<。05was considered statistically significant.

伦理批准

这项研究被认为是教育科学的一项实验，旨在评估在当前实践中实施的新数字工具的参与性和教学质量。因此，这项研究被认为不属于Jardé法律，这意味着这项研究不需要正式的伦理批准。

聊天机器人在参与者创建账号后收集了他们的健康状况信息，但BOTdesign公司既无法获取患者的身份信息，也无法获取他们的IP地址。这一数据保护战略是与图卢兹大学医院中心电子健康委员会商定的。与数字问卷的连接是安全的(遵循一般保障资料规例指导方针)。与外科医生预约后，向患者发送电子邮件邀请登录。患者选择自己的秘密密码来创建他们的MAX帐户。在入组前，每位患者都得到了关于这项研究的口头和书面信息，以确保他们对参与这项研究没有任何异议。这项研究没有给参与者带来任何风险，也没有改变通常的护理途径或患者管理所需的时间。

结果

人口

在2020年6月1日至2020年10月31日期间在图卢兹大学医院接受骨科手术的1000名符合条件的患者中，共有434名(43.4%)患者登录了聊天机器人。在这434例患者中，401例(92.4%)同意参加本研究。所研究人群的特征在表3．

用户满意度

通过NRS评估，患者对聊天机器人使用的满意度中位数评分为8.0 (IQR 7.0-9.0)(满分10分)。SUS评估的使用数字问卷的满意度中位数为90.0 (IQR 82.5-95.0)(满分100分)。

选择平板电脑或智能手机的用户SUS得分中位数(97/391,24.8%)高于选择电脑的用户(294/391,75.2%):分别为92.5 (IQR 80.5 -97.5)和90.0 (IQR 82.0-95.0) (P= . 01)。

绝大多数pac为远程会诊(331/401,82.5%)。关于患者对未来PAC的意愿，接受远程会诊的患者中有54.7%(181/331)希望在未来保持这种PAC模式，而接受面对面会诊的患者中有19%(13/70)希望在未来保持相同的PAC模式(P=。08)。远程会诊的平均患者满意度评分(NRS)为8.4 (SD 1.59)(满分10分)。

收集麻醉师(n=18)对数字平台使用的满意度评分。他们的满意度中值为7.0 (IQR 6.0-8.0)(满分10分)，SUS可用性中值为72.5 (IQR 63.1-88.1)(满分100分)。

术后并发症

在分析的389例患者中，16例(4.1%)在6个月后出现术后并发症。没有死亡报告。单变量分析的结果显示在表4．

ASA和MyRISK评分之间存在依赖关系(表5)．

与ASA评分=1相比，ASA评分≥3与术后6个月并发症的发生独立相关(优势比[OR] 5.8, 95% CI 1.7-20.2;P= .006)。相比之下，绿色分数,红色的评分与术后6个月并发症的发生独立相关(OR 5.9, 95% CI 1.5-22.3;P= .009)。分析中纳入的年龄和手术风险未被确定为术后并发症发生的独立变量。所选模型的受试者工作特征曲线(AUC)下面积为0.78 (95% CI 0.73-0.82)。

最后,一个红色的评分预测术后并发症的敏感性为75%，阴性预测值为98%，特异性为66%，阳性预测值为9% (AUC=0.70)。

使用机器学习模型重新计算MyRISK评分的预测值

MyRISK评分为橙色的患者重新分类

在主要终点分析的389例患者中，150例(38.6%)最初被分类为橙色．在这150例患者中，4例(2.7%)发生术后并发症。在146名患者中橙色无术后并发症的65例(44.5%)被重新分类为修改红色81人(55.5%)修改后的绿色使用训练好的模型。同样，4例术后并发症患者中，3例(75%)最终被重新分类为修改红色1(25%)为修改后的绿色．

对于这4例患者，采用局部Shapley加性解释方法计算各特征的贡献(详见Methods部分)。结果显示在图3．

‎ 查看此图

改良MyRISK评分的预测价值

4例患者曾分类为橙色被重新分类，一个修改红色MyRISK评分与术后6个月的并发症密切相关(OR 21.8, 95% CI 2.8-171.5;P= .003)。ASA评分≥3也与术后并发症相关(OR 4.7, 95% CI 1.4-16;P= . 01)。

最后,一个修改红色评分预测术后并发症的敏感性高(94%)，阴性预测值高(99%)，但特异性低(49%)，阳性预测值极低(7%;AUC = 0.71)。

讨论

主要研究结果

通过这项研究，我们能够验证围手术期风险评分的预后预测价值，该评分是由数字对话代理收集的数据建立的，用于辅助麻醉医师在PAC期间进行操作。在这种情况下，MyRISK评分与术后前6个月发生的并发症的发生率相关。使用机器学习模型重新分类为中等风险的患者，提高了其预测价值的强度。使用客观的方法，允许根据颜色代码(即可视工具)进行围手术期风险分层，并在PAC前可用，这可能与医生相关。最后，使用这种创新的数字工具似乎完全满足了用户。

我们能够确定医学临床评估结束时围手术期风险水平(即ASA评分)与PAC前数字计算的围手术期风险水平(即MyRISK评分)之间的依赖关系。Zuidema等人已经发现了这种相关性[44]在2011年的一项研究中，作者对14,349名患者进行了22项数字问卷调查，强调计算机化风险评估可以表现良好，并与ASA评分的临床评估相关(AUC=0.953)，同时限制了临床医生评估的ASA评分的个体间变异性。在这种情况下，值得注意的是，ASA评分数值错误分类的主要因素是不完整或不正确的患者反应。最近，Enneking等人[45)给出了5项标准的术前综合风险评分(以患者为中心的麻醉分诊系统评分)，与ASA评分相关性良好(AUC=0.75, 95% CI 0.69-0.83)，突出了其对患者分类的有用性。自2017年以来，作者一直在临床实践中使用这一评分，为被归类为无风险的患者提出远程会诊的系统性能。

通过分析术后前6个月发生的并发症，我们能够验证MyRISK评分对术后严重不良事件发生的独立预后预测价值。据我们所知，这种在客观标准(即术后并发症)上验证数值风险评分的方法从未在文献中被描述过。因此，通过根据围手术期风险水平可靠地对患者进行分类，使用(修改后的)MyRISK评分可以在PAC之前通过提出最合适的会诊方式对患者进行分类(例如，[修改后的]绿色患者进行远程会诊，[修改后的]红色患者进行面对面会诊)。与这种分诊模式相关的次要好处是预期的:患者的体验可以通过减少等待时间和优化咨询时间来改善。此外，面对面的会诊可以专门用于管理病情最复杂的患者，这些患者需要进行专门的检查或咨询。此外，随着麻醉师在患者术后管理中的作用越来越大，实施术后会诊可能是未来的趋势，特别是对于被归类为高风险的患者。在这种情况下，数字工具有助于保持患者和护理人员之间的联系，以便更好地随访，从而能够早期发现甚至预防术后并发症。

目前的健康状况暂时确定了减少全国旅行以限制人际接触的必要性。因此，法国国家卫生局建议使用远程医疗，以实现对患者的远程管理[46］．最后，2019冠状病毒病大流行凸显了数字卫生解决方案在促进危机情况下护理组织适应方面的潜力[47］．在此背景下，发展数字化解决方案马克斯帮助我们在限制解除后重新组织手术活动。使用(修改后的)MyRISK评分对远程会诊和面对面会诊之间的患者进行相关分布，可以允许在大流行后无限期地继续远程会诊。然而，仅有25.7%(100/389)的患者被划分为围手术期低风险(即:绿色)．对于中度风险患者的组织管理仍然存在问题。橙色)．值得注意的是，当使用修改后的分类时，被归类为围手术期低风险(理论上符合远程会诊条件)的患者比例增加到47%(183/389)。

在我们的研究中，患者对使用数字问卷和PAC过程的满意度非常高。所开发的数字会话代理似乎是一个足够的收集患者医疗信息的平台，获得了良好的可用性评分。此外，在智能手机或平板设备上完成数字问卷的可用性似乎更好。我们的研究结果强调了患者使用数字健康平台的热情。这些结果与VanDenKerkhof等人的描述一致[14]，通过计算机化麻醉前问卷调查，患者的舒适度提高了>70%。

虽然我们没有严格评估数字对话代理收集的数据的可靠性，Osman等人[48]显示，当使用麻醉前电脑化问卷调查时，反应可靠性为>90%。因此，现在文献中对数字信息收集的可靠性有共识[49］．

有几个因素可能有利于患者接受这种新的数字解决方案。入选患者的年轻年龄(中位年龄39.0岁，IQR 27.0-54.0岁)和他们的教育水平(305/389,78.4%，有研究生学位)可能解释了获得的非常高的满意度和可用性水平。这些结果与Kruse等[50］．事实上，患者的年龄、教育水平和计算机技能是作者确定的远程医疗采用的3个主要障碍[50］．患者在使用这种数字支持期间获得的可接受性和满意度鼓励我们部门开发远程医疗解决方案。在使用该平台期间，医疗团队成员提供的良好满意度评级加强了这种热情，这可能与数字对话代理收集的数据自动集成到计算机化的PAC文件有关。然而，对医生遇到的主要困难的定性分析强调了各种软件系统之间良好互操作性的绝对必要性。

在我们的研究中，术后6个月的并发症发生率为4.1%(16/389)。没有死亡记录。这些结果与文献中已发表的结果一致。事实上，在2013年，Chikuda等人[51]评估>万例骨科手术患者的术后发病率和死亡率[51］．在这种情况下，发病率和死亡率分别为4.2%和0.11%。

我们的研究有几个局限性。首先，在术前计划手术中获得的结果不能推断到紧急手术的情况下，使用数字会话代理来辅助PAC似乎很难实现。其次，本研究分析的PACs中82.5%(331/401)为远程会诊。患者被纳入的时期与第一次闭锁结束相对应，这解释了远程会诊的高比率，这并不能很好地代表我们单位实践的后续发展(目前约为40%)。第三，根据MyRISK评分将患者分配到远程会诊或面对面会诊的潜在好处值得更详细地研究;例如，分析患者感知的护理质量指标(例如，患者报告的结果测量和患者报告的体验测量)[52]可以证明被归类为绿色接受远程会诊是最佳选择，尤其是避免不必要的旅行，以免打乱他们的个人和专业日程安排。第四，通过咨询国家卫生数据系统收集总体护理消费，可以通过更全面和详尽地分析患者术后演变，提高MyRISK评分的预后预测价值。这种类型的医学经济学方法在未来应该受到青睐。第五，本研究的实验设计不允许我们评估大量患者与MAX无联系的原因。因此，满意度和可用性分数似乎被高估了，因为它们只是从患者的用户群体中收集的。在这种情况下，对整体数据的分析对于理解数字鸿沟的潜在解释因素至关重要。第五，需要进一步的研究将MyRISK评分的有效性扩展到其他手术人群，从而推广我们的结果。最后，有必要研究这些工具的使用对临床决策和患者结果的影响。

结论

总之，我们能够证明围手术期风险评分的预后价值，该评分是由PAC前实施的数字对话代理收集的数据建立的。在这种情况下，MyRISK评分与术后6个月的术后并发症的发生有关。使用机器学习模型重新分类为中等风险的患者，提高了其预测价值的强度。从患者那里获得的出色的满意度和可用性鼓励我们在医疗保健中开发和使用这种数字解决方案。在使用这种数字分层方法指导患者进行远程会诊或面对面会诊或为高危患者提供围手术期个性化护理途径之前，有必要进一步研究评估MyRISK评分的整体使用情况。