加速肌图神经肌肉监测的探索性异常值检测:机器学习方法

介绍

在现代麻醉护理中，术后残留curarization仍然是一个经常发生且经常被掩盖的事件[1］.它在临床上转化为胃内容物误吸等并发症[2，3.]和对缺氧的呼吸反应受损[4］.这最终与术后肺部并发症引起的发病率和死亡率增加有关[5］.因此，神经肌肉阻滞剂患者围手术期神经肌肉功能的定量监测已成为国际公认的现代麻醉护理的绝对和核心必要性[6，7］.除了减少严重呼吸系统并发症的发生率外[8-10]，定量监测还可能节省大量医疗保健费用，因神经肌肉监测不理想而引起的并发症估计高达每位患者每次事件25 000美元[7］.

虽然看起来是一个简单的过程，但神经肌肉监测向使用者展示了经常被忽视或容易被误解的细微差别[11］.研究[12，13显示基线(对照)四组比率(TOFRs);当使用加速肌图(AMG)测量时，内收肌的T4/T1值通常高于生理值(TOFR > 1)。同样，Kopman等[13]仔细研究了常用AMG监测器使用的一些算法简化(T4/T2比率代替T4/T1)，以及它们的有效性如何依赖于非去极化神经肌肉阻滞的恢复程度。与肌电图(EMG)或肌力图相比，这些解释性的考虑，相关的频繁的人为混淆，以及已知的高估倾向[14导致麻醉师对客观神经肌肉监测方法的冷嘲冷讽，进一步阻碍了它们的广泛采用[15］.

本文提出的研究是由一款智能手机应用程序的开发所推动的，该应用程序旨在基于结合的加速度测量和角度手部运动数据进行神经肌肉监测[16］.在该应用程序与现有AMG监测设备的配对比较阶段，注意到两种设备的结果并不总是一致。例如，观察到收集的原始运动数据定期显示非标准的TOF模式，而AMG神经肌肉监测装置似乎没有检测到这些异常值，并显示了看似(过于简化)的tfr绘图。与任何旨在测量某种信号的仪器一样[17]， TOFR的测量同样容易出现异常值，这可能被错误地解释为正确的测量。

从数据分析的角度来看，可以采用离群值分析技术来提高数据的可靠性。异常值分析(或异常检测)是指在数据中发现不符合预期行为的模式的问题[18］.本研究旨在对原始AMG神经肌肉监测数据进行离线探索性分析，并设计特征(或变量)以标记错误的TOF测量。这些特征将随后在离群值分析中评估其可用性。

方法

概述

该手稿遵循“生物医学研究中开发和报告机器学习预测模型的指南:多学科观点”[19］.下面总结了特征工程的关键步骤和离群值分析算法的发展。

数据采集与预处理

本研究的所有数据都是在一项前瞻性开放标签双中心临床试验(临床试验标识NCT03605225)中收集的，该试验在ziekenhuisnetwer网络Antwerpen Middelheim(比利时安特卫普)和Universitair Ziekenhuis Brussel(比利时布鲁塞尔)进行。注册在试验开始前进行。数据收集始于2018年2月，于2019年4月结束。试验是在两家医院的医学伦理委员会批准后按照既定的方案进行的(ZNA Middelheim参考号5055;UZBrussel参考号2018/031,BUN 009201835039)。它遵循当前的良好临床实践指南和适用法律，并遵守适用的CONSORT指南。

用于算法开发的数据是通过专门设计的智能手机应用程序收集的，该应用程序专门用于监测通过外周神经刺激器对同侧尺侧神经进行神经外最大上刺激引起的手部运动。收集的数据包括三轴(3D)原始加速度值(m/s)²)，以及原始的3D角速度值(rad s¹)。

与标准AMG神经肌肉CE/ fda标记监测仪相比，涉及该应用程序测试版的早期试验已经公布，他们报告了双向95%的一致性限制为0.12 (TOFR，绝对单位)[16］.本研究纳入35例患者，共533次TOF测量。本文的两位作者(MV和HC)对观测结果进行了离线评估，他们彼此独立地进行了评估。随后比较了异常值的分类，并在TOF模式的标记上达到98%的一致性。总共533个观测值中有30个被确定为异常值。在18例患者的TOF测量中发现了这些异常。

工程特性

通过开源Cordova Plugin Device-motion库采集加速和角度信号[20.]，在3个正交的运动方向(X、Y、Z)上测量肌肉收缩的运动。类似于肌力学的研究[21]，对这些信号进行均方根分析，以其加速度(以m/s为单位)表示肌肉位移的范围²；图1)。然后直接从连续监测信号中导出模型的特征。第一组基本特征(表1)得到:不同TOF抽搐(T1、T2、T3、T4)峰值附近多个点的联合加速度值和绝对TOFR值。

‎ 查看此图

此外，为了更好地了解不同AMG测量值之间的差异，计算了与一次测量相关的AMG值的算术平均值和标准差。为了避免与其他描述性统计数据混淆，它们被标记为“AMG_StdDev”和“AMG_Mean”。设计了一组额外的特征来评估特定的TOF模式特征(表2)。其中一些是从不同TOF抽搐之间的距离(以前缀“delta”命名;图2)，而其他特征则是基于特定TOF抽搐与各自TOF测量平均值的比率(以前缀“ratio”命名)。对于非异常模式，人们会在逻辑上期望这样的比率远远高于TOF测量的算术平均值。总共提取和设计了15个特征，作为离群值检测模型的输入。我们强调，作者故意设计了上述特征，以检测基于特定测量实例的信号特征的异常。由于数据集的大小有限，没有考虑到TOF记录、给药或其他患者相关参数的任何历史信息的特征。

‎ 查看此图

模型开发和过拟合

模型开发包括基本特征集和工程特征集。由于该研究的数据集是由2个不同类别(正常观察值和异常值)的标记数据组成的，因此监督学习可以以分类模型的形式应用。由于异常值在数据中是罕见的实例，因此存在一类不平衡，其中正常观察值和异常值之间的分布显着偏斜。为了克服类不平衡问题，采用代价敏感学习技术，对分类算法的目标函数进行修改，对正常类和频率较低的类以差分方式对分类误差进行加权。这具体指的是成本敏感逻辑回归(CSLR)，其中使用类权重配置来影响在训练期间更新的逻辑回归系数的数量。对于来自普通类的实例所犯的错误，权重对模型的惩罚较小，而对于来自罕见类的实例所犯的错误，权重对模型的惩罚较大。结果是一个版本的逻辑回归在不平衡分类任务上表现更好[17］.为了避免过拟合，在数据预处理阶段，将可用数据集的一部分作为测试集(图3)。此外，为了选择与我们所选模型相关的不同超参数，我们采用了交叉验证策略，更具体地说是分层k-fold验证的形式，以及称为网格搜索的超参数优化技术。

‎ 查看此图

模型评价

评估工程特征的有效性(表2)，将其性能与基本特征(表1)，并检验其显著性。因此，我们训练了2个cslr:一个在基本特征集上，另一个在工程特征集上。所有模型的性能都在同一测试集上进行评估，该测试集占总数据的40%，与训练集分离。选择精度、召回率和F1分数作为性能评估指标，因为它们最适合评估具有类不平衡的数据集。此外，还计算了受试者工作特征(roc)和曲线下面积(AUC)图，以表征模型的性能。

统计分析

使用开源python库Scikit-learn进行统计分析[22］.采用Wilcoxon符号秩检验比较CSLR模型的性能，其中P<。0.05认为显著。

结果

描述性统计，模型训练和交叉验证

两个特征集的描述性统计量在表3。与超参数优化、训练和测试相关的Python代码参见多媒体附录1。与基本特征相反，工程变量显示出更大的变化，这可以从它们的标准偏差中得出。事实上，主要是“δ”变量似乎是倾斜的。图4显示了基本特征T1和TOFR的散点图和分布图，以及工程特征ratioT1和deltaT4_T1。虽然基本特征散点图中的异常值在整个正态数据中更加分散，但与正态观测值相比，工程图散点图中的异常值可以更清楚地识别出来。

在模型训练方面，训练数据集(n=319)包含18个异常值，而测试数据集(n=214)包含12个异常值。通过scikit-learn库的train_test_split函数以完全随机的方式选择训练和测试数据实例[22］.交叉验证期间的数据分割仅在分段测量上进行(n=533)。训练数据和测试数据的分离也采用分层的方式进行，以保证整个数据集的类不平衡分布相同。对于分层k-fold学习，考虑到训练集的大小，选择5次折叠来分割训练集。结合交叉验证，采用网格搜索方法为数据集的不平衡类分布找到L2正则化系数的最佳超参数和适当的类权重配置。所有模型训练、交叉验证和模型评估均使用开源库scikit-learn和高级编程语言Python(版本3.8.2)进行[23］.

‎ 查看此图

模型的性能

图5给出了F1分数和ROC-AUC性能指标在模型训练和验证期间的学习曲线。通过将模型训练和验证性能绘制为训练集大小的函数，可以评估高方差(即过拟合)或偏差(即欠拟合)。虽然总的来说，两种模型似乎都有很好的偏差-方差权衡，但基于工程特征数据集的CSLR往往比基于基本特征的模型更容易过拟合。

‎ 查看此图

在表4给出了基本特征和工程特征的cslr的F1分数、ROC-AUC、精度和召回率。给出了训练和测试数据集的性能指标。与训练数据集的指标相比，测试数据上具有工程特征的CSLR模型的性能有所提高，表明模型没有过拟合。对于CSLR模型的基本特征，我们观察到相反的情况。具有工程特征的CSLR模型的F1评分(95% CI)为0.86(0.48-0.97)，显著大于具有基本特征的CSLR模型(0.29 [0.17-0.53];P<措施)。ROC曲线和AUC曲线结果见图6。具有工程特征的CSLR模型的AUC (95% CI)最高，为0.91(0.72-0.97)，显著大于具有基本特征的CSLR模型(0.86 [0.63-0.93];P<措施)。

‎ 查看此图

讨论

主要研究结果

本文获得的结果表明，在术中TOF测量的异常值自动识别方面，工程TOF特征优于基本和常用的临床神经肌肉监测终点。在测试数据集中，与基本特征的CSLR相比，工程变量的CSLR正确识别了12个测量值中的9个作为异常值，而基本特征的CSLR仅正确标记了三分之一的异常值。此外，基本特征CSLR显示出高度的假阳性，其中12个TOF测量被错误地标记为异常值，而具有工程特征的CSLR模型则为0个假阳性。虽然作者认识到目前的模型是建立在有限的数据集上的，为了达到临床可部署的离群值检测算法，还需要进一步的开发，但工程特征算法的性能有望在临床应用中得到应用。各种研究工作[8，15，24]强调，定量神经肌肉监测仍然是次优的，并且不情愿被执业麻醉师采用，其中包括由于监测设备的低感知有用性和可靠性。即使根据要求有效地提供，由于人为记录而产生的不可靠性已被证明是一致监测采用的普遍障碍和技术障碍[15］.然而，标准神经肌肉监测器的测量误差(伪影)发生率是未知的，因此，包含的正式描述和相应的生理相关性也是未知的。

鉴于麻醉监测的广泛范围，这种异常值分析的日常临床相关性和最终成功采用肯定会受到争议。然而，本研究中CSLR模型的发展是基于临床基础报告的监测问题[7，8，15，25-29］.图7举例说明标记异常的神经外刺激诱导时刻。虽然所有的TOFR值都是可量化的，在正态范围内，但仔细检查就会发现异常值。

‎ 查看此图

锚定这种离群分析的临床背景下的神经肌肉阻断监测还有待实际和前瞻性地完成。虽然作者预计目前的离线分析将改善神经肌肉监测的采用和植入麻醉监测仪时的临床错误，但这只能在目前的发展阶段进行推测。此外还应重申，目前的发展并未解决教育不足这一瓶颈问题。事实上，在临床实践中经常观察到基于肌电图的神经肌肉监测中T1%未能达到100%左右的基线水平，这同样引发了麻醉师之间的不信任[15］.最近的一项随机试点试验强调了人为因素对推荐软件有效实施的重要性，在该试验中，一种相当广泛部署的预测算法-低血压预测指数(爱德华兹生命科学公司)-已被证明未能吸引麻醉师[30.］.

正如最新的围手术期神经肌肉管理共识声明所强调的，教育工作是现代麻醉神经肌肉监测的重要组成部分[7］.在作者看来，自动化决策支持软件本身有望帮助，但不能解决或废除全球采用神经肌肉监测的次优问题。

考虑到即使使用CE/ fda标记的AMG/运动学/EMG神经肌肉监测设备，动态数据也会出现频繁和已知的人为偏置[25-29]，离群值分析的附加价值对于可靠性的目的尤为重要。例如，Liang等人[29进行了AMG和EMG监测装置的同侧比较，得出结论AMG不如EMG精确，并且至少高估了0.15个单位的EMG TOFR。Kopman等人进行了类似的研究[28发现AMG TOF值倾向于高估肌电恢复的程度，其偏倚估计为0.125。然而，两位作者都不能提供为什么测量AMG和EMG设备之间的偏差估计的原因，并指出它们缺乏一致性不能用任何一种设备的不精确来解释。虽然在没有技术问题的情况下，异常值不能解释系统报告的方法间精度差异，但如果有足够的训练数据可用，这些异常值确实有可能补偿小的动力学细微差别，如超调。从这个意义上说，可以潜在地避免常用的AMG校正技术，例如根据基线测量值进行归一化。然而，基于本文提出的结果，这种潜力纯粹是推测性的。

研究的局限性

• 可以认为，在本研究中收集并应用于开发算法的数据集的样本量有些有限。为了解决这一限制并避免过拟合，我们为逻辑回归选择了一种代价敏感的学习技术，采用交叉验证策略和网格搜索优化技术，并实现了机器学习中常用的正则化训练。
• 虽然我们所提出的具有工程特征的CSLR模型能够在AMG神经肌肉监测过程中检测到异常值，但与可能的原因没有相关性。因此，除了重复测量外，临床医生如何根据算法给出的警告采取行动仍不清楚。
• 本研究的数据是通过基于amg的智能手机应用程序收集的，该应用程序专门用于监测TOF运动模式并计算相应的tfr。该应用程序正在进一步改进，以促进神经肌肉监测和提供临床术中决策支持。虽然该装置所记录的测量结果的质量先前已在一项临床试验中得到评估[16]，但仍有可能某些异常值是由手持设备本身的性质造成的。
• 我们提出了一套工程特征，具有在神经肌肉监测中实时检测异常值的潜力。进一步的分析可以揭示用于此目的的带有附加信息的特性。此外，本研究没有分析(在线)实时数据流来检测异常值。
• 该算法的开发依赖于AMG神经肌肉监测设备。而这些装置仍是麻醉领域中应用最多的定量神经肌肉装置[6]，所开发的算法无法处理基于肌电图的设备[31］.
• 本研究不是一项方法间验证研究，而是一项精度提高的练习，仍然需要前瞻性的方法间比较。这是指它与AMG和EMG设备的配对比较。

结论

这项研究表明，一组工程特征具有检测基于术中测量的AMG神经肌肉装置的异常值的能力。基于这些特征的模型的发展为神经肌肉监测的离群检测技术的创建显示了有希望的结果。通过进一步的研究和额外的训练，可以在AMG神经肌肉监测设备中实现异常值检测算法，自动扫描TOF测量中的异常值，而不依赖于医疗提供者的主动输入。