非接触睡眠监测与红外视频数据估计睡眠呼吸暂停严重程度和区分体位和非体位睡眠呼吸暂停:模型开发和实验验证

介绍

睡眠呼吸暂停是一种慢性呼吸系统疾病，是由于睡眠中频繁的呼吸气流减少而发生的。气流停止超过10秒称为呼吸暂停，而气流部分减少超过30%并持续至少10秒-与血氧饱和度或觉醒下降超过3%有关-称为呼吸不足。显示正常呼吸、低通气和呼吸暂停时胸部运动的图像样本如图所示图1。呼吸暂停低通气指数(AHI)是衡量睡眠呼吸暂停严重程度的指标，它衡量每小时呼吸暂停和低通气的发生率[1]。未经治疗的睡眠呼吸暂停会增加高血压、心脏病和中风的风险[2]。

‎ 查看此图

体位性睡眠呼吸暂停是指仰卧睡姿AHI比非仰卧睡姿AHI至少高出50%的睡眠呼吸暂停患者[3.]。最近的研究表明，改变侧卧睡姿可以降低体位性睡眠呼吸暂停患者的AHI [4]。这种行为干预被称为“体位疗法”，是一种有效的非侵入性和非药物治疗体位睡眠呼吸暂停的方法[5]。

目前临床诊断睡眠呼吸暂停并确定其是否是体位性的方法是基于多导睡眠图(PSG)。然而，PSG需要为一个用户连接20多个传感器，这很不方便。训练有素的睡眠技师会手动分析记录的PSG信号，并在夜间标注睡眠姿势。此外，PSG价格昂贵(> 400美元)，在某些地区等待时间较长(加拿大为4-36个月)。6])。因此，高达85%有睡眠呼吸暂停风险的人群仍未得到诊断[7]。因此，研究可以通过更简单的测试来识别高风险个体的筛查技术是有用的。增加检测、诊断和后续治疗的可及性可以通过减少高血压和嗜睡来改善患者的生活质量，还可以降低总体医疗保健费用[8-10]。

研究人员已经开发了几种易于使用、方便和可访问的方法来监测睡眠呼吸暂停。Merchant等人[11]开发了一种皮肤粘附贴片，记录鼻压、血氧饱和度、脉搏率、呼吸努力度、睡眠时间和体位来估计AHI。Ayas等[12利用外周动脉血压计、活动记录仪和动脉血氧饱和度来诊断睡眠呼吸暂停，评估了腕戴式设备的性能。Varon等[13[j]介绍了一种从单导联心电图中自动检测睡眠呼吸暂停的方法，该方法通过对心电图信号提取的特征训练最小二乘支持向量机分类器。一些研究通过分析气管声音或气管运动，或气管声音与氧饱和度的结合来估计AHI和呼吸事件[14-18]。[qh]19使用脉搏血氧仪来量化动脉氧饱和度并诊断睡眠呼吸暂停。

虽然这些方法比PSG更方便，但附着在身体上的传感器可能会破坏用户的正常睡眠模式。因此，研究人员继续开发非接触式方法来筛查有睡眠呼吸暂停风险的个体。例如，我们之前开发了一个深度学习模型来区分不同类型的呼吸暂停。然而，由于模型无法检测事件，我们为此使用了地面真值标签[20.]。Jakkaew等[21使用热像仪来估计呼吸频率和身体运动;然而，他们并没有分析呼吸模式来识别睡眠呼吸暂停，而且这种方法也不是用来检测睡眠姿势的。邓等[22使用六个主动红外摄像头和一个Kinect传感器来检测身体位置和呼吸模式(异常与正常呼吸)。然而，他们没有在临床环境中评估他们的方法来证明检测睡眠呼吸暂停或体位性睡眠呼吸暂停的性能。此外，使用6个摄像头和Kinect将很难在临床或家庭环境中设置，这阻碍了大规模采用。Davidovich等[23]开发了一种新的框架，通过提取时间和频域特征，然后计算AHI，从放置在患者床垫下的压电传感器中提取呼吸模式。Nandakumar等[24使用智能手机发射听不见的波，并分析用户身体的回声，以检测呼吸事件。然而，这些非接触方法没有交叉验证的表现，并且由于其模式的限制，它们无法识别体位睡眠呼吸暂停患者，这对于正确治疗至关重要。

为了识别有睡眠呼吸暂停风险的患者并区分体位性睡眠呼吸暂停患者，另一种方法是使用计算机视觉和机器学习技术。我们在此提出了一种非接触式算法，通过分析参与者在睡眠期间拍摄的红外视频来估计AHI，并区分体位与非体位睡眠呼吸暂停患者。具体来说，我们使用3D卷积神经网络(CNN)来分析红外视频中的运动，检测呼吸暂停，并估计AHI。在实验评估中，该模型优于先前报道的非接触AHI估计的最新结果的基线模型[25]。我们还将这种技术与另一种基于cnn的方法相结合，该方法可以检测睡眠姿势[26]计算不同睡姿下的AHI，识别体位性睡眠呼吸暂停患者。本研究中开发的方法和结果代表了第一个自动区分体位性和非体位性睡眠呼吸暂停的非接触方法。

方法

数据收集

大学健康网络研究伦理委员会批准了这项研究(批准号13-7210-DE)。参与者年龄在18至85岁之间，无心血管或肾脏疾病史。参与者是从多伦多大学健康网络康复研究所睡眠实验室转介的睡眠诊断患者中招募的。所有参与者在参加研究前都签署了一份书面同意书。在使用毯子、活动或睡觉时穿的衣服上没有限制。

与用于临床睡眠诊断的夜间PSG (Embla s4500)同时，以每秒30帧的640×480分辨率记录参与者的红外视频。参与者的视频数据被收集，并与PSG信号同步，连续5(±1)小时的睡眠。

红外摄像机(Point Grey Firefly MV, 0.3 MP, FMVU-03MTM)安装在床上方约1.5米处。为了照明，一个单独的红外光源(Raytec RM25-F-50)被安装在天花板上。相机设置和采样帧的示意图如图所示图2。

‎ 查看此图

参与者整个晚上的呼吸事件(呼吸暂停和呼吸不足)和睡眠姿势(仰卧，侧卧)由一名训练有素的睡眠技术人员进行注释，该技术人员对该研究不知情。由于视频数据与PSG数据是同步的，一旦技术人员标注了PSG数据，所有视频帧都会自动标记。

你好估计

首先将视频帧从30 Hz降采样到2 Hz，以减少计算成本。由于睡眠时呼吸频率约为0.5 Hz，因此减少的2 Hz频率超过奈奎斯特频率2倍。为了在红外视频帧中跟踪呼吸运动，一个CNN密集光流(Flownet 2.0 [27])，在快速帧速率下提供精确的光流。光流提取运动x(左右)和y(上和下)方向的每个像素在一个视频帧到下一个。呼吸暂停的最短持续时间为10秒。这意味着在一个事件的持续时间内有20个(最坏的情况下是19个)视频帧。为了估计呼吸事件，3D-CNN在18个光流图像(即由19个连续视频帧产生)的滑动窗口上进行训练。红外视频以640×480像素的分辨率捕获，得到尺寸为640×480×2的光学图像。在尺寸为640×480×2×18的输入张量上训练的3D-CNN的架构如图所示多媒体附录1。样本输入和密集光流图像如图图3。

‎ 查看此图

3D-CNN使用类加权交叉熵损失(事件5，正常1)和Adam优化器进行训练。学习率的初始值为0.001，批量大小为25，用于25,000次epoch。该网络参数总数为8284265个，其中可训练参数8281829个，不可训练参数2436个。根据睡眠呼吸暂停的严重程度，与正常呼吸相比，呼吸事件的频率较低;因此，数据集高度不平衡。在训练时间上，为了平衡数据集，呼吸暂停和正常呼吸的步幅分别为0.5秒和15秒。在测试时间内，使用0.5秒的步长来预测正常呼吸与呼吸暂停的二元标签。训练的二元分类(事件vs正常)的阈值设置为0.1，以最大化训练数据上曲线下的面积。

为了估计AHI，根据以下三个特征训练线性回归模型:(1)检测到的事件数量，(2)检测到的超过9秒的事件总持续时间除以睡眠持续时间，(3)睡眠持续时间。

3D-CNN的性能与我们团队开发的另一种方法进行了比较，该方法先前在基于非接触视觉的AHI估计中展示了最先进的性能[25]。这里简要概述了这种基线方法。为了提取呼吸相关的运动，使用稀疏光流提取视频帧中均匀分散的768个点的运动。主成分分析(PCA)应用于提取的30秒滑动窗的点轨迹，步幅为1秒，计算睡眠中与呼吸相关的主要运动[28]。该方法先前已被Zhu等人验证[29并且在夜间红外视频中被证明可以准确地跟踪呼吸频率。为了从呼吸相关运动中识别呼吸事件，提取了三个特征，包括呼吸频率、呼吸运动的平均功率和跟踪点的总位移。与正常呼吸相比，呼吸事件期间呼吸频率下降。为了提取呼吸频率，采用快速傅立叶变换计算提取的呼吸运动能量，窗口为10秒。与最高能量相关的频率被认为是呼吸频率。第二个特征是呼吸运动的平均力量，它在呼吸事件中下降。该特征计算为10秒窗内呼吸位移的绝对平方的平均值。最后一个特征是总位移，它表示非呼吸运动(例如，觉醒)，由所有原始光流运动的总和确定(在应用PCA之前)。利用这3个特征，训练一个有50棵树的随机森林二值分类器来估计睡眠呼吸暂停事件(呼吸暂停和呼吸不足)。最后，为了估计AHI，使用2个特征训练线性回归模型:(1)预测的睡眠呼吸暂停事件数由估计的事件持续时间归一化，(2)估计的事件持续时间由总记录时间获得的总睡眠持续时间归一化。

检测体位与非体位睡眠呼吸暂停

对于睡眠姿势检测，先前开发的算法[26]被使用。该方法使用CNN从视频帧中估计身体位置(仰卧与侧卧)。样例仰卧位和侧卧位图像见图4。该位置检测器应用于每个视频的第一帧。在每次大的运动之后(通过对光流提取的跟踪特征点在1秒内的总位移进行阈值检测)，再次使用检测器来估计新的睡眠位置。因此，在整个睡眠期间，每个视频帧都分配了一个身体姿势(仰卧或侧卧)。一旦检测到呼吸事件及其相关的睡眠姿势，计算每人6个特征:(1)仰卧位检测到的事件数量，(2)侧卧位检测到的事件数量，(3)仰卧位总记录时间，(4)侧卧位总记录时间，(5)仰卧位AHI，(6)侧卧位AHI。然后使用这些特征来训练具有三棵树的二进制随机森林分类器，以区分体位和非体位睡眠呼吸暂停患者。

‎ 查看此图

验证

使用留一人交叉验证来评估AHI估计的性能以及体位与非体位睡眠呼吸暂停检测算法的性能。采用Bland-Altman图和Spearman相关系数评价AHI估计的性能。由于AHI为15通常被用作筛查睡眠呼吸暂停的阈值[30.]，基于AHI=15的阈值评价算法对睡眠呼吸暂停患者进行分类的性能。混淆矩阵、准确性、精密度、召回率和f1评分用于评估分类性能。同样的方法被用来评估体位与非体位睡眠呼吸暂停分类的表现。

结果

本研究招募的41人(26名男性和15名女性)的人口统计信息显示在表1。有20名参与者有体位睡眠呼吸暂停，15名参与者有非体位睡眠呼吸暂停，6名参与者只睡在一个体位，因此呼吸暂停不能被确定为体位或非体位。

本研究中用于检测位置变化并忽略微小运动(如呼吸或脉搏)的阈值经验设置为20,000像素。总位移由所有光流特征点的位移之和计算[28]，并根据这个阈值进行检查。

为了评价AHI检测的性能，图5和图6显示了3D-CNN模型和基线模型的估计AHI和基于psg的AHI之间的散点图和Bland-Altman图(Zhu等[25])。

‎ 查看此图

‎ 查看此图

基线和3D-CNN方法的AHI估计的Spearman相关系数(ρ)分别为0.55和0.79 (P<。在两种情况下都是001)。此外，Bland-Altman图显示，根据较小的平均值(0.3 vs 8.9)和更严格的95%一致性限制(即，1.96标准差的较小值:40.9 vs 56.5)，我们的方法优于基线。混淆矩阵和基于AHI=15阈值识别睡眠呼吸暂停患者的性能度量见图7而在表2,分别。3D-CNN方法的准确率为83%，f1评分为86%，优于基线方法，后者的准确率为73%，f1评分为74%。

‎ 查看此图

位置检测算法估计身体位置的准确率为83%，f1得分为83%，准确率为77%，召回率为91%。位置检测算法与AHI检测相结合对体位睡眠患者的表现如图图8。3D-CNN模型对20例体位性睡眠呼吸暂停患者中的13例进行了正确分类。检测体位与非体位睡眠呼吸暂停的性能措施在表3。

‎ 查看此图

讨论

主要研究结果

本研究的主要贡献在于:(1)开发了一种新的非接触估算AHI的方法并进行了实验验证;(2)应用该方法自动识别体位性睡眠呼吸暂停患者。新开发的基于3d - cnn的方法在估计红外视频数据AHI方面优于基线模型。然而，它比基线算法慢4倍。尽管如此，新模型仍然可以在大约20小时内处理5小时的睡眠数据。通过将估计的睡姿信息与估计的AHI相结合，这是第一个可以识别体位睡眠呼吸暂停患者的非接触方法。

所开发的算法实现了与现有接触方法(例如，使用单个可穿戴传感器或放置在床垫下的传感器)相当的性能。例如，Hafezi等[15]分析了由加速计捕获的气管运动，以估计AHI并识别睡眠呼吸暂停患者。他们报告了估算AHI值和真实值(PSG)之间的Spearman相关性为0.86，在检测AHI≥15的个体时，准确率和f1评分值分别为84%和82%。因此，与我们的非接触方法相比，他们获得了更高的相关系数(0.86 vs 0.79)，但f1得分较低(82% vs 86%)。与基于接触的方法相比，使用非接触方法的优点是易于使用和方便。Davidovich等[23使用床垫下的压电传感器来估计AHI。他们得到了R²值为0.86，识别AHI≥15个体的准确率为88%，f1评分值为84%。使用摄像头有可能产生一种更容易使用的评估技术，因为它可以以平板电脑或手机应用程序的形式实现。

限制

我们的研究有一些局限性。一个限制是，当参与者移出相机的视野或当房间的照明条件突然改变时，事件检测算法会失败。另一个限制是参与者数量少(N=41)。通过留一人交叉验证对算法进行了验证。未来的工作应该检查这些模型在新环境中收集的数据的普遍性。

结论及未来工作

本研究应用机器学习和计算机视觉方法，开发了一种基于cnn的方法，从红外摄像机收集的数据中检测不同睡姿下的呼吸事件。通过41名参与者的数据验证了该方法，以估计AHI并识别体位性睡眠呼吸暂停患者。

该模型可用于开发价格合理且易于使用的技术，用于在家中筛查睡眠呼吸暂停(例如，以平板电脑或智能手机应用程序的形式)。这样的系统可以帮助医生为睡眠呼吸暂停患者选择合适的治疗方法。最终，改进的治疗将减少未经治疗的睡眠呼吸暂停的后果，如车祸、心脏病、糖尿病和高血压。