基于数据驱动评分模型的平衡康复训练自动评估:算法开发与验证研究

介绍

平衡康复是平衡障碍患者必不可少的循证治疗，尤其是当他们有跌倒风险时[1］．然而，为病人提供由专门临床医生进行所有所需康复治疗的住院治疗，既不可行，也不经济上负担得起[2］．理疗保健服务由医院或门诊诊所提供，由临床医生亲自进行评估，然后在患者家中进行无人监督的康复治疗(例如，奥塔哥运动方案[3.])。研究小组和发表的报告显示，90%以上的治疗都是在家中进行的[4］．根据这些程序，患者被要求报告他们的日常活动与指示的练习和行动在家里。在医生就诊期间进行实际进展评估[5］．据报道，患者动机低，坚持适当的康复锻炼计划，这些结果延长了治疗时间，增加了卫生保健费用[6］．虽然已经确定了导致依从性低的各种因素，但缺乏持续反馈是一个重要因素，医疗专业人员在家庭环境中对患者锻炼的准确监测被认为是必不可少的[7，8］．

典型的以家庭为基础的康复训练计划(没有集成数字工具)是基于一本关于物理治疗训练的频率、强度和正确表现的指导手册[8］．然而，这类项目并不总是确保患者的完全康复，因为依从率很低[9］．反过来，活动识别和评价在机器学习(ML)和计算机视觉领域得到了越来越多的关注。特别是在COVID-19疫情期间，使用传感设备和虚拟现实交互增强典型家庭康复项目的需求大幅增加[10］．

活动识别方法使用传感设备收集适当的信号，并推断所执行的活动。传感设备的复杂性和成本各不相同，包括视频传感器、惯性测量单元和压力传感器。基于视频信号的运动分析探索了各种表现形式，如骨架提取和时空体积。虽然近几十年来已经使用了许多视觉技术，但解剖学、人体遮挡和视角变化的巨大差异往往限制了所提出的模型正确评估运动表现的能力。传感技术(视频除外)在过去十年中取得了显著进展，特别是在低功耗设备、无线通信、高计算能力和数据处理方面[11］．可穿戴传感器可集成在衣服、带子、移动设备和智能手表[12］．值得一提的是，平衡康复练习的评估需要准确识别运动执行过程中的具体动作和运动学(例如，头部运动速度和方向，以及胸部屈曲)。

与对活动的单纯认识相比，特别是在康复项目中，对运动执行的评价是至关重要的。这对康复尤其重要，因为它表明患者是否能够执行规定的过程[13］．在过去的几年中，人们提出了几种运动评价方法。在之前的一项研究中[14，提出了一种基于深度学习框架的基于智能传感器的康复运动识别与评价系统。主要的限制是来自多个与活动识别相关的传感器的数据同步。在类似的方法中，收集的数据包括噪声，当不同的人执行相同的活动时，数据会有所不同[15］．在此基础上，提出了一种状态概率跃迁的方法来表示状态之间的跃迁可能性，以捕捉感知数据的隐藏状态。为了测试康复活动，引入了一个特殊的矩阵，并使用学习到的分类器来识别各个级别的每个班级的最佳特征。给出了测试输出值(0-1)范围内的评分函数。为了在康复中训练所提出的深度神经网络，得到的运动质量评分已被用于[16］．

先前的一项研究[17]提出了康复训练评估的隐式半马尔可夫模型。该方法从RGB-D相机的骨架中提取临床相关的运动特征，并提出主题的抽象表示。通过分析临床评估和动态时间扭曲算法之间的相关性，评估了所提出的解决方案的有效性。此外，之前的一项研究[18]提出了多路径卷积神经网络(CNN)用于康复训练的识别。相关实验的分类精度表明，多路径CNN是一种高效的传感器数据采集方法。在另一项研究中[19]，提出了一种基于深度学习的康复运动评估框架。该系统的主要模块是运动输出量度量的计算、运动质量数值评分的性能评估函数的评分和通过监督学习进行输入运动质量回归的深度神经网络模型。以前的调查[20.]建议通过深度学习进行基于传感器的活动识别。更具体地说，这项调查[20.]介绍了深度学习模型中基于传感器的识别的最新进展，其中作者总结了当前的文献(深度模型和感觉技术)。最后，之前的一篇论文[21]评估了使用物联网的身体活动识别和监测，并对现有研究进行了系统回顾。

深度学习的最新发展使得高级自动化特征提取在许多领域实现了有前景的性能[22］．基于传感器的深度学习方法已被广泛采用。此外，深度学习可以大大减少特征的压力，通过训练神经端到端网络可以获得更高的、有意义的特征。此外，深度网络结构有利于无控制的增量学习。然而，与监督学习方法相比，深度学习模型需要大量的数据，而这些数据通常在物理治疗领域是不可用的。因此，考虑到物理治疗练习的个体性，特征工程对每个特定练习都是强制性的。

在我们以前的工作中[23]，我们提出了一个管理家庭平衡理疗计划的框架。这个框架(图1)，由Holobalance项目设计和开发，包括一个全息虚拟教练，通过增强现实系统、运动感应平台和实时评估运动表现的智能引擎呈现给病人。有关该系统整体架构的详情，可参阅其他网页[24，25］．支持虚拟教练增强现实模块的技术在几项研究中都有描述(例如，[26])，在那里可以找到关于康复系统中的增强现实系统的信息。

‎ 把这个图

本研究的目的是设计、实施、测试和评估一个基于数据驱动技术的平衡康复练习的准确评估评分模型。更具体地说，本研究提出了离线评分功能的改进模型，该模型不是基于之前使用的基于知识的模型[23]，但它基于一个数据驱动的模型，能够更准确地预测所进行的练习的得分。对于闭环说服系统来说，正确评估练习的表现是至关重要的，因此本文提出的评分模型有望为整个系统的推理引擎提供更健壮可靠的反馈。

方法

伦理批准

本研究在德国/弗赖堡(参考文献:265/2019)和希腊/雅典(参考文献:9769/24-6-2019)获得了机构伦理批准。

研究设计

进行了一项有20名参与者的试点研究，目的是收集适当的数据集来开发评分模型。在1例退出后，19例患者按照之前描述的方案进行了为期8周的平衡康复计划[27]。参与者是去年至少摔过一次的老年人。他们都被告知了研究的背景，并自愿参与，在提供他们的书面同意后，他们愿意在临床中使用全息平衡系统，并将他们的数据记录下来并用于研究目的。

虽然全息平衡系统是为家庭使用设计的，但它被安装在一个诊所的设置，以测试安全性和收集必要的数据。招募患者后，按照临床研究方案，根据迷你平衡评估系统测试(MINIBEST)、功能性步态评估(FGA)、国际跌倒疗效量表(FES-I)、蒙特利尔认知评估(MoCA)、世界卫生组织残疾评估表(WHODAS)和活动特异性平衡信心量表(ABC)对患者进行功能和认知评估[27］．值得一提的是，尽管mes - i和ABC都试图推断患者的相似信息，但它们的输出并不完全相关[28］．人口数据以及检验的分布情况载于表1．根据FGA结果，本研究人群存在轻度认知障碍[1］．

数据集

参与者按照医生规定的平衡康复计划，进行16次训练(每周2次)。在每节课中，根据计划进行一组练习。每次练习的次数从3到8次不等。参与者被要求按照自己的节奏(动作的频率和速度)进行练习，这将使他们感觉舒适，避免任何症状。随着会议的进展，项目的目标是增加这些指标。

所执行的练习(以及每项练习的相对进展水平)，在以前的论文[27]，根据每项运动的运动学特点，被分为9类。康复方案包括3种类型的锻炼(坐姿锻炼、站立锻炼和步行锻炼)。更具体地说，有3种坐姿练习，分为3个等级(根据强度和复杂性)，4种站立练习，分为4个等级，3种步行练习，分为3个等级(表2)．训练的设计遵循难度递进原则，包括简单任务和复杂任务，旨在通过多感官康复训练实现头眼手协调。如先前报道[29]，该系统为终端用户所接受，并可在医院和家庭环境中使用。

该数据集收集于2020年4月至2021年6月。总共记录了1313次演习。表3总结所收集的注释练习。

在练习过程中，一名物理治疗师对患者进行监测，并使用一个评分标准对患者的表现进行评分，该评分标准包括坐姿和站立练习的4个组成部分(频率、振幅、速度和对称性)和行走练习的附加组成部分(步态质量)。对于具有复杂运动学特征的运动，在评分时考虑了附加的分量。例如，如果一项运动包括头部运动和走路，那么头部运动和步态质量的红色组件将被包括在评分过程中。

更具体地说，对于坐姿练习，频率指的是每秒头部旋转的次数(例如，在坐姿练习1的偏航面)，而振幅指的是头部从前部位置到运动端点的旋转程度。此外，速度指的是病人完成一个动作所需的秒数。这个指标与频率不同，因为患者通常会在运动动作之间暂停几秒钟，尤其是像坐姿运动3这样复杂的运动。

对于每个组成部分，给出了从0到3的分数，0分表示没有完成练习。在红色组成部分的顶部，每个练习的总得分是后验计算的所有组成部分(N)的平均值。

所提出的评分模型推导出练习中涉及的所有组成部分的得分，以及总得分，主要需要为说服训练系统的相邻模块提供输入。

所有患者都接受了培训课程，以熟悉该系统。此外，理疗师在时间和运动机能学方面为患者提供了正确执行练习的具体指导。如前所述[23]，这些指令被用来创建系统的基于知识的评分模型。

中描述的数据集的子集表3由2名物理治疗师进行注释，他们在练习过程中监测患者。更具体地说，来自4名患者的38次治疗，包括90次坐姿练习、78次站立练习和59次步行练习，由2名独立评估者进行评分，以评估注释过程的观察者间可变性。这就产生了评分规则的不同组成部分的665个注释分数。

度量和分析

如前所述[23]，基于一套传感装置(图2)，系统收集时间信号，并通过提取特定的运动学指标进行处理，这些指标被转换为运动分析。这些分析，以及之前提出的基于知识的评分模型[23]，作为构成评分模型的ML模型的特征。表4总结提取的特征，作为ML模型的输入。这套基于家庭的系统的构建原型，包括所有的传感设备、头戴式显示器和处理单元，成本约为4800欧元(4850美元)(图2)．

基于知识的练习分数模型(kb_score)，在表4，是一种基于规则的模型，它试图基于捕捉到的运动分析值来评估运动的性能。更具体地说，一组专家建立了每种运动分析的可接受范围(例如，坐姿练习1中的头部运动为30度)。基于这些范围的知识模型计算患者在这些范围内的时间比例，以及患者与最佳范围的距离，并输出最终的kb_score。用于评估平衡、摇摆和稳定性、姿势和躯干摇摆指标(表4)已被使用过。

‎ 把这个图

评分模型

提出的数据驱动运动评分模型使用的输入分析描述在表4并为每个练习输出评分向量，如中所示图3．更具体地说,f_我指描述病人在进行运动时的运动和运动的特征，而r_我指在每个不同练习中表示的每个评估组件(频率、振幅、速度和对称性)。最后,总分指的是对工作的全面评估。由于输入特征的重要性因练习类别而异(表3)，为每一组练习和进度开发一个单独的模型，并纳入最终的评分模型。

‎ 把这个图

为了确定与每个红色成分(和总分)最相关的ML模型，针对每个成分评估了一组ML模型。考虑的模型为k最近邻(kNN) [31]，支持向量机(svm) [32](同时具有线性和径向基函数)，高斯过程[33，随机森林[34，神经网络[22， naïve贝叶斯[35]和AdaBoost [36］．之所以选择这些特定的模型，是因为它们已被用于大量类似的数据驱动问题[37］．

对于站立练习3，由于其运动过程的运动学特性不同，需要考虑不同运动过程的不同模型。这导致这些案例的数据集相对较小。为此，SMOTE(合成少数过采样技术)算法[38]用于对收集的实例进行过采样，以获得训练ML模型所需的数据。

在ML模型的训练过程中所采用的方法总结在图4．更具体地说，第一步是识别数据不一致，比如缺失的值，并从数据集中删除它们。然后，应用最小-最大特征归一化，改进了ML模型的训练过程。下一步涉及训练不同ML模型并对其进行评估的迭代过程。对于每个模型，采用中间步骤对每个参数进行微调，主要使用网格搜索方法。最后，根据f1评分和受试者工作特征分析结果，选择每个模型的获胜分类器。

‎ 把这个图

部署细节:集成

获奖的分类器是在Python 3.8下使用scikit-learn 0.24库实现的。一旦系统识别出执行的练习，就会调用适当的分类器并推断出练习的分数。这是全息平衡系统的一部分，目前正在评估中。

结果

概述

在本节中，将介绍评分标准中每个组成部分的ML模型的训练和评估结果。所有模型均采用10倍交叉验证过程进行评估，并评估模型的宏观平均精度。每个折叠的训练和测试数据集是在80/20的比例下创建的。

Interobserver可变性

如前所述，近17.3%的记录练习由2名观察员进行评分，以评估注释过程的观察者间可变性。此程序的结果载于表5．所选评价指标为科恩kappa系数[39]，计算方法如下:

公关(一个)是评分者与Pr(e)为机会一致的假设概率，利用观测数据计算每个观察者随机看到每个类别的概率。如果评分者完全同意，那么k= 1。如果评价者之间没有达成协议，除非是偶然(如Pr(e)),然后k= 0。

来自之前的一项研究[40]，可以得出结论，观察者的一致性是“良好的”，允许使用收集的数据集来训练可靠的ML模型。图5给出注释过程的混淆矩阵(请参阅多媒体附录1更多的细节)。

‎ 把这个图

各模型分类结果

正如前面提到的，为评分规则的每个组成部分训练和评估一个ML模型。研究结果见表6，其中提供了宏观平均精度，以及每个模型的获胜分类器。下面的结果给出了一组经过训练的40个分类器，这些分类器最终构成了系统的评分模型。分类模型的更详细的结果在多媒体附录1．

对于坐姿和站立练习，可以观察到高斯过程是最相关的分类器，很可能是因为特征的数量低于行走练习。此外，较少的输入特征与较高的准确性结果相关，这是预期的。因此，坐姿练习1和2的准确率接近90%，而步行练习2和3的准确率略高于80% (表6)．最后，就总得分而言，随机森林分类器在2个练习子组中优于其余模型，而kNN和线性支持向量机优于1个练习子组。

总体结果:k-统计分析

表7提出了分类模型的总体结果为每个单独的练习和进展水平。在同一个表中，提供了观察者之间的可变性，以及观察者1和训练过的ML模型之间的可变性的比较，这是在每个模型的测试数据集上执行的。此外，先前使用的以知识为本的模式[23]与第一个观察者的注释进行了比较。

基于结果，提出的框架的性能与观察者间的可变性相似，因此构成了一个可靠的平衡物理疗法练习自动评分模型。更具体地说，坐着练习的变异性几乎是一样的，而站着练习的变异性则下降了0.02。最后，对于步行练习，k统计值的下降为0.04，这是合理的，因为相关练习的复杂性增加了，并且在这些特定练习中分类问题的输入特征增加了。

与基于知识的评分模型相比，在一致性方面的改善是显著的(坐姿锻炼15.9%，站立锻炼20.8%，步行锻炼的k统计量26.8%)。这一改进使系统能够有效地推断患者的表现，从而使系统不仅能够正确地告知临床医生患者的状态，而且能够使他们正确地设计/选择未来的康复方案。

讨论

主要研究结果

所提出的ML模型可以有效地对全息平衡系统的平衡康复练习进行评分。在科恩kappa分析方面，模型具有相似的准确性，观察者间的可变性，使评分模块能够根据从传感设备收集的信号推断运动的得分。更具体地说，对于坐姿练习，评分模型具有较高的分类精度，从0.86到0.90不等。同样，站立练习的分类准确率在0.85 - 0.92之间，而行走练习的分类准确率在0.81 - 0.90之间。从得到的结果，我们观察到，最低的分类精度是与最复杂的练习相关的，就需要的动作而言。虽然这一结果在预料之中，但有趣的是，同样的练习也呈现出最高的观察者之间的可变性，这表明客观地为复杂的练习打分不是一件小事，即使是对专业的物理治疗师。几乎所有不同运动类型的k统计分析都清楚地反映了这一点。还需要指出的是，大多数错误分类涉及第2类和第3类，这意味着专家和评分模型可以更准确地评估糟糕的表现(第0类和第1类)和适当的表现(第2类和第3类)。

与之前工作的比较

第一个版本的评分模块建立在一组专家提取的医学知识的基础上[27］．该模型的主要缺点是它不能在执行平衡康复练习期间捕获病人的所有可能状态。因此，它在各种情况下无法正确地对患者进行分级。提出的数据驱动模型显著提高了所做运动的准确性，坐姿运动增加了0.11，站立运动增加了0.16，步行运动增加了0.19。值得注意的是，更复杂的运动与更高的进步相关。

的优势

这项工作的新颖性可以概括为两点。首先，创建了19名患者约1300次运动过程中传感器信号的注释数据集，以及一位专家对运动的评分。据我们所知，没有这样的数据集在文献中报道过。其次，开发并测试了一个评分模块，该模块包含多个ml监督学习模型。结果清楚地表明，考虑到对地面真相数据集进行注释的专家的观察者间可变性，提出的模型似乎具有类似的预测能力。

在全息平衡系统的背景下，评分模块的能力显然能够在康复计划中进行正确的运动评估，因为医生可以监测患者的表现和进展，并相应地采用该计划。这种评估有2倍的优势。首先，管理患者的物理治疗师被适当告知患者的表现;因此，接下来的康复阶段设计是基于客观信息，避免了自我报告结果的偏差。第二，虚拟教练与患者的交互基于准确的分数，便于与系统进行真实的交互。更具体地说，运动进展模块是基于评分模块产生的分数来正确评估患者是否应该进入下一阶段的运动。如前所述，每种练习在难度、速度和重复次数方面都有不同的管理水平。因此，评分模块的高精度使得练习进度模块能够发挥应有的作用。此外，评分模块可用于“红色标记”患者非常低的表现和坚持早期，从而允许物理治疗师改变康复方法。这些方面直接影响到在家庭环境中安全有效地执行康复计划。

同样重要的是要强调，与其他评分模型相比(例如，[41]和[42])，提出的模型的输出评估的不是所进行的运动的认可度，而是运动表现的质量，这是评估康复计划的一个关键方面。通过提供高精度的运动评估模型，虚拟教练系统可以利用个性化的环境与患者进行交互，从而丰富用户体验。

除了在像holobalbalance这样的有说服力的指导系统中作为一个可靠的评分模块的价值外，该模块还可以作为一个单独的模块在临床实践中独立使用。最重要的用途之一是对患者的客观基线评估，因为它可以支持临床医生在第一次临床就诊期间进行锻炼时客观评估患者的基线。此外，构建评分模块的分析，特别是特征统计分析，可以帮助设计新的平衡康复练习，主要针对对练习得分有重要贡献的指标，同时消除与指标相关的方面和运动学对模型不重要。此外，评分模块可以支持需要长期监测的患者，特别是患有神经系统退行性疾病的患者，如共济失调或痴呆，这些患者需要长期康复和监测以维持生活。此外，一个可靠的评分和评估模块可以方便新手理疗师和医生的教育，使他们更好地了解不同临床人群的需求。最后，在研究背景下，来自该模型的基于传感器的信息可以作为生物标志物，长期监测感兴趣的人群(如老年人或认知障碍患者)，以早期预测跌倒风险和早期预测认知衰退。

限制

关于提出的模型的局限性，一个主要的缺点是该模型需要了解运动类型的知识来评估运动的得分。换句话说，提出的评分模型没有识别运动的能力，将其使用限制在只有预定义的运动集的康复项目上。此外，收集到的数据集的规模不允许我们测试深度学习模型，这可能会显示更高的分类精度。

未来的发展方向

关于评分模型的未来发展方向，我们预计将加入运动识别算法，使模块能够推断执行了哪些练习。这将允许模块支持自由程序练习会话。最后，将该模块部署到更多的站点将允许我们扩展练习数据集，这将为拟议的解决方案提供更广泛的验证，并有助于使用深度学习模型，如果数据量足够的话。