近年来，用于实际跟踪人体运动的鲁棒深度传感摄像机的发展正迅速被用于运动功能障碍的评估和康复。深度传感相机，如微软Kinect(微软，雷德蒙德，WA, USA)，捕获的视频图像中每个像素都有三维位置。深度视频通过先进的计算机视觉和机器学习算法处理，可以量化人体运动，而不需要基于标记的运动捕捉或步态分析系统，这些系统既昂贵又繁琐。 1］．一个特别的优点是不需要附加到病人身上。

深度传感已用于构建一系列医疗保健应用程序，包括外科图像导航期间的非接触交互[ 2]，为脑瘫儿童提供运动康复治疗[ 3.]，以及改善长者的认知表现[ 4］．在多发性硬化症(MS)领域内，深度感应已被用于改善多发性硬化症患者在运动时的姿势[ 5]，并纳入运动游戏(远程康复系统)，以鼓励平衡和感官融合[ 6］．虚拟现实游戏也被用于激励运动康复训练[ 7］．

深度感应的应用直到最近才扩展到运动功能障碍的评估。尽管与人类观察员相比，传感技术有潜力提高评估的可靠性和有效性[ 8]，实现诊断目的所需的高水平系统准确性已被证明具有挑战性。研究主要集中在Kinect与其他客观测量系统的验证上[ 9及其为特定条件提供精确测量的能力[ 10， 11］．利用Kinect成功提供运动能力临床评估的系统仍在“发展中”[ 12］．

作为一种中枢神经系统的慢性炎症性疾病，多发性硬化症会引起多种症状，或合并或单独出现。这些症状包括麻木、运动强度降低、小脑功能障碍以及认知能力下降。病程最常见的特征是复发，患者出现神经系统症状，随后出现长时间的缓解，症状可能会改善。随着时间的推移，疾病会进入进行性发展阶段，在此期间病情会稳步恶化。约15%的多发性硬化症患者在发病后病情持续恶化[ 13］．

疾病病程的不可预测性使得追踪多发性硬化症的能力特别有用。目前采用一种基于临床检查的标准化评定工具，即扩展残疾状况评定量表(EDSS)来评估病情[ 14］．患者被要求进行一系列的功能性锻炼，包括向一侧伸出一只手臂，然后触摸鼻子(指鼻测试)或在模拟的钢丝上行走(走钢丝)。这些练习被总结为功能系统评分，并与行走能力一起按顺序评分，从EDSS 0到EDSS 10。考试通常每年进行一次。尽管EDSS是一种被广泛使用和接受的结果测量方法，但它存在组内和组间可靠性较低的问题，使得疾病跟踪困难[ 15］．所需要的专业知识也使得神经学家以外的卫生专业人员无法进行检查。

evaluate MS的目标是通过比目前可能的更一致和更细粒度的量化运动功能障碍的变化来解决这个问题。所示 图1， evaluate MS用Kinect捕捉评估动作的深度视频，这些动作由患者在医疗专业人员的支持下在临床环境中执行。然后对这些数据进行处理，对运动功能障碍的严重程度进行分类。临床评估所需的准确性水平需要特别注意捕捉的深度视频的质量。具体来说，需要高水平的标准化。

医院环境固有的不可预测性以及对高度标准化数据的需求，使得从在实验室验证深度传感测量到在临床环境中创建一个可行的系统这一步骤变得非同小可[ 2］．意外的可变性，无论是由于不一致的运动表现，还是由于变化的位置或背景中意外的物体造成的图像质量差，都降低了视觉算法能够突出疾病引起的可变性的可能性。目前还没有研究表明这一步骤在利用深度感知计算机视觉进行运动功能障碍临床评估中是可行的。

evaluate MS的一个关键元素是物理设备和软件应用程序的设计，以支持在临床环境中高质量的数据捕获。本文提出的研究是对evaluate ms这些方面的可用性和可接受性的混合方法实证评估。它旨在回答以下问题:

evaluate MS是由一个多学科的研究团队开发的，该团队由人机交互、机器学习和照顾MS患者的健康专业人员组成。开发物理设备和软件应用程序用于支持运动的记录和分析，采用了4个阶段的迭代开发过程。它的设计借鉴了多学科团队会议、设计活动、对当前临床评估实践的观察，以及对健康志愿者和患者的用户测试。在提出最终的系统设计之前，我们首先提出在项目早期阶段注意到的问题和产生的设计需求。算法开发在其他地方报道[ 16］．

对临床常规的观察发现了几个需要解决的问题。我们观察到一个神经学家可以用不同的方式指导同一个动作。例如，手指-鼻子测试可能首先把手伸到一边，在其他情况下，在接触鼻子之前把手伸到前面。临床医生也被观察到根据他们的能力调整给病人的指示。例如，当有能力的患者可能被要求用他们的腿来评估力量时，有一定程度残疾的患者将被要求将他们的腿推到临床医生的手上。

这种变异虽然对神经学家没有影响，但对于机器学习算法来说是有问题的，因为机器学习算法从统计学上评估患者的“已知”特征来自训练示例。如果运动表现的大量变化是由与疾病状态无关的因素引起的，分类能力就不可避免地下降。研究结果强调，不仅需要提供线索来规范动作，还需要为卫生专业人员提供酌情决定权，在必要时可以省略动作，在动作不正确时可以重复动作。

我们还注意到，目前的检查是临床医生和患者之间具体化的互动。临床医生站在病人面前演示要做的动作是很常见的。临床医生也可能通过触摸病人来指示如何做一个动作或使用哪一侧。最重要的是，出于安全考虑，临床医生可能不得不站在病人旁边。许多这种典型的交互都有可能干扰evaluate MS捕捉到的图像，要么是遮挡了摄像头的视野，要么是造成了区分病人和医生的挑战。与此同时，适当的患者-卫生专业人员互动对于确保患者感到安全和受到照顾非常重要。

尤其重要的是，临床检查是一件流动的事情。病人可以在做动作时移动很远的距离，比如单脚跳。病人可能会做一些小动作，调整他们的坐姿，这可能会导致肢体脱离摄像机的视野。在较小的房间里，需要调整家具，并在不同类型的测试(如坐和站的测试)之间多次移动相机，这可能会改变相机的视角和病人在该视图中的位置。随着所有这些移动，有必要实现标准的横向和深度定位，以促进视频的预处理。

最初的工作表明，evaluate MS需要支持捕获的以下方面:

评估MS，见 图2它有一块53.3厘米(21英寸)的面向患者的屏幕，用于指导患者进行评估动作。一个更小的平板电脑与触摸屏功能安装在移动臂在单位的后面。该界面由卫生专业人员用于为患者定位，选择要执行的评估动作，并完成记录。远程控制使卫生专业人员可以在房间内自由走动，根据需要为患者提供支持。这些屏幕安装在一个带轮子的人体工程学盒子里，便于操作，Kinect安装在上面。

健康专业界面提供了许多导航选项。卫生专业人员可以播放运动指导视频，或开始测试。界面顶部的箭头使卫生专业人员可以跳过动作(如手指-鼻子测试)或动作的变化(如左侧，睁开眼睛)。动作可以通过向后跳来重复。每一页都包含一个按钮，它支持开始测试、记录移动或停止记录。底部的导航条直观地显示了哪些动作被捕获，哪些动作被跳过。这些都显示在上面的图片 图3．

通过一个易于操作的装置与“定位”功能相结合，提供精确的定位支持，如图中图所示 图3．该屏幕提供了深度图像流的视图，其中心横杆应与患者对齐。在测试中，它可以在坐着和站着的组件之前作为全屏功能使用，并在整个右上角的一个持久窗口中使用。人与相机的距离在图像下方标明。它的目的是减少定位上的变化。

提供动作教学视频，规范动作表演。他们指导病人和健康专业人员，确切地知道如何完成所要求的动作。它们由简单的线条动画和本地化为3种语言的口头描述组成。动画的设计基于关于动作学习的心理学文献，强调表现的简单性[ 17]以及在移动手臂时将注意力集中到最远端的运动点(例如，手)的重要性[ 18］．

根据教学视频改变了这种互动的性质，采取了一些方法来支持患者-健康专业人员的互动。首先，卫生专业人员界面的放置是为了鼓励卫生专业人员站在设备的一侧或后面，以避免遮挡摄像头的视野。第二，没有使用自动记录动作的方法，以便在考试中进行适当的停顿，以促进互动。

移动协议包含11个动作描述 图4．在这11个动作中，有6个是从EDSS检查中选取的，以覆盖上、下肢和躯干的功能。还包括两项日常生活活动，从杯子里喝水和翻页书。另外，还定义了指指测试、画方格、就地旋转3个新动作。这是为了捕捉上、下肢的功能，以一种潜在的更适合摄像头的方式。

之前不熟悉evaluate MS的卫生专业人员在经过1小时的培训后被要求使用它来检查4名MS患者。培训内容包括标准化运动表现的重要性、运动协议和提高图像质量的特点。为了便于参考，所有的卫生专业人员都得到了一张“小抄”，上面有移动协议的详细内容 多媒体附件1)．由某一保健专业人员在一周内进行的一系列检查，而且大多数是在一天内进行的。

诊断为MS且EDSS评分在0到7之间的患者被纳入研究。在给予知情的书面同意后，患者被随机分配给一名健康专业人员。为尽量减少对病人的不便，研究人员邀请已在研究期间接受常规门诊检查的人士参与。一些病人接受了同样的运动检查[ 16]，在一个平行的正在进行的试验中(n=10)，但在过去3个月内没有。3家医院均获得伦理批准。

可用性已由国际标准化组织在ISO 9241-11中作出定义[ 19定义为“在特定的使用环境中，特定的用户使用产品以达到特定的目标，并具有有效性、效率和满意度的程度。”在本案例中，我们希望实现以下4个目标:

的 使用背景定义为临床环境。

我们关注了两种类型 用户(神经学家和护士)。虽然神经学家是目前在临床试验中进行神经学检查的群体，但如果半自动检查可以由其他卫生专业人员完成，将会更加经济有效。这些人可能包括护士、研究护士或护理人员。由于大多数人将成为护士，我们今后将这样称呼她们。由于认识到这一潜在用户范围，evaluate MS被刻意设计为只接受过很少培训的非专家。

测试ISO可用性定义的方式在很大程度上取决于技术。我们已经明确了有效性、效率和满意度的具体指标，详见 表1与前面指定的系统目标和使用上下文相匹配的。

可接受性是ISO可用性定义“满意度”的一部分。然而，我们对可接受性的看法更符合临床领域的研究。我们假设系统接受度是提供的好处和任何不适之间的权衡，而不是获得一些固有的良好感觉。它是通过未来使用的意愿、对患者-健康专业人员互动的影响以及对技术的一般看法来衡量的，如 表1．

除了作为evaluate MS检查的一部分进行的深度记录外，所有评估都用单独的数字摄像机进行了视频记录，记录了卫生专业人员和患者在检查室中的互动方式。

在检查结束时，向患者发放了一份包含9个项目的问卷。问卷包含5个李克特量表式问题和4个自由回答问题。李克特量表问题是由人机交互(CM和AS)领域的研究人员基于两个关键的可用性构造开发的:易用性和对人机交互的影响。Q1和Q3分别询问了整个系统的易用性和它的教学方面。Q5和Q4询问了对人际交往的影响。Q2的重点是评估MS的可接受性，这是由未来使用的意愿决定的。积极和消极框架的问题得到了平衡。

医生提出了四个开放式问题，让病人有机会对他们的经历进行更广泛的评论。第一个实验要求患者用3个词描述另一个患者的MS评估。第二个和第三个问题集中在评估ms最有用和最没用的方面。第四个问题和最后一个问题为进一步的评论提供了空间。问卷由各自的临床团队翻译成德语和荷兰语，翻译的措辞在内部达成一致。在一个无法获得多名临床医生输入的诊所对患者进行了局部试点。

卫生专业人员在每次检查后都会得到一份类似的李克特量表类型的5项问卷。为了比较目的，这些问题旨在等同于患者问卷。在所有患者完成问卷后，专业人员还参加了15分钟的问询。这些问题类似于给患者的自由回答问题，但以面谈的形式进行，以便进行更广泛的讨论 多媒体附件2)．

为了评估结果是否适用于广泛的患者，记录了每个患者的EDSS和符号数字模式测试(SDMT)分数。通过详细的神经系统检查计算，EDSS被用于评估身体残疾。量表包括20个半级，从0(正常)至10(多发性硬化症导致死亡)[ 14］．SDMT被用来衡量认知能力。它主要通过评估复杂和视觉扫描和跟踪来检查信息处理速度、视觉工作记忆和注意力。取值范围从0(没有正确答案)到110(所有正确答案)[ 20.］．

一名技术研究员(KH)在整个研究过程中都在场，以管理问卷和访谈以及出现的任何技术问题。这个人没有干预检查本身的进行。临床研究人员(MDS、JB、SMS或CPK)也可用于患者或卫生专业人员的查询。

视频编码用于完成任务。如果所有的录音都被记录下来，并根据需要重复或跳过动作，研究人员不进行干预，那么任务就完成了。对系统崩溃的支持不被算作干预，因为evaluate MS仍处于原型阶段。

计算每位保健专业人员的第一个和最后一个病人的检查时间。“开始时间”由输入患者信息的第一次按键定义，“结束时间”由最终测试结束时产生的完成声音定义，四舍五入到最近的5秒。从卫生专业人员意识到有崩溃的时刻到他/她能够恢复的时间的总时间中减去崩溃。如果第一个或最后一个病人必须坐轮椅，或经卫生专业人员鉴定有严重的认知能力下降，从而大大改变了检查的时间(因为没有进行多个动作)，则改用下一次检查。

为了检验卫生专业人员的第一个和最后一个病人的检查时间长度之间的统计差异，以及神经学家和护士之间的差异，我们使用Student t测试。由于录制错误，如没有开始或摄像机指向错误的方向，有三个视频无法编码。

通过回顾深度视频计算出标准化运动性能的度量。所有的坐姿动作都被评分为正确的运动方向，例如，手指鼻子测试是在手臂朝向一侧而不是前方的情况下进行的，以及正确的重复次数(见 多媒体附件3)．由于图像质量较差和/或预处理元素(如头部检测)尚未可用，站立动作未进行评级。两个人(CM和她的同事)对27项检查进行了评分，抽样排除了参与的卫生专业人员的前2项检查，将其作为培训案例处理。分歧通过讨论解决。当病人在整个检查过程中都是可见的时候，摄像头的视野是否清晰就被编码了。

在机器学习算法中使用深度视频之前，在深度视频的预处理过程中数学推导出适当定位的度量。在横向定位的情况下，我们报告头部需要转置的像素数，以使其在图像中居中。我们认为任何在“平均”头部尺寸直径的一半以内的东西都是“良好的位置”，因为这将使头部容易被发现。在我们的样本中，头部的“平均”大小是56像素。它是通过测量100个随机选取的经过处理的手指鼻子测试视频在距离顶部四分之一高度处的分割面积来计算的。这应该等于大约眼睛水平。对于深度定位，我们报告与移动协议中指定的距离。在“平均”头部尺寸直径(18厘米)内的任何数值都被标记为良好的定位。这种方法解释了头部的自然运动。

将李克特量表调查数据制表，采用描述性统计。我们既考虑每个站点的答案，也考虑总体的答案;学生 t测试用来比较站点之间的差异。一名患者的问卷数据被删除了，因为该患者对所有问题的回答都是一样的，表明对问题缺乏关注。当问题是平衡的，肯定的和否定的回答都是可能的。对自由回答题(Q7-Q9)的回答最少，仅有46.4%(71/153)包含答案。大多数答案只包含几个本质上平淡无奇的单词，例如，“有趣的系统”。这些内容已酌情列入采访报告，但对数据分析的贡献不大。

第一个自由回答问题要求用3个词向另一个患者描述评估MS，这些词被分为以下3类:积极的(如，有趣)，消极的(如，缓慢)和特征的(如，计算机系统)。为了更细致地了解患者如何看待评估MS，一名研究人员(CM)和两名视觉设计师将提供的单词分组到一个词云中。这些被一个有经验的视觉设计师融合成一个可视化。较大的单词表示重复次数较多的单词(数字显示在可视化图中)。在一行的两边的单词被认为是对比色的。没有从可视化中删除任何单词，以便观看者可以自己解释用来描述evaluate MS的那种语言。

对卫生专业人员的访谈进行编码，以便对标准化、患者-卫生专业人员交互和系统评论进行隐式或显式的讨论。这些主题是在第一次听取访谈后选定的，因为它们包含了数据，同时提供了对重要设计决策的回应。在听完访谈后观看相关的考试视频，进一步了解访谈内容。

我们招募了12名卫生专业人员作为样本。一半是神经学家，一半是护士。参与的卫生专业人员平均分布在2个国家的3个医院地点。他们的专长和多年的经验介绍在 表2．

共有51名患者被纳入研究。轻微的过度招募(建议样本n=48)旨在解决由于患者选择当天不参加而导致的退出;然而，所有被招募的患者都参与了研究。患者跨越了身体和认知残疾的广泛水平，以及年龄，如所见 表3．

evaluate MS是一个使用深度感知计算机视觉来支持MS患者运动功能障碍评估的系统。它旨在提供一个一致的、量化的运动能力指标，以实现比目前可能的更细粒度的疾病进展跟踪。evaluate MS旨在促进更标准化的数据捕获，以支持机器学习算法的运动分析，同时为临床环境中的患者和卫生专业人员所用和接受。我们的结果显示，患者和卫生专业人员都可以使用和接受它。3个参与中心的结果几乎没有变化，神经学家和护士之间没有差异。

研究表明，评估MS是可行的。它是有效的，因为所有的卫生专业人员都能够完成记录，具有高水平的标准化运动表现，横向定位，和清晰的相机视角。患者和医护人员都认为它易于使用，在李克特量表问题上得分很高，访谈中也提供了积极的评价。在患者人群中取得的变化表明，患者的身体(EDSS范围从1到7)或认知(SDMT从13到79)残疾水平不会改变工具的有效性。

评定MS唯一有问题的方面是距离定位。对视频的进一步观察表明，距离通常是通过房间里的物理地标(如墙壁)测量的，而不是屏幕上提供的距离。2号诊所的房间家具距离正确，便于对齐，其深度定位的一致性最高，将evaluate MS放置在书柜前进行坐姿练习，然后靠在书桌上进行站立练习。这表明，当一个新站点接受使用evaluate MS的培训时，应该在培训中回顾和强调房间的物理属性。

评估MS似乎也相当有效，平均时间低于20分钟，并随着使用而减少。因为检查没有包含完整的EDSS，所以不可能进行直接比较。完成时间的下限约为13分钟，这表明在进一步强调速度的情况下，测试可能会在更短的时间内完成。卫生专业人员认为它是有效的也很重要。

在所有考虑的方面，包括未来使用、(与卫生专业人员的)互动和认知，evaluate MS都是患者可以接受的。他们的得分几乎没有变化，大多数人都集中在李克特量表的一端，而极少数人则集中在另一端。这表明大多数人都有较高的接受度，少数人不会使用它，但几乎没有矛盾心理。反对它的人没有明确的模式，例如，按年龄或残疾程度划分。对新技术的态度的变化，包括负面看法，可以通过分期技术采用模型来预测[ 21］．对evaluate MS的词汇描述是压倒性的积极。这些结果强烈表明，患者可以接受evaluate MS。

卫生专业人员也接受了评估MS，但态度比较矛盾。1号诊所的得分似乎特别低，我们认为这是因为遇到了最技术性的问题，比如Kinect摄像头从应用程序中断开，需要监督技术研究员(KH)重新启动。有趣的是，这两位刚接触MS的专业人士用他们不知道的动作进行测试没有困难。然而，另外两名在任何医学领域都没有或几乎没有检查经验的卫生专业人员则感到更不舒服。对于没有考试经验的考生，也应提供考试技巧的培训。

在包括检查时间在内的任何定量指标分析中，神经科医生和护士之间没有差异。唯一的区别在于态度。神经学家最初发现使用这种半自动的、高度标准化的系统工作不舒服，而护士则欢迎该系统提供的支持。也就是说，神经学家使用他们的检查技能来预先预防潜在的错误动作，围绕实现标准化的动作表现建立一种互动。我们建议，evaluate MS特别适合神经学家以外的健康专业人士，但也足够灵活，可以被任何健康专业人士使用。

这些发现表明，评估MS的当前版本是可用的和可接受的。它可以部署到新的站点，并由一系列卫生专业人员使用，只需要1小时的培训。这与目前的工具形成了对比，例如EDSS，后者需要标准化的培训和临床神经学方面的经验背景。因此，evaluate MS具有廉价、广泛使用的潜力。

培训过程为健康专业人员如何理解evaluate ms提供了实质性的见解。最好的方法是提供一个简单的描述，说明机器学习如何作为一个比较新数据和它“见过”的过去患者的过程来工作。这意味着，如果一个病人“看起来”有特定的残疾水平，那么他们就会被贴上残疾的标签，不管这是因为他们实际上有那种程度的功能障碍，还是因为他们没有正确地完成一个动作。提供这一相当简单的评估MS如何工作的描述，激励着卫生专业人员试图获得标准化的数据。

我们还发现，通过让健康专业人员执行而不是看着它，对引入移动协议的方式进行了一个小小的改变，增加了信心。也就是说，移动协议是卫生专业人员学习曲线中最具挑战性的部分，可能没有在本文中以系统为导向的措施中捕捉到。有许多关于如何执行协议的问题，临床研究人员的可用性纠正检查之间的错误是受欢迎的。在考虑今后的培训时，应考虑是否有这样的人，并应考虑更强调运动，而不是使用系统。

可用性只是一般的规定，每个被评估的技术都需要特定的指标。我们本可以对evaluate MS的许多方面进行评估，但我们只关注那些我们认为对生产一个健康专业人员和数据工程师都可行的系统至关重要的方面。作为一种旨在实现与现状截然不同的新技术，无法进行直接的比较。因此，什么是“好的”结果是有争议的。例如，很难就可接受的位置或标准化运动的必要百分比提供一个确切的界限。也就是说，我们知道这些元素对系统是必不可少的，并希望继续增加这些数字。

对测量的选择符合evaluate MS的设计标准，但技术发展很快。例如，最初的Kinect已经不在市场上了，机器学习算法将继续发展。此外，评估MS只关注当前残疾测量的一部分，我们的一些结果(如标准化运动表现)只适用于坐姿运动。虽然本文提供的具体结果提供了对不太可能发生显著变化的使用和感知的洞察，但生成的数据的质量需要持续评估。需要新技术在引入变更时持续评估系统，以提供持续的可用性证据[ 22］．

此外，没有对有严重视力或听力损失的参与者进行测试，尽管我们希望在这些情况下，如果需要额外的帮助，健康专业人员可以发挥调解作用。

有越来越多的计算机辅助和基于传感器的应用支持临床评估和多发性硬化症患者的康复。其中就包括社交游戏。 23]、外骨骼[ 24]，以及虚拟环境[ 25］．最近，一些深度感知计算机视觉在多发性硬化症康复中的应用也得到了评估(例如，[ 7])，显示实施成功及病人接受程度良好。

除了在康复方面取得的进展外，基于传感器的人体运动记录对于评估不同神经疾病的症状正变得越来越重要[ 26］．特别是在多发性硬化症中，穿戴式运动传感器可以比传统时间测试更好地检测健康志愿者和早期多发性硬化症患者之间的活动能力差异[ 27］．加速计也被用于测量多发性硬化症患者的身体活动和行走能力[ 28］．最近，iPad内置的加速计被用于步态和平衡分析[ 29］．也有初步发现使用深度传感对多发性硬化症患者进行步态分析[ 30.］．此外，我们亦在开发感应技术，以支援患有其他疾病而导致运动功能障碍的病人[ 31］．

尽管在该领域进行了初步研究，但使用传感(视觉或其他)进行临床评估的应用尚未在临床环境中部署。这项研究表明，在设计过程中对临床环境的关注可以使这些新的医学方法成为现实。

深度感应计算机视觉已迅速被采用，形成一系列创新医疗保健应用的核心，用于临床评估和运动能力的康复。现在有越来越多的例子说明这种康复想法的商业化。然而，临床评估一直是一个更大的挑战，需要更高的测量精度，从而降低数据的可变性。的creation of ASSESS MS, as part of one of the first projects in this domain, shows that careful attention to deployment makes it possible to collect sensor data of a quality needed for clinical assessment. Moreover, it can be done in a way that is suitable to wide-scale deployment and acceptable to patients. These results open the door for greater development in depth-sensor-based assessment of movement disorders.