这是一篇开放获取的文章,根据创作共用署名许可协议(https://creativecommons.org/licenses/by/4.0/)发布,允许在任何媒体上不受限制地使用、分发和复制,前提是正确引用最初发表在JMIR Serious Games上的作品。必须包括完整的书目信息,https://games.www.mybigtv.com上的原始出版物的链接,以及此版权和许可信息。
通过新技术对患者状态或福祉进行生态有效的评估是当代老龄人口健康和福祉研究的关键问题。通过用户与严肃游戏(SG)的互动产生的游戏内参数可以潜在地用于预测或描述用户的健康和幸福状态。目前有越来越多的研究将游戏互动作为健康和幸福的数字生物标记。
本文的目的是使用标准临床评估测试的值作为基本事实,从与SG交互期间收集的数据中预测健康数字生物标志物。
数据集是在与帕金森病患者使用webFitForAll exergame平台互动期间收集的,该平台是SG的一个引擎,旨在促进老年人、患者和弱势人群的体育活动。收集的数据被称为游戏参数,代表3D传感器摄像机捕捉到的身体动作,并转化为游戏分析。在与运动游戏长期互动之前和之后收集的标准临床测试(干预前测试和干预后测试)用于提供用户基线。
我们的研究结果表明,游戏内的指标可以有效地将参与者划分为不同认知和身体状态的群体。不同的游戏参数对于特定测试具有更高的描述值,并能够用于预测这些测试的数值范围。
我们的研究结果为游戏内指标作为数字生物标记的价值提供了令人鼓舞的证据,并可以促进对改进游戏内指标的分析,以获得更详细的结果。
严肃健康游戏(SG)是指旨在为玩家提供额外价值的游戏,而不仅仅是娱乐,特别涉及身体、心理和社交健康等方面。
评估SG干预效果的常用方法是对每个参与者使用外部问卷,一份在游戏前(测试前),另一份在经历一系列游戏环节后(测试后)。这种方法在健康和福祉领域被广泛接受,用于评估SG的有效性[
数字SG支持现场数据捕获,除了通常的干预结果回顾性分析外,还可以揭示新的见解。这个词
生成的游戏内指标是丰富的信息和见解来源,可以用来预测或描述用户的健康和幸福状态。Regan等人[
目前的工作是一个扩展的,整体工作的一部分,长期记忆护理(NCT02313935),关于SG为老年人和其他弱势人群的身体和认知改善。长期记忆护理的exergame平台已被证明可以显著提高老年人的力量、灵活性、耐力和平衡能力[
SG已经被用于建模或表征用户行为,而不考虑健康结果。Alonso-Fernández等人的研究[
在健康评估方面,作为评估工具的游戏参数的评估和验证要么与临床诊断进行比较,要么与经过验证的评估测试进行比较。
SG的目标是提高玩家的身体能力,正如在本研究中所讨论的,被称为exergames,可以开辟一个新的结果评估类别。运动游戏是一种很有前途的工具,可以不引人注目地测量和评估身体健康状况[
此外,对现有文献的回顾表明,研究界对使用SG,特别是游戏内指标,作为心理测量工具和指标有浓厚的兴趣。
这项研究调查了使用游戏互动中的游戏参数作为数字生物标志物的可能性。所调查的数字生物标记物来自游戏内的指标分析,旨在支持健康和福祉档案组的创建,以及在没有现场数据的情况下评估用户的身体和认知状态。帕金森病患者与webFitForAll平台互动期间收集的游戏内指标[
主要分析包括使用定义基本事实的神经心理学和物理临床评估测试对参与者进行聚类。对聚类进行评估,以选择参与者的最佳分组。使用一种分类方法来预测每个参与者所属的组,使用游戏内的指标作为特征。研究人员检查了每个游戏指标与每个临床评估测试的相关性,以确定哪些指标具有更高的分离值。所遵循的方法并不依赖于参数选择或任何关于游戏内参数的先验知识。我们试图成为指标不可知论者,这意味着我们试图找到一种解释,为什么数据与临床评估测试的相关性被排除在外。
这项研究分析了与webFitForAll平台交互过程中捕获的数据[
在钓鱼游戏中,用户的身体姿势被转换成数字船的方向和速度。身体前倾会导致船向前运动,其加速度与身体倾斜成正比。目标是在特定的时间内收集尽可能多的鱼,方法是将船开向鱼,同时避开障碍物(岩石和鲨鱼),并平衡可能改变方向的风。
在动态管弦乐队游戏中,用户尝试将特定的音符组与手势联系起来,如向上、向下或循环移动左手或右手,或抬起右腿或左腿等下身动作。音符组是按顺序呈现的,并给用户一个特定的时间段来识别该音符组,将其与特定的动作相匹配,并执行动作[
在采摘柑橘类水果的游戏中,用户在虚拟环境中行走。根据用户需要执行的动作顺序,屏幕上显示了采摘和放下水果的具体说明。用户通过移动左手或右手来摘水果。攀登是通过现场行走来模拟的。目标是在特定的时间内采摘尽可能多的水果。
在进食行为的再训练游戏中,用户面对屏幕,或坐或站,假装拿着勺子或叉子。屏幕上会显示一个虚拟角色,并显示正确的移动频率。使用者移动他们的手来模仿把勺子放进嘴里的动作。游戏会监测动作,并将其与屏幕上显示的正确动作相关联。每次用户保持正确的频率,他们就会获得一分。游戏持续了一段时间。
在参与者与游戏的互动过程中,系统会手动捕捉具有代表性的参数,并为每款游戏提供见解。对于每款游戏,不同的游戏参数对应不同的衡量标准。每个游戏内的指标描述
分数:这是一种游戏内部指标,能够捕捉用户在特定时间内收集到多少鱼。如果用户遇到障碍(鲨鱼或岩石),分数就会降低。因此,分数是朝着目标(鱼)移动和远离障碍物(鲨鱼和岩石)的组合。
目标时间:从目标鱼出现在屏幕上的时间点到用户捕获鱼的时间点之间的时间。这个持续时间是为用户捕获的每条鱼计算的。对于每个会话(Si),游戏内的指标是表示每个目标实现时间的值序列。
得分:这个游戏内的指标衡量在有限的时间内正确执行的动作数量。游戏根据音符组和移动之间的匹配来识别用户是否执行了正确的移动,以及用户是否能够快速做出反应。
目标时间:从目标音符组显示在屏幕上的时间点到用户执行正确移动的时间点之间的持续时间。此持续时间仅用于正确执行的移动。对于每个会话(Si),游戏内的指标是表示每个目标实现时间的值序列。
分数:这个游戏内的指标记录了用户在特定的游戏时间内收集的水果数量。
目标时间:这是目标水果突出显示的时间点和用户“捕获”水果的时间点之间的持续时间。这个持续时间是为用户捕获的每个水果计算的。对于每个会话(Si),游戏内的指标是表示每个目标实现时间的值序列。
分数:这个游戏内的指标捕捉了用户在特定游戏时间内执行的正确动作的数量。正确的移动被认为与屏幕上的角色几乎同时发生。游戏允许一个足够小的特定时间窗口,以考虑以相同的频率执行移动。
目标时间:这是角色执行移动的时间点与用户执行移动的时间点之间的差值。对于每个会话(Si),游戏内的指标是表示每个目标实现时间的值序列。
在会话期间收集的所有数据都存储在一个SQL数据库中,并对每个参与者进行了伪匿名化和密码保护。数据集从数据库中检索,用于离线分析,并为本研究完全匿名。
在每个干预序列之前和之后,在不超过1周的时间窗口内,对每个参与者进行临床神经心理和身体评估测试。这些测试是由专业人士、心理学家和体育教育家进行的。他们被认为是每个参与者在干预前后的认知和身体状态的基本真相。所管理的测试是精心挑选的,以描述受SG影响的所有结构域,以及受帕金森病影响最大的结构域。所选的测试评估不同程度的身体状况以及认知障碍,并满足特定的标准,如有效性、可靠性和客观性。所执行的测试为单腿站立测试[
每个参与研究的参与者都必须参加至少16次会议,才不会被视为辍学生。每个会话(Si)由相同的游戏序列(Gi)组成,总共包括20个游戏。这些课程每周在预定的日子进行两次。参与者可以重新参加一项研究,以进行后续的一系列干预。然而,如果随访会议的数据在上一次会议后超过1周的时间内进行,则不视为统一参与者研究。
参与者研究的可视化。G1代表游戏的顺序。
从前面提到的游戏序列(Gi)中,有4个被用于分析(钓鱼、运动管弦乐队、采摘柑橘类水果和饮食行为的再训练)。这些对应于exergames,并使用深度传感器摄像机以统一的方式捕获。这些都是需要身体运动与游戏互动的动作,医疗保健专业人员认为这是捕捉患者病情和最常见的帕金森病症状的最具指示性的方法。该方案还包括使用标准化问卷进行临床前和临床后神经心理学和物理评估,如前一节所述。参与者还在实际干预期之前进行了一次测试,以熟悉游戏,并消除由于第一次干预中的误解而导致的不具代表性的游戏测量的影响。
本研究中用于测试该方法的实验数据集包括i-Prognosis H2020项目中发生的游戏会话[
平均值和SD值是根据每一回合的游戏内部指标计算出来的。每个用户的结果是每个游戏内指标的时间序列,时间序列中的每个点代表1个会话的值。每个用户都在玩不同的游戏,每款游戏都有不同的游戏参数。中显示了为每个用户收集的数据集的可视化表示形式
在收集了所有数据后,我们使用基于四分位方法的IQR去发现并移除每个游戏内指标的异常值[
代表参与者研究的模拟数据集的可视化表示。
下一步是从每个游戏内指标时间序列中提取特征。选取时间序列的均值和SD值作为特征。每个游戏内指标时间序列的前5个值(下文称为PRE游戏内指标数据)是为每个游戏内指标功能计算的。前5个阶段被认为是在干预开始前更好地反映参与者的身体和精神状态,吸收了游戏学习过程中的任何人为因素。在分析中只考虑1个博弈点会影响结果的可靠性。
使用一组神经心理学和身体评估测试作为基本事实,使用聚类分析将参与者分为身体和认知状态更好或更差的组。采用层次聚类算法(HAC)进行聚类。在HAC中,每个观察值最初被认为是一个单独的类。该算法选择彼此最相似的聚类,并将它们合并到一个聚类中,直到所有对象合并到一个聚类中。
我们使用了一种分类方法来预测每个参与者所属的群体,并将其作为游戏内指标的特征。每个特征集由所有游戏内的度量值组成,遵循前面描述的特征提取过程。之所以选择决策树分类器作为分类方法,是因为其内部决策逻辑清晰透明,这是神经网络等黑盒类型算法所不具备的。决策树分类器可以快速训练,并允许捕获描述性决策知识,这些知识可以帮助我们解释结果。决策树分类器产生的决策规则也可以用于其他游戏参数的设计和解释。在本研究中使用的选择指标是基尼指数,它衡量的是一个特定变量在随机选择类别时被错误分类的概率。
为了解决数据量小的问题,采用了遗一法。该方法首先将数据集分成m个数据集,每个数据集包含1个参与者的特征向量。在每次迭代中,保留1个特征向量用于测试,其余m-1个特征向量用于训练模型。当所有的特征向量都被测试1次后,整个过程就完成了。因此,对于每个特征向量,都有一个指定的类,这是预测的类。
这一步的目的是确定每个游戏内指标对预测每个评估测试对应的健康状态的贡献。为此,我们为每个用户计算了包含所有会话平均值的特征向量。此外,计算临床评估测试特征向量,对应不同的幸福感状态。该向量由每个评估前和评估后测试的平均值组成。计算了游戏参数和临床评估测试之间的Pearson相关系数。结果被认为是明确哪些游戏参数可以预测哪种评估测试。选择具有强相关性(高Pearson相关系数)的度量标准进行进一步分析。
用单个值表示每个时间序列缺乏关于值的顺序以及它们如何随时间变化的信息,而这些信息可能在整个时间序列中都存在。为了避免这种情况,并考虑每个参与者在整个会议期间的演变,动态时间扭曲(DTW) [
这项研究得到了医学院生物伦理委员会的批准(协议号4.123,17/7/2019)。
首先,我们将呈现所有游戏及其游戏参数的综合分析结果,以及所有临床评估测试。然后,研究结果集中在柑桔类水果采摘评分的游戏度量上,从一般结果来看,该度量具有最高的预测价值。
使用欧几里得距离度量和ward链接的HAC聚类算法产生了以下组:
0组:p#2, p#6, p#8, p#9
组1:p # 0, p # 1, # 3, # 4, # 5, # 7 p, p # 10, p # 11 # 12
一般来说,在大多数测试中,0组的得分低于1组。在富尔顿体能测试(FFT)中,该图像有所不同,BMI和10米步行,但这些测试显示较高的值表明较低的能力。因此,我们可以有把握地得出结论,0组包括身体和认知能力较低的参与者,而1组包括身体和认知能力较高的参与者。
聚类后形成的2个不同组的临床评估测试值。BBS:伯格平衡量表;CB&M:社区平衡与流动;FFT: Fullerton适应度测验;FFT_AC: Fullerton体能测验臂卷度;FFT_BS: Fullerton体能测验背部划痕;IADL:日常生活工具性活动;PDQ-8: 8项帕金森病问卷;POMA:面向绩效的流动性评估方法SPPB:短物理性能电池; TONI-2: Test of Nonverbal Intelligence, 2nd edition.
决策树分类器(准则=Gini)采用留一法进行评估。我们的目标是预测用户是属于0组(表示身体和认知能力较低),还是属于1组(表示身体和认知能力较高),使用的信息仅来自游戏内的参数。游戏参数的初始测量值(PRE)的平均值被用作预测的特征。较高的分类准确率(0.846)表明游戏内指标能够区分具有与临床评估测试具有可比性的判别值的用户。文中给出了混淆矩阵和评价指标
混淆矩阵和分类结果。
正确的标签 | 预测的标签一个 | |
|
零 | 一个 |
一个 |
真正的负 8b 61.54% |
假阳性 1 7.69% |
零 |
假阴性 1 7.69% |
真阳性 3. 23.08% |
一个精度0.846;记得0.75;精度0.75;
b绝对数字是真阴性、假阳性等实例,以及实例占实例总数的百分比。
该模型还显示出较高的召回率,精度和
参与者p#12被分类器错误地分配到组1,而参与者p#2被错误地分配到组0。
游戏内指标系列与临床评估测试的Pearson相关系数在
从
使用DTW方法计算距离矩阵,使用每个参与者在游戏中采摘柑橘类水果得分的时间序列。这个距离矩阵使用具有完全链接的HAC,根据它们在特定指标(采摘柑橘类水果得分)中的表现得出3个集群:
第一组:p#9, p#6, p#8
第二组:p#3, p#5
3: p # 7 p # 12, p # 11 # 0, p p # 4, # 2, # 1, # 10
为了进一步评估聚类结果,我们提出了CB&M、FFT臂卷度和FFT 8英尺上升和上升的平均预值和后值与平均采摘柑橘类水果评分相关的游戏度量,这些测试具有较高的相关值,如图所示
所有3个临床评估测试都与游戏内的指标有很强的相关性(
皮尔逊游戏参数系列与评估测试的相关性。BBS:伯格平衡量表;CB&M:社区平衡与流动;FFT: Fullerton适应度测验;IADL:日常生活工具性活动;POMA:面向绩效的流动性评估方法SPPB:短物理性能电池。
社区平衡和流动性测试与采摘柑橘类水果的游戏得分(右),富勒顿体能测试(FFT) 8英尺上升和移动测试与采摘柑橘类水果的游戏得分(中),10 FFT手臂弯曲测试与采摘柑橘类水果的游戏得分(左)。标识的组以不同的颜色表示。CB&M:社区平衡与流动;FFT:富勒顿体能测验。
这项研究探索了使用游戏内指标作为数字生物标记的可能性,以获得对参与者身体和认知状态的有意义的见解。分析分为两个不同的步骤:(1)考虑临床评估测试的整个数据集,计算基线,然后根据游戏内的指标对参与者进行分类;(2)评估单个游戏内指标的价值,以预测参与者的身体状态。
分析得到了非常有希望的结果,根据他们在神经前心理和身体评估测试中的表现,区分两组参与者的准确率达到了85%(组0表示身体和认知能力较低,而组1表示身体和认知能力较高)。考虑到从游戏中的指标对参与者进行分类,专业人员可以在相应的认知和身体评估中根据每个组的特征获得参与者概况的想法(
虽然结合使用游戏内指标作为表征健康状况的数字生物标记物获得了令人满意的结果,但单独使用每个游戏内指标可以为特定的身体和认知能力提供更详细的信息。采摘柑橘类水果在游戏中的得分与多种身体评估高度相关,可以进一步视为表征身体状态的数字生物标志物。挑选柑橘类水果的游戏表现出最高的描述值,目标是提高运动技能、同步和平衡技能[
共有4名健康和幸福领域的专业专家协助参与者与游戏的日常互动,并进行临床评估。专业人员评估了参与者的表现、整体能力和拟议游戏的价值。专业人士认为钓鱼和采摘柑橘类水果的游戏可以更有效地将参与者分为两组。这支持了本研究的结果,因为这两个游戏与地面真相评估测试产生了更高的相关性。
参与者p#6, p#8和p#9被专业人士认为是能力和表现较高的参与者,这也反映在当前分析的结果中。这些运动员总是被归为认知和身体状态“较好”的一组。与p#12一起工作的专业人士评论说,参与者在会议期间注意力不集中,经常说话。这可能解释了两种分析之间的错误分类结果和不一致的结果。参与者p0根据游戏中采摘柑橘类水果的指标被分配到第1组,尽管它在物理评估测试中得分较低。与该学员一起工作的专业人士表示,除了身体能力较低外,该学员努力了很多,取得了很大的进步。这解释了为什么第1组参与者的DTW距离得分较低,表明有改善的趋势,因此,将参与者分配到该组。
在同时具备干预和评估能力的系统(如webFitForAll)的情况下,参与者的价值可能是两倍。首先,由于体育锻炼是对认知能力下降的预防性干预,因此可以延迟认知能力下降的发生[
所提出的方法可用于对表现非常高和较差的球员进行分类。在整个干预会议过程中,从一个组到另一个组的过渡可能是进一步评估的警报。第一组课程也可以用来收集数据,以指导个性化干预措施的设计,并指定困难领域和对所测试技能的行为反应模式。
越来越多的研究调查了衡量健康、福祉和临床结果的数字工具与现有方法的互补性。类似的研究已经调查了在游戏设计中使用3D深度传感器摄像机(微软Kinect)来识别脊髓性肌肉萎缩患者和健康对照组[
游戏中的指标不能替代临床神经心理学和物理评估的使用,但可以作为一种辅助方法,放大和交叉引用传统评估方法的结果。除了SG之外,最近的研究提出了计算机形式的认知评估测试,将结果与相应的笔和纸测试进行比较,后者表现出很强的相关性[
尽管SG的数字生物标志物显示出显著的鉴别价值,但每个病例都需要更深入的上下文分析。更好地了解每个目标群体的能力和特点可以导致进一步调整和选择措施。
该研究的一些局限性是参与者数量较少(N=13)和个体因素,如部分症状学和帕金森病的病程,对每个参与者的病情有显著的区别,并且由于样本量小,作为变量在结果的影响中具有很大的权重。由于样本量小,上述将用户分为性能好和性能差两组的方法,在定位性能更具体、性能不稳定的玩家时并不十分敏感。
此外,大多数游戏都是在主持人的帮助下进行的。引导者扮演了辅助角色,但有时他们的评论可能会影响游戏内的指标结果。这种研究方法可以应用于更大的样本,并提供更安全的结果,因为个体内源性和环境因素的影响将会减少。在干预开始时,可以评估诸如犹豫参与、压力或预先存在的抑郁等因素,并可用于衡量个人结果,因为它们会影响每个参与者的参与程度和努力程度。
最后,研究小组最初被设计为干预措施,并不旨在评估参与者。然而,随着它们作为筛查方法的价值变得明显,在这个方向上的重新设计可以支持它们作为决策支持工具的价值。
SG最近被用作关于用户的不引人注目的捕获信息的接触来源,可以推动用于评估健康和福祉的数字生物标记物的创建。这项研究探索了webFitForAll平台的使用,该平台收集游戏过程中用户移动的游戏参数,与临床评估测试创建的基线相比,确定不同的用户档案。结果是有希望的,可以促进分析,以改善游戏内的指标,以获得更详细的结果。在分析过程中可以收集更多游戏参数,特别是针对评估测试的预测。
动态时间翘曲
富勒顿体能测验
分层聚集聚类
严肃的游戏
作者要感谢协调人Ioanna Dratsiou、Maria Metaxa、Foteini Dratsiou、Maria Karagianni和Sotiria Gylou,他们在整个严肃游戏会议期间支持参与者,并分享了关于性能和玩法的有意义的、个性化的见解。作者还想感谢干预会议期间的参与者。
这项工作得到了CAPTAIN Horizon 2020项目(赠款769830)、i-Prognosis Horizon 2020项目(赠款690494)和SHAPES Horizon 2020项目(赠款857159)的部分支持。
没有宣布。