我们开始在40岁及以上的社区居民队列中验证BAM-COG ．以40岁为分界点的理由是，大约从这个年龄开始，正常的认知衰老得到了充分的证明[ 23］．除了年龄，唯一的入选标准是参与者有足够的互联网接入。在给定的年龄限制内，目标人群是不受限制的，因为我们寻找的是具有一般人群代表性的研究人群。没有地区、种族背景、性别或语言限制，尽管网站描述只有荷兰语。研究第一部分的参与者是通过几个网站、社交媒体和博客在线招募的。研究的第二部分，在社区中心、购物区、中型区域组织和老年中心招募了一个便利样本。此外，这项研究得到了全国广播和报纸的关注，这也导致了参与者的招募。

该研究网站对参与者开放了四个月。在注册时，我们记录了性别、年龄和教育水平——后者从1到8，其中1是最低值(小学)，8是最高值(大学教育水平;参见[ 22]以参考荷兰的教育分类制度，该制度与联合国的国际教育标准分类[ 24])。在线游戏可以在参与者日常生活的不受控制的环境中完成。 21］．一旦参与者登录，他们就第一次玩BAM-COG游戏。自动提醒系统提示参与者在14天和28天后再次访问网站，进行第二轮和第三轮的BAM-COG游戏。

在前两次访问中，参与者进行了相同的BAM-COG游戏 表1参阅更多有关BAM-COG比赛的资料)。在第三轮中，他们进行了不同批次的BAM-COG游戏，因此在几乎相同的难度下进行不同的试验。为了检查不同批次是否在难度方面没有差异，我们进行了备用形式可靠性(AFR)分析(见统计分析)。总共有三个不同批次的试验。通过在线随机放置脚本，参与者被随机分配到六个可能的序列组(1-1-2,1-1-3,2-2-1,2-2-3,3-3-1，或3-3-2)中的任何一个组。在完成所有三轮比赛后，参与者将获得价值4.99欧元(6.75美元)的促销码，可用于益智游戏网站的一个月订阅。

这项研究分为两部分。第1部分涉及AFR分析和参考值的数据收集，这完全是通过互联网完成的。第1部分的参与者估计每次会议大约需要45分钟来完成BAM-COG。总的来说，在28天内进行了三轮BAM-COG谜题后，参与者估计在BAM-COG上花了大约135分钟。从现在起，这个组将被缩写为“在线组”。第2部分涉及计算BAM-COG的收敛有效性(CV)和发散有效性(DV)所需的数据收集。在这个过程中，除了在线玩BAM-COG游戏外，参与者还访问了内梅亨大学医疗中心(RUMC)一次(该组将缩写为“RUMC组”)。这组参与者进行了计算机化的认知测试(剑桥自动神经心理测试或CANTAB的子测试)和纸和笔的神经心理测试(PnP)(见 表2查看测试的概述和 多媒体附件1参阅更详细的BAM-COG描述)。通过咨询经验丰富的神经心理学家(MAEB, RPCK;看到 表2对于使用的比较措施的概述)。离线测试的顺序(CANTAB优先vs PnP优先)是通过抛硬币随机的。第2部分参与者的BAM-COG结果也包含在第1部分的结果中。每个参与者的测试时间约为90分钟。除了在BAM-COG测量上花费的135分钟外，第2部分的参与者估计在BAM-COG验证研究上花费了大约225分钟。

对于访问RUMC的参与者群体，应用了两个附加的纳入和排除标准。在简易精神状态测验(MMSE [ 25])，以确保所有参与者都没有任何神经退行性疾病的症状[ 16］．为了确保参与者能够使用CANTAB触摸屏和测试环境，会议以执行CANTAB运动筛选任务开始，参与者需要尽可能快速准确地触摸屏幕上闪烁的“x”刺激。如果参与者不能理解或执行这项任务，他们将被排除在进一步的参与之外。由于这项研究设计在一定程度上专注于收集参考值，目前的参与者没有收到关于他们与同龄人相比的个人分数的反馈。在完成三项测量后，参与者没有继续参加游戏，因为BAM-COG不是被设计为训练工具，而是一个评估工具。这类似于它在进一步实践中主要应该使用的方式。

根据我们对CV和DV的样本量计算，我们在第2部分需要37名参与者(alpha错误概率<。05，我们研究的幂(1- β误差概率=.8)。使用GPower 3.1进行样本量计算[ 33］．

BAM-COG由四个益智游戏组成，用于测量工作记忆、视觉空间短期记忆、情景识别记忆和执行功能计划(参见 表1游戏细节)。每个游戏开始时都有简短而明确的指示，告诉参与者应该期待什么。为了最大限度地理解说明，书面说明附有实际的游戏截图。在强制性的指导之后，参与者进行了一次练习，以进一步熟悉游戏。在第一次实践试验之后，实际测试开始了。每款游戏的每个关卡都包含三次尝试。要进入下一关，至少要成功完成三次试验中的两次。如果参与者未能成功完成两到三次试验，则会出现“游戏结束”屏幕，参与者将被链接回主界面，在这里可以选择下一个游戏。有关游戏及其说明的概述，请参见 多媒体附件1． 多媒体附录2- 5包括BAM-COG游戏玩法的短视频。《输送带》、《阳光》和《Papyrinth》游戏的分数是需要处理的刺激或移动的总数。对于《Viewpoint》游戏，分数是指成功完成的关卡数量。

RUMC组的受试者还参与了与BAM-COGs认知域匹配的CANTAB任务和PnP任务 表2)。所有这些游戏都是经过精心挑选的，以尽可能地模仿BAM-COG游戏中主要依赖的认知领域。

根据两位神经心理学家、一位老年病学专家、一位公共卫生研究员和一个专业游戏设计团队的专家意见，这四款益智游戏被认为涵盖了工作记忆、视觉空间短期记忆、情景识别记忆和计划的认知结构。在初步评估之后，该仪器大纲与更广泛的卫生保健专业人员小组进行了讨论，这些专业人员包括神经心理学家、流行病学家、公共卫生保健研究人员和普通心理学家。人们一致认为，从内容的角度来看，当快速和容易访问是关键标准时，不可能涵盖整个生命周期中功能下降的每一个认知领域。研究人员决定选择三种执行功能和一种特定的记忆功能，所有这些功能都已被证实可以降低正常衰老和神经退行性综合征[ 23， 34- 37]，可以很好地了解整体的老化模式。

在不同时间点进行的三批BAM-COG游戏进行比较时，确定了备用形式可靠性(AFR)。每个批次类似于包含相同数量的关卡和试验的BAM-COG的并行版本。从理论上讲，这些批次在难度上没有区别。AFR测定采用类内相关(ICC:双向混合;一致性为95%)，即参与者第二轮和第三轮表现的结果。关于icc的解释，我们需要考虑到这项研究是在临床实验室环境之外进行的，在那里人们很容易分心，这可能会影响测试的可靠性。因此，ICC值在0.4到0.6之间被认为足以支持BAM-COG的AFR。这与另一项在线验证研究一致[ 17］．此外，需要注意的是，icc没有具体的分值[ 38］．

为了进一步分析测量之间可能存在的系统差异，计算了Bland-Altman图。在这些图中，两个时间段之间的差异与它们的平均值对应。此外，分数的平均值和一致限度被计算为两个测量值之间的差值的平均值±2 SD这些差值。还计算了测量的标准误差和两次测量之间的平均差的95%置信区间。如果95%置信区间不包括零，则表明平均值发生了系统的、不受欢迎的变化[ 39］．

CV决定了由BAM-COG游戏所测量的认知领域是否得到了真正的评估，并将经过验证的认知任务作为黄金标准。相比之下，DV检查了BAM-COG在多大程度上与它不应该相关的认知领域相关。通过比较BAM-COG游戏分数与非相关认知结构(在本研究中，智商分数来自荷兰版的国家成人阅读测试，NART)， BAM-COG的独特能力被建立起来。由于BAM-COG结局指标的数据分布非正态分布，且样本量小，因此使用单侧Spearman 's rho相关系数计算BAM-COG的CV和DV。

为解释目的，将三个批次的数据汇总到一个测量中，用于计算CV和DV。这使我们能够将任务判断为一个实体，而不是三个单独的批。单次测试统计数据是根据参与者的平均游戏分数生成的(关于得分的更多信息，请参阅Instruments)。为游戏提供参考值，以提供一些洞察在40岁及以上的正常老龄化人口中的预期分数分布。在每次分析中，原始测试分数为0的参与者被排除在外。这是因为这些参与者要么看了说明，但没有开始玩，要么只玩了进入下一关所需的三次尝试中的一两次。

当地医学伦理委员会(阿纳姆-奈梅亨地区，注册号:2011/490)认为该研究无需进行正式的伦理评估。所有统计分析均使用IBM SPSS Statistics for Windows, Version 20.0进行。Bland-Altman图用GraphPad Prism 5.03版进行。

BAM-COG的可行性是基于注册和退出的总数，参与并完成第一轮、第二轮和第三轮的参与者的百分比，以及对下限和上限效应的分数分布的检查进行评估的。

通过我们的研究网站，641名参与者参与了这项研究，其中124人(19.3%)因不符合年龄标准而被排除在外。注册后，每个参与者都被要求第一次进行BAM-COG测试。该组中有76.8%(397/517)的参与者至少玩过一款游戏，因此有资格进行分析;其中78.6%(312/397)为女性。平均年龄54.9岁(标准差9.6岁)，文化程度6级(范围1 ~ 8级)。

我们招募了56名参与者参与研究的第二部分。56名参与者中，41名愿意在线注册，平均年龄60.8岁(标准差8.2岁)，其中58.5%(24/41)为女性，文化程度为7级(1-8级)。所有参与者的母语都是荷兰语。所有人都能成功完成CANTAB运动筛查任务。总的来说，41名参与者中有21人(51.2%)先完成CANTAB任务，而41名参与者中有20人(48.8%)先完成PnP任务。

在 表3， MMSE, NART-IQ和平均BAM-COG分数。来自这三批游戏的数据汇集在一起，以获得所有四款游戏的总体平均分。RUMC组明显年龄较大( t₃₉₅= 3.78, P<.001)，文化程度较高(χ²₇= 33.8, P<措施)。这导致了更高的整体测试分数(Viewpoint除外)，尽管这些差异只在Sunshine中达到了统计显著性。由于我们的样本中存在如此大的性别分布不平等，我们在原始的BAM-COG分数上控制了男性和女性之间的系统性差异。使用Fisher精确测试，我们没有发现显著差异(范围从 F₁₃= 18.68, P=。07to F₁₉= 21.82, P= .19)。

表4显示了四场BAM-COG比赛的AFR及其各自的95%置信区间。除了视点，所有游戏的AFR都是好的(>.4)到很好的(>.6)。为了进一步阐明这种关系， 多媒体附件6显示生成的Bland-Altman图。这些还表明，除了视点游戏之外，误差偏差并没有远离零。这就确定了在第二轮和第三轮测量之间没有系统误差。

除了观点，与CANTAB和PnP任务相比，BAM-COG游戏的CV(>.4)到非常好(>.6) 表5)。相反地，就像假设的那样，所有的游戏都呈现出良好的DV(<.2)，并带有与IQ无关的整体测量。请注意，视点的AFR较差也会导致CV和DV值较差。

为了控制单个游戏是否在同一认知域上没有大量负载，我们使用汇总游戏分数进行了斯皮尔曼相关分析。正如大样本所预期的那样，大多数相关性是显著的。然而，相关性的大小范围很小(rho=.143， P=.056)，在输送带和视点之间，直到中、小(rho=.406， P<.001)，在Sunshine和Papyrinth之间。

我们提供所有游戏的参考值( 表6)显示在所有三个批次中达到任何给定分数的总次数。

登记人数共641人。BAM-COG在两个全国性广播节目和几家地区和全国性报纸和杂志上受到了全国的关注。在517名符合条件的参与者中，只有397名参与者在三个批次中至少玩了一款游戏(76.8%)。

传送带游戏在三次评估中玩得最多(分别为314次、143次和107次)，纸草游戏玩得最少(分别为189次、123次和87次)。平均而言，75.7%的参与者玩了所有四场游戏，从上一轮结束最后一场游戏的参与者中，平均有80.7%的参与者返回玩下一轮游戏。

只有8名参与者在玩游戏时中途退出。所有其他参与者继续游戏，直到“游戏结束”的消息出现，他们要么继续玩下一个游戏，要么在听到这个消息后决定退出。退出的8名参与者都在玩《Papyrinth》时停下来，这是唯一一款没有综合时间限制的游戏。

数据中没有真正的下限或上限效应。唯一可能的例外可能是Papyrinth和Viewpoint的轻微上限效应(分别为19.6%，44/225和15.0%，79/527，完成最高水平)。否则，参与者完成任务的百分比非常低(分别为0.5%，2/380和0.7%，2/319)。

本文为使用BAM-COG游戏电池作为认知表现的在线自我监测提供了实质性的支持。四分之三的游戏似乎足以衡量相关的认知概念(工作记忆、视觉空间短期记忆和计划)。传送带，阳光，和Papyrinth都有良好的替代形式的可靠性，并被证明是可行的老年人使用。此外，他们都有很好的收敛和发散效度，现在可供参考的游戏。因为所有游戏都是为了衡量某种形式的认知领域而设计的，所以它们之间的相关性在统计上是显著的。然而，它们的大小要么相当小，要么等于与外部金标准测量工具的任务相关性。游戏《Viewpoint》是设计来评估情景识别记忆的，它没有足够的有效性和可靠性，不适合列入在线评估。此外，我们的设置的一个优点是BAM-COG分数与金标准CANTAB和PnP任务的相关性。事实证明，BAM-COG游戏是预期认知领域的可靠测量方法，这为在其他样本中复制这些结果提供了良好的希望，并且BAM-COG可以用于预期的目的。

尽管目前的发现对于BAM-COG的适用性是有希望的，但可以根据这些结果建议进行一些调整。首先，我们偶尔会收到技术困难的反馈，特别是在传送带游戏的表现方面。小尺寸的刺激(在这种情况下，食品杂货如苹果和梨)似乎很难点击，导致无意中错过反应。然而，虽然我们不能完全排除某些远程系统的技术问题，但这也可能是由于个别参与者的鼠标操作不佳造成的。这种解释是可能的，因为软件开发人员和研究人员都无法在不同的操作系统和互联网浏览器的不同系统上复制这个问题。此外，这个问题出现的频率并不高(n= 314中的19个)，它会严重影响我们的分析结果。第二，反馈是需要额外的练习级别。显然，仅仅通过一次试验来熟悉任务并不总是足以让所有参与者完全理解对他们的要求。这可能会导致平均分略微落后。在未来发布的BAM-COG电池中，可以很容易地考虑到这一点。 Third, regardless of our follow-up efforts (one additional phone call and one personal reminder email), 15 participants in the RUMC group failed to register online even after they had visited the memory clinic. Reasons for this dropout could have been a sole interest in the neuropsychological screening at the research center, time restrictions, loss of motivation, or the relative ease with which reminder emails and online interventions can be ignored and forgotten. Additionally, the limited amount of personal contact with the researchers and the ease of the registration process may increase attrition [ 40， 41]，以及技术或计算机访问问题、身体疾病、程序负担、静态结构和对用户偏好的低适应性[ 42， 43］．这再次强调，在建立基于互联网的学习时，高辍学率是一个需要考虑的重要问题。然而，由于退学组的特征与其他注册参与者没有任何不同，我们不认为这对目前的结果有重大影响。

在解释这些结果时，我们需要考虑游戏进行时的自然环境。也就是说，在高度控制的条件下产生结果的实验室研究通常会导致较高的icc和相关性。本研究中的BAM-COG评估都是在参与者的家庭环境中进行的，没有研究团队的监督。由于BAM-COG并非设计用于实验室环境，我们认为目前的设计是检验其可行性、有效性和可靠性的有效方法。如果有偏差，本研究中提出的性能可能低估了BAM-COGs任务的真实可靠性和有效性[ 38］．因此，我们认为我们可以有效地得出结论，BAM-COG是一种足够的认知表现在线自我监测。

事实上，我们的人群主要由女性组成(第一部分和第二部分分别为78.6%，312/397和58.5%，24/41)，这在一定程度上降低了本研究的外部有效性。然而，这种类型的研究和这些类型的益智游戏已经被证明比男性更能吸引女性参与者。 9， 17， 22］．此外，并非所有参与者都完成了(所有)游戏的概念对天花板效应和地板效应结果的解释方式产生了影响。事实上，没有在第1级开始或退出的参与者仍然有可能正在经历地板效应。最后，应该提到的是，RUMC组与在线组不同，因为RUMC组年龄更大，受教育程度更高。这导致平均考试成绩略高。在一个更平衡的样本中进行进一步的研究可以加强得出的结论和BAM-COG组的外部有效性，应该进行其他认知测量的验证研究来重复目前的结果。

总而言之，本研究为使用BAM-COG测试组作为可行、可靠和有效的工具来在线监测健康成年人的认知表现提供了证据。研究发现，四分之三的游戏具有良好或非常好的心理测量特征，可以测量工作记忆、视觉空间短期记忆和计划能力。应该强调的是，该结果绝不能用于诊断神经退行性疾病或预测认知表现。BAM-COG适用于在实践中用于在线监测认知和刺激对健康大脑衰老的电子健康干预。