一种新的远程指导方法来监督基于web的认知测试，以确保高质量的数据:开发和可用性研究gydF4y2Ba

介绍gydF4y2Ba

背景gydF4y2Ba

2020年，全球2019冠状病毒病(COVID-19)大流行使基于人类实验室的心理学研究突然停止，预防疾病传播的社会距离措施迫使实验室设施大规模关闭，除了必要的人际接触外，所有人际接触都被阻止，从深层次上扰乱了学术研究[gydF4y2Ba1gydF4y2Ba，gydF4y2Ba2gydF4y2Ba]。在暂停期间，研究界已经无情地转向远程协议，以取代面对面的活动。视频会议等在线平台的使用呈指数级增长。gydF4y2Ba3.gydF4y2Ba]和Skype)和在线学习[gydF4y2Ba3.gydF4y2Ba，gydF4y2Ba4gydF4y2Ba]用于日常学术活动，社交媒体平台的使用激增，不仅作为与他人互动和联系的手段，还用于参与者招募和推广[gydF4y2Ba5gydF4y2Ba]。与此同时，人们对在线实验替代面对面认知测试的兴趣也在显著增长[gydF4y2Ba1gydF4y2Ba]，而且人们越来越关注方法论的发展，这将使该领域适应一个变化了的世界，在这个世界上，减少社会接触是新常态[gydF4y2Ba1gydF4y2Ba，gydF4y2Ba6gydF4y2Ba，gydF4y2Ba7gydF4y2Ba]。然而，在推动新的在线研究技术的过程中，数据质量和有效性的核心问题不应被忽视，实验室测试和在线测试之间的简单等价假设(例如，基于使用类似的任务和平台就足够了)[gydF4y2Ba8gydF4y2Ba-gydF4y2Ba10gydF4y2Ba)不应该被制造出来。如果不能解决这些问题，可能会导致管理不善的在线研究激增，加剧当前的可重复性危机，并引发新的伦理困境[gydF4y2Ba11gydF4y2Ba]。本研究考察了向基于网络的测试转变所带来的机遇和挑战，强调了为在线研究建立标准数据质量保证框架的迫切需要，并提出了一种新的有监督的在线测试方法——远程指导测试(RGT)，这可以减轻其中的一些挑战，并为在社交距离限制下收集高质量的人类认知数据提供了另一种选择。gydF4y2Ba

网络认知测试的兴起:机遇与挑战gydF4y2Ba

认知测试是一种有价值的心理学工具，广泛用于检查心理执行过程，如学习、决策、抑制和工作记忆[gydF4y2Ba12gydF4y2Ba-gydF4y2Ba31gydF4y2Ba]。执行过程的测试通常涉及在实验室环境下的纸笔管理，允许实验者确认参与者的身份，阻止不诚实行为，并及时帮助解决疑问或技术问题。标准化的测试环境和设备进一步有助于确保实验室协议的可复制性和再现性[gydF4y2Ba32gydF4y2Ba-gydF4y2Ba37gydF4y2Ba]。然而，这种传统的面对面方式既费时又容易出现人为错误[gydF4y2Ba12gydF4y2Ba，gydF4y2Ba32gydF4y2Ba]。此外，由于基于实验室的测试需要参与者亲自到实验室，抽样可能不具有人口代表性[gydF4y2Ba38gydF4y2Ba-gydF4y2Ba40gydF4y2Ba]。例如，Henrich等人[gydF4y2Ba38gydF4y2Ba]， Nielsen等[gydF4y2Ba39gydF4y2Ba]和Arnett [gydF4y2Ba40gydF4y2Ba报告指出，实验室研究的参与者主要是受过教育、工业化、富裕和民主的西方人群。美国六大心理学会期刊分析[gydF4y2Ba40gydF4y2Ba，gydF4y2Ba41gydF4y2Ba]表明，这些期刊上发表的大量研究主要依赖于美国学生。许多关于心理和认知过程的规范性数据都是从北美白人、高社会经济地位和受过良好教育的人群中获得的，这增加了神经心理学可能对文化和种族差异不敏感的可能性[gydF4y2Ba42gydF4y2Ba，gydF4y2Ba43gydF4y2Ba]。结构性种族主义，即建立了一系列将白人视为规范的动态(将黑人和少数民族排除在外或最小化)，也可能导致常规地接受主要是白人的非代表性标准化样本，从而对黑人和少数民族产生错误的规范期望。gydF4y2Ba44gydF4y2Ba，gydF4y2Ba45gydF4y2Ba]。这些有偏见的心理评估做法长期以来一直没有受到挑战，部分原因是普遍相信普遍主义(即，无论文化背景如何，人类的认知过程基本上是相同的理论)。[gydF4y2Ba46gydF4y2Ba，gydF4y2Ba47gydF4y2Ba]。这突出了在心理学研究中更广泛地代表少数民族群体和文化的必要性。基于网络的测试可以帮助改善这一差距，并为神经心理学研究吸引更多不同的全球受众。gydF4y2Ba

在当前的数字时代，个人电脑和网络功能的大量可用性为使用更经济、自动化和开放的方法进行认知测试提供了新的途径[gydF4y2Ba12gydF4y2Ba，gydF4y2Ba48gydF4y2Ba，gydF4y2Ba49gydF4y2Ba]。因此，越来越多的人使用在线平台来评估认知功能[gydF4y2Ba12gydF4y2Ba，gydF4y2Ba50gydF4y2Ba-gydF4y2Ba52gydF4y2Ba]。计算机化在线测试平台，如Gorilla [gydF4y2Ba50gydF4y2Ba]，讯问[gydF4y2Ba52gydF4y2Ba]，以及剑桥神经心理测试自动化电池(CANTAB) [gydF4y2Ba51gydF4y2Ba可以提供几个优势，包括(1)简单而精确地控制实验参数，(2)自动计算关键性能指标，(3)访问规范数据库，(4)访问更广泛的用户群体(使用众包工具)，(5)在专业服务器上集中和安全的数据存储，以及(6)相对较低的人均管理成本[gydF4y2Ba32gydF4y2Ba，gydF4y2Ba34gydF4y2Ba，gydF4y2Ba48gydF4y2Ba，gydF4y2Ba53gydF4y2Ba]。值得注意的是，基于网络的在线测试消除了测试地点的物理限制，允许更广泛(更具代表性)的人口统计范围[gydF4y2Ba34gydF4y2Ba，gydF4y2Ba54gydF4y2Ba]。此外，社交媒体平台、招聘门户(例如，亚马逊的MTurk和高产学术)和在线广告通过增加参与者招聘的便利性和实现从大量人群中高通量数据收集，拓宽了视野，这在传统的基于实验室的环境中是不太可行的。gydF4y2Ba49gydF4y2Ba，gydF4y2Ba55gydF4y2Ba-gydF4y2Ba58gydF4y2Ba]。gydF4y2Ba

COVID-19大流行推动了“远程医疗”或远程获得医疗保健服务的发展，使提供远程神经心理学评估、心理教育和建立关系方面的特殊挑战凸显出来[gydF4y2Ba59gydF4y2Ba]。即使在大流行后时代，对远程保健服务的需求也可能持续存在，因为当由于其他原因(例如疾病、工作量等)无法在诊所实际存在时，远程保健服务可能是有价值的解决方案。与此相关，远程测试(或远程测试)在临床医生中越来越受欢迎。远程测试通常与面对面测试相结合，形成一种混合方法，可以满足患者及其家属的具体需要[gydF4y2Ba59gydF4y2Ba]。辛格和日耳曼[gydF4y2Ba60gydF4y2Ba详细阐述了这种混合方法，他们称之为“混合神经心理学”(HN)。HN使临床医生能够有效和稳定地现代化他们的实践，考虑到个人的需求和(技术)能力，并评估哪些任务是理想的在线或远程管理。事实上，HN结合了远程测试实践和屏幕共享选项，只要材料已经适当数字化，这与本研究中提出的远程指导方法有相似之处。此外，对于大多数神经心理学任务，还没有严格和标准化的基于网络的测试交付协议，这限制了临床医生和科学家在日常实践中采用这些方法的信心。本研究通过提供一套与临床评估高度相关的执行功能和认知任务的详细远程管理协议，解决了研究和临床环境中对远程神经心理学测量方法日益增长的需求。gydF4y2Ba

此外，关于数据质量、可比性、可复制性和基于网络的传统实验室数据收集方法的有效性的长期争论仍然存在[gydF4y2Ba61gydF4y2Ba，gydF4y2Ba62gydF4y2Ba]。一方面，直接比较网络先驱如Germine及其同事提供的基于网络和实验室的数据样本[gydF4y2Ba63gydF4y2Ba-gydF4y2Ba65gydF4y2Ba在一系列关于记忆和感知的大规模网络研究(testmybrain.org)上的研究表明，就平均表现和表现可变性而言，自我选择的网络样本的可靠性、可复制性和理论一致性与实验室收集的数据相当，即使是匿名、无补偿和无监督的参与者。另一方面，人们对基于网络的测试的实验性严谨性提出了担忧，但尚未完全消除[gydF4y2Ba36gydF4y2Ba，gydF4y2Ba37gydF4y2Ba]，特别是缺乏对硬件规格和测试环境的控制和更高的可变性[gydF4y2Ba36gydF4y2Ba，gydF4y2Ba37gydF4y2Ba，gydF4y2Ba66gydF4y2Ba]。例如，Bauer等人[gydF4y2Ba36gydF4y2Ba报道称，大多数在线研究都存在缺乏环境控制和参与者分心的问题。此外，大多数在线研究没有监测或报告参与者的环境，他们的设备规格或网络能力的测量。这些数据在报告时通常会揭示参与者使用的设备和计算机规格的巨大差异[gydF4y2Ba34gydF4y2Ba，gydF4y2Ba66gydF4y2Ba]。在一项关于在线和实验室研究中计算规范的里程碑式研究中，Bridges等人[gydF4y2Ba66gydF4y2Ba比较了几个基于网络的实验平台(如Gorilla和jsPsych)与不同操作系统(如Windows、macOS和Ubuntu)的配对。从11万多次试验中收集的数据来看，macOS在所有实验网络平台上的表现最差，尤其是在视觉刺激方面。这种可变性还表明，在线研究可能无法达到与实验室研究相似的精度水平。此外，由于数据是匿名提供的，没有监督，在线数据可能会被动机低或可疑的不诚实参与者泄露[gydF4y2Ba36gydF4y2Ba]。gydF4y2Ba

事实上，一些比较研究报告称，在不同的认知任务和人群中，基于网络的认知表现与其纸笔替代品之间只有适度的相关性[gydF4y2Ba32gydF4y2Ba，gydF4y2Ba36gydF4y2Ba，gydF4y2Ba67gydF4y2Ba]。例如，Backx等[gydF4y2Ba34gydF4y2Ba比较了从CANTAB平台获得的认知数据，这些数据是通过无监督的网络管理和基于实验室的管理收集的。类内相关性和双变量相关性表明，几个关键性能指标(误差、正确试验和反应敏感性)在两种设置中具有高度可比性，类内相关系数范围为ρ=0.23-0.67。然而，在基于网络的评估中，参与者的反应时间(RTs)明显且持续较慢，并且评估的5种RT测量方法中没有一种符合跨设置可比性的全部标准，即可靠性、等效性和一致性。此外，在在线环境中，超过90%的参与者报告在5个不同的认知任务中分心，而在实验室环境中没有，并且由于空间工作记忆(SWM)任务中的大量错误，2个在线参与者数据集被排除在外。这些统计数据表明，糟糕的测试环境和对指令的误解可能会影响参与者在在线设置中的表现。事实上，先前的研究表明，由于参与者的身份或行为无法被主动监控，缺乏激励可能会使参与者在回答问题时粗心大意，甚至具有欺骗性。gydF4y2Ba68gydF4y2Ba]。此外，在线参与者在阅读任务说明上投入的时间和精力较少，可能会表现出较低的任务参与度，从而导致比实验室环境下更高的辍学率[gydF4y2Ba69gydF4y2Ba，gydF4y2Ba70gydF4y2Ba]。因此，对于目前的基于网络的无监督测试协议，似乎存在数据数量(多样性和易于收集)和数据质量之间的权衡[gydF4y2Ba37gydF4y2Ba，gydF4y2Ba66gydF4y2Ba，gydF4y2Ba71gydF4y2Ba]。考虑到在线测试中这些已知的缺陷，以及对在线任务管理、数据质量指数和报告基准(例如Feenstra等)中最佳实践标准化的不断努力[gydF4y2Ba72gydF4y2Ba])，本研究解决了为基于网络的认知测试开发更好的测试协议和数据质量保证框架的及时需求，特别是解决了在线参与者参与的问题。gydF4y2Ba

基于web的认知测试数据质量保证框架gydF4y2Ba

为了评估数据质量，首先重要的是建立衡量数据质量的指数和基准。在这些问题上，目前还没有明确的共识。关于参与者未完成、数据损耗和技术问题的一般统计表明，通常会排除那些遇到技术困难、表现不诚实或未能完成分配任务的参与者的数据[gydF4y2Ba71gydF4y2Ba，gydF4y2Ba73gydF4y2Ba-gydF4y2Ba75gydF4y2Ba]。然而，数据质量的一个更敏感的测试涉及应用特定于任务的数据清理排除标准后剩余的数据的“可用部分”。用于数据排除的一个常用指标是RT，因为太快(或太慢)的响应可能反映了参与者的注意力不集中或任务脱离。根据所呈现的刺激和任务要求的复杂性，认知任务中参与者的反应延迟大多在400毫秒至2000毫秒之间变化[gydF4y2Ba76gydF4y2Ba]。然而，对于基于web的任务，测量的响应时间有一个额外的(技术)可变性来源。从许多(例如，数百个)单独的试验中收集反应延迟需要在参与者的计算机(即客户端)上安装一个软件程序，以呈现刺激并收集本地的反应延迟。如果每个响应都必须通过网络连接发送回要记录的服务器，这将减少跨网络通信带来的时间变化和服务器响应时间。一些客户端技术已经被用来创建这样的程序，其中最流行的可能是JavaScript、Java和Flash。gydF4y2Ba76gydF4y2Ba]。gydF4y2Ba

然而，大多数这些程序在记录的响应时间中引入了一个小但可变的延迟。除了程序本身，这种延迟还受到计算机的操作系统、浏览器、硬件质量和任何可能正在运行的后台程序的影响。例如，当Schubert等人[gydF4y2Ba76gydF4y2Ba使用DMDX软件和键盘测量标准自动反应时间(即机器人对简单视觉刺激的检测)，平均反应时间为68.24毫秒(SD 3.18)。当使用其他程序时，这些平均延迟更高，例如，E-prime(84.58毫秒，SD 6.25)和Superlab(98.18毫秒，SD 4.17)。有趣的是，网页版《Inquisit》的平均反应延迟(66.21毫秒，SD 2.74)非常相似。当比较人类在Stroop Task上的反应时间时，Schubert等人[gydF4y2Ba76gydF4y2Ba]报道dmdx记录的反应(平均551.98毫秒，SD 201.38)明显快于基于flash的web软件ScriptingRT(平均631.63毫秒，SD 243.42)，尽管测量的Stroop效应(不一致和一致试验之间的反应延迟差异)相似。因此，网络收集的响应延迟数据应该谨慎处理，因为测量的时间可能受到心理因素(例如，参与者分心和注意力不集中)和技术因素的影响，尽管更新和更好的在线实验平台在一定程度上改善了后一个问题。gydF4y2Ba

一些基于网络的研究实施了硬截止，以排除超过特定阈值的响应延迟，以优化数据质量。例如，Kim等人[gydF4y2Ba77gydF4y2Ba排除了在他们所使用的心理语言任务中快于300毫秒或慢于5000毫秒的异常反应。然而，这些被排除的试验只代表了0.75%的数据(无论是基于实验室的还是基于网络的队列)，这可能表明数据质量上乘，也可能表明他们的延迟标准对特定任务过于宽松。同样，Eisenberg等[gydF4y2Ba55gydF4y2Ba在广泛的认知任务中，排除了反应延迟中位数小于200毫秒的参与者。他们还实施了三个额外的质量检查:(1)<25%遗漏(遗漏)的回答，(2)>60%的任务准确性，(3)95%以上的时间没有给出单一的回答。然而，尽管参与者未完成和多项任务失败的比率(gydF4y2Ba表1gydF4y2Ba)，未报告其他响应延迟、遗漏和分布质量检查失败的试验和数据集的数量。此外，对于某些任务(停止信号、概率选择和两步决策任务)，数据集有10%到30%的缺失值，这些缺失值是通过额外的质量控制(操作)检查确定的。将这一数据与21%的数据排除数据相加，表明在一些基于web的任务中，“可用数据”的实际比例可能低至50%。gydF4y2Ba

表1gydF4y2Ba为类似的基于实验室和基于网络的认知研究提供了其他数据排除统计的例子。这些统计报告的是参与者的完成率/辍学率，而不是试验水平的数据质量指数。Hicks等人的研究[gydF4y2Ba79gydF4y2Ba]和Ruiz等[gydF4y2Ba80gydF4y2Ba，他在实验室和在线条件下管理匹配的工作记忆和陈述性记忆任务组，显示出一个清晰而一致的趋势，即网络测试的数据排除率和未完成率更高，通常有15%到20%的在线参与者因未完成(辍学)和技术问题而被排除在外。参与者退出问题似乎在在线认知训练研究中尤为严重，一项研究报告称，最初招募的健康老年人参与者中有32%(80/249)最终退出了为期12周的基于网络的认知灵活性训练研究[gydF4y2Ba81gydF4y2Ba]。然而，对文献的简短浏览也强调，除了少数研究(如Backx等)[gydF4y2Ba34gydF4y2Ba])，关于在线实验测试期间发生的情况或参与者的计算和网络能力的报道很少，除了粗糙的RT阈值和主要任务失败之外，很少有识别和删除低质量网络数据的基准。显然需要制定标准化的数据质量指数，供基于网络的研究收集和报告，包括这些指数的推荐基准。gydF4y2Ba

一种新的在线监督方法:远程引导测试gydF4y2Ba

在前面的章节中，我们讨论了基于web的认知测试的前景，特别是它的可伸缩性和覆盖范围，以及当前数据质量保证面临的挑战。在某种程度上，由于网络测试的无监督性质，对实验严谨性和数据质量的质疑已经出现[gydF4y2Ba36gydF4y2Ba，gydF4y2Ba37gydF4y2Ba，gydF4y2Ba66gydF4y2Ba]。没有监督，实验人员无法控制(或洞察)测试环境，也无法监控参与者的表现，阻止不诚实行为，或影响参与者在任务执行过程中的动机和注意力状态。此外，即使是真正有动机的参与者也可能会在有复杂指令的任务中挣扎，并且误解了对他们的要求，从而导致浪费精力和无法使用的数据。最后，如果没有人类实验人员在场解决问题，遇到技术问题的参与者可能会感到沮丧和压力，导致更差的动力和表现。为了弥补这一差距，我们在这里提出了一种新的监督在线数据收集方法，RGT。这种混合方法结合了基于网络的在线测试的便利性和覆盖面，以及基于实验室的数据收集的严格性和质量控制。增加一个监督组件，包括更大的环境控制，旨在减轻由于心理或技术因素造成的数据质量下降和损耗。gydF4y2Ba

RGT方法通过视频会议平台模拟基于实验室的实验测试。与面对面的测试类似，实验者安排在一个特定的日期和时间在网上与参与者见面，并虚拟地指导参与者完成实验过程的每一步。这包括获取知情同意、为软件安装提供技术支持、排除问题、监控性能、在适当的情况下提供反馈和汇报。实验者还帮助参与者优化他们的测试环境(包括灯光、声音和最小化干扰)，并收集有关参与者的硬件、软件和网络能力的详细数据。此外，远程测试人员可以安排舒适休息(如如厕、食物或饮料、休息、锻炼)，以免对测试交付或数据收集产生不利影响。这种方法在整体方法上是新颖的，因为它提供了一个完全监督和互动的在线测试体验，据我们所知，以前还没有报道过基于网络的认知测试。gydF4y2Ba

为了更深入地评估RGT方法对数据质量的影响，我们在一系列基于网络的认知任务中测量并报告了3个试验级数据质量指标:(1)错过的反应，(2)数据排除(在试验和参与者水平)，以及(3)RTs。为了确保密切的可比性并隔离测试方式的影响，参与者在心理学实验室或家中通过RGT完成了每个认知任务的相同网络版本。在这两种情况下，参与者在完成一系列评估执行功能(认知灵活性、抑制和工作记忆)和学习的认知任务时，都接受专家的监督。虽然这些任务中的大多数都依赖于准确性的测量，但我们特别包括了具有rt依赖结果测量的任务，例如Stroop任务[gydF4y2Ba20.gydF4y2Ba]和停止信号任务[gydF4y2Ba21gydF4y2Ba，gydF4y2Ba22gydF4y2Ba]。鉴于基于网络的测试对认知任务中较慢参与者RTs的影响有很好的量化[gydF4y2Ba34gydF4y2Ba，gydF4y2Ba76gydF4y2Ba]，我们评估了这些差异是否(以及在多大程度上)可以通过加强监督和环境控制来改善。最后，为了提高我们研究结果的普遍性，我们测试了3种不同的基于网络的实验平台;CANTAB, Inquisit和i-ABC。我们假设，通过RGT方法纳入监督将产生高保真的认知数据，这些数据在数据质量和任务绩效(包括RTs)的所有测量指标中与实验室收集的认知数据相匹配。gydF4y2Ba

方法gydF4y2Ba

参与者gydF4y2Ba

共有85名健康的新加坡年轻人参加了这项研究，并面对面提供了数据(F2F;n=41)和RGT (n=44)。另有4名RGT和5名F2F参与者最初表示有兴趣，但随后退出了研究。来自这些参与者的数据不包括在任何分析中。所有的参与者都以英语为母语，没有临床诊断的精神疾病或发育困难史，听力和视力正常或矫正。招聘是通过社交媒体上的在线广告和大学招聘渠道进行的。这两个群体的人口统计信息详见gydF4y2Ba表2gydF4y2Ba。小动物——一张长有gydF4y2BatgydF4y2Ba测试证实两组之间的年龄没有显著差异(gydF4y2BatgydF4y2Ba_83gydF4y2Ba= -1.29,gydF4y2BaPgydF4y2Ba=.20)，性别、种族、教育程度和收入分布也相似。gydF4y2Ba

所有85名参与者都参加并完成了他们预定的测试。没有一个人在会议中途退出。RGT组的所有44名(100%)参与者在基于网络的平台上完成了所有10项计算机化任务。然而，只有22名(53.7%)F2F参与者在网络平台上完成了所有的计算机化任务(17名女性和5名男性;平均年龄21.06岁，范围18.11 ~ 26.68岁，标准差2.09岁)。其余19名(46.3%)F2F参与者在COVID-19封锁限制之前接受了测试，因此仅以与其他参与者类似的格式完成了3个i-ABC任务、词汇和数字跨度任务。其他Inquisit任务(Trails、Stop Signal和Stroop)要么是在纸上完成的，要么是使用不同的(离线)平台完成的，CANTAB任务没有被管理。由于这些任务相关的差异可能会产生性能差异，为了保持一致性，我们只分析了这19名(46.3%)F2F参与者的i-ABC任务、词汇和数字跨度的数据。gydF4y2Ba

设备gydF4y2Ba

F2F组在心理实验室使用标准测试笔记本电脑(HP ProBook 430 G2/G3, Intel Core i7 2/2.4GHz, 8gb RAM, 500gb HDD + 256gb SSD, 13.3”显示器)运行Windows 10操作系统(Microsoft Corporation)，使用有线鼠标进行实验测试。对于RGT组，参与者在家中使用个人笔记本电脑或台式机完成会话，这些笔记本电脑或台式机必须满足某些最低要求(gydF4y2Ba多媒体附录1gydF4y2Ba）.为评估电脑硬件的实际质素及网络能力，所有参与测试的人士均填写了一份设备问卷(gydF4y2Ba多媒体附录2gydF4y2Ba）.gydF4y2Ba

过程gydF4y2Ba

标准操作程序(gydF4y2Ba多媒体附录1gydF4y2Ba)，以确保F2F和RGT组参与者的标准化方法和任务交付。此外，还采取了戴口罩、测量体温、检查旅行/隔离史等新冠肺炎流行的预防措施。研究方案已获得南洋理工大学伦理机构审查委员会(IRB-2020-02-001)的批准。简而言之，F2F参与者完成了一次持续3.5小时的单独面对面测试，而RGT参与者完成了两次单独的在线视频会议，这些会议通过安全的Microsoft Teams或Zoom会议进行。两个在线课程都是视频录制的，总共持续4个小时。在前30分钟的安装和设置过程中，参与者在实验者的指导下下载、安装和测试所有必要的软件。评估测试环境，提供建议，以尽量减少噪音和干扰(gydF4y2Ba多媒体附录3gydF4y2Ba，见测试环境检查表)，并记录计算和输入设备(gydF4y2Ba多媒体附录2gydF4y2Ba）.在第二个3.5小时的测试中，RGT参与者在实验者的监督下完成了所有的计算机化测试，实验者在整个测试过程中都保持在线状态(在适当的时候关掉或调静音视频)。生成了5个不同的任务顺序，以确保同一认知领域的2个任务不被连续管理。各自的程序总结于gydF4y2Ba图1gydF4y2Ba。gydF4y2Ba

‎gydF4y2Ba 查看此图gydF4y2Ba

任务gydF4y2Ba

概述gydF4y2Ba

参与者总共完成了10个在线实验任务，评估执行功能(认知灵活性、工作记忆和抑制控制)、学习和语言智力的各个方面。这些任务使用3种不同的实验网络平台:i-ABC [gydF4y2Ba83gydF4y2Ba]、Inquisit 5 (Millisecond Software)和CANTAB (Cambridge Cognition);或者由实验者口头传达，总结如下gydF4y2Ba表3gydF4y2Ba。两组人还完成了一份简短的在线人口统计问卷。gydF4y2Ba

表3gydF4y2Ba提供本研究中使用的各种交付平台的概述以及完整的任务集。复选标记表示管理任务的相应平台。gydF4y2Ba

i-ABC平台gydF4y2Ba

在i-ABC平台上进行了三个实验任务[gydF4y2Ba83gydF4y2Ba]。威斯康辛卡片分类测验[gydF4y2Ba15gydF4y2Ba，gydF4y2Ba16gydF4y2Ba]和概率反转任务[gydF4y2Ba84gydF4y2Ba]是对认知灵活性的测量，而结构学习任务[gydF4y2Ba19gydF4y2Ba，gydF4y2Ba83gydF4y2Ba评估统计学习。i-ABC网站在一个模拟玩“太空主题”视频游戏的平台上管理这3个任务，参与者完成任务就可以获得积分。中提供了详细的任务说明和性能指标gydF4y2Ba多媒体附录4gydF4y2Ba(参见第1-3节)。gydF4y2Ba

查询5 Web平台gydF4y2Ba

Stroop任务、Stop Signal任务和Trail Making任务的计算机化版本由Millisecond软件在Inquisit 5网络播放器上托管和管理[gydF4y2Ba85gydF4y2Ba]。该软件在会议前下载，当每个任务链接被打开时，参与者被提示在进入全屏模式之前输入他们的唯一ID。任务刺激的显示尺寸由软件根据计算机物理屏幕显示尺寸进行标准化和自动调整。中提供了详细的任务说明和性能指标gydF4y2Ba多媒体附录4gydF4y2Ba(见第4-6节)。gydF4y2Ba

剑桥大学的平台gydF4y2Ba

内额外维度(IED)设置转换任务和空间工作记忆任务都是CANTAB的一部分[gydF4y2Ba26gydF4y2Ba，gydF4y2Ba27gydF4y2Ba，gydF4y2Ba86gydF4y2Ba]。中提供了详细的任务说明和性能指标gydF4y2Ba多媒体附录4gydF4y2Ba(见第7-8节)。gydF4y2Ba

口头交付gydF4y2Ba

韦氏简略智力量表(WASI-II)第二版的词汇子测试[gydF4y2Ba28gydF4y2Ba]和第四版威施勒成人智力量表(WAIS-IV)的倒向数字广度子测试[gydF4y2Ba29gydF4y2Ba]分别通过言语传递来评估言语智力和言语工作记忆。中提供了详细的任务说明和性能指标gydF4y2Ba多媒体附录4gydF4y2Ba(见第9-10节)。gydF4y2Ba

数据质量指标gydF4y2Ba

错过了试验gydF4y2Ba

对于涉及在指定时间限制内的响应的任务，计算错过试验的次数。如果参与者没有在试验的规定时限内输入应答，则视为错过试验。由于某些任务(例如Stroop)在继续之前需要响应，因此该索引不适用于这些任务。gydF4y2Ba

数据排除gydF4y2Ba

参与者数据可以在试验级别或在任务级别被排除(即，为该任务删除所有参与者数据)。gydF4y2Ba

试验级排除(异常值)gydF4y2Ba

如果单个试验的RT偏离(太快或太慢)，则排除该试验。参考先前使用类似任务的研究[gydF4y2Ba55gydF4y2Ba，gydF4y2Ba77gydF4y2Ba，反应时间超过300毫秒通常被认为表明参与者注意力不集中或未能完全处理该试验中的刺激。相反，响应时间大于响应时间分布的SD 2.5通常也被认为是异常值，表明注意力不集中。使用F2F RT分布为两组设置固定阈值，以确保识别慢异常响应时间的基础一致，并为数据质量的比较提供公平的基础。具体来说，慢异常值被定义为每个任务的RTs大于F2F分布的平均值2.5个标准差。任何RTs低于这个阈值的试验(对于F2F和RGT参与者)都被认为是异常值并被删除。gydF4y2Ba

作为停止信号任务的例外，并参考Verbruggen等人[gydF4y2Ba22gydF4y2Ba]，由于参与者在早期阶段没有完全投入到任务中，因此取消了对三个模块中的每个模块的第一次试验。此外，在停止信号任务中，300毫秒以下的RTs没有被移除，因为参与者需要提供快速反应，而抑制失败是核心兴趣。由于CANTAB网络平台没有提供试验水平的数据，因此没有排除IED或SWM任务的试验。由于口头传递任务(WASI词汇和倒向数字广度)在F2F和RGT设置下都是由实验者手动执行的，因此它们不受试验水平的排除。gydF4y2Ba

任务级别的除外gydF4y2Ba

在任务级别，由于技术或性能原因，参与者数据被排除在外。如果参与者在该任务中遇到实验平台、设备或测试环境方面的困难，则由于技术原因排除数据。如果受试者被遗漏和被排除的试验总数大于该任务所有试验的25%，则发生任务级表现排除(见前面讨论的试验级排除标准)。gydF4y2Ba

反应时间gydF4y2Ba

数据质量的最终指标是剩余纳入试验的平均RT(按参与者计算)。这被用作数据质量指标，因为先前的研究表明，在基于网络的实验任务交付过程中，平均RTs可能变化更大/更长[gydF4y2Ba34gydF4y2Ba，gydF4y2Ba76gydF4y2Ba]。由于CANTAB web平台没有提供试验级数据，因此该RT索引无法用于IED或SWM任务。gydF4y2Ba

结果gydF4y2Ba

远程引导参与者的技术概况gydF4y2Ba

每位RGT参与者都在家中使用个人电脑和互联网连接完成实验任务。虽然所有参与者使用的设备都符合资格标准中规定的某些最低标准(见方法部分中的设备)，但我们希望确定所使用技术的实际范围和质量。如图所示gydF4y2Ba图2gydF4y2Ba-gydF4y2Ba3.gydF4y2Ba详细内容见gydF4y2Ba表4gydF4y2Ba，实验设备与RGT小组报告的硬件规格非常匹配(例如，Windows操作系统，英特尔酷睿i7处理器，13英寸屏幕，1920 x 1080分辨率，大约8gb RAM)。就网络能力而言，大多数RGT参与者的互联网下载/上传速度比F2F组更快(平均77.9/70.4 Mb/s比44.6/48.1 Mb/s)，但网络延迟略长(平均10.6毫秒比5毫秒)。gydF4y2Ba

‎gydF4y2Ba 查看此图gydF4y2Ba

‎gydF4y2Ba 查看此图gydF4y2Ba

数据质量gydF4y2Ba

错过了试验gydF4y2Ba

表5gydF4y2Ba显示每个实验任务和组的试验错过的百分比。为了评估不同任务间错过试验的数量是否存在差异，作为检验模态的函数，采用一般线性模型(GLM)分析，每个任务(4个水平)的错过试验作为因变量(受试者内)，模态(2个水平)作为预测变量(受试者之间)。参与者的年龄和词汇标准化得分作为协变量输入模型。由于Mauchly的检验表明球形假设已经被违反(gydF4y2BaχgydF4y2Ba^2gydF4y2Ba_5gydF4y2Ba= 176;gydF4y2BaPgydF4y2Ba<.001)，自由度使用温室-盖瑟球度估计进行校正(gydF4y2BaεgydF4y2Ba= 0.53)。结果显示，模态(gydF4y2BaFgydF4y2Ba_{1, 56gydF4y2Ba}=收;gydF4y2BaPgydF4y2Ba=无误;gydF4y2BaηgydF4y2Ba^2gydF4y2BaPgydF4y2Ba= 0.01)，模态与任务之间无显著交互作用(gydF4y2BaFgydF4y2Ba_{1.59, 89.3gydF4y2Ba}=无误;gydF4y2BaPgydF4y2Ba= .60;gydF4y2BaηgydF4y2Ba^2gydF4y2BaPgydF4y2Ba= . 01)。Tukey HSD事后测试表明，F2F和RGT参与者在任何单独任务的错过试验方面没有差异(gydF4y2BaPgydF4y2Ba>。99for all pairwise comparisons). There were also no significant effects of age (FgydF4y2Ba_{1, 56gydF4y2Ba}=点;gydF4y2BaPgydF4y2Ba=票价;gydF4y2BaηgydF4y2Ba^2gydF4y2BaPgydF4y2Ba=.01)和词汇量(gydF4y2BaFgydF4y2Ba_{1, 56gydF4y2Ba}= . 01;gydF4y2BaPgydF4y2Ba=点;gydF4y2BaηgydF4y2Ba^2gydF4y2BaPgydF4y2Ba=美元)。gydF4y2Ba

数据排除gydF4y2Ba

Trial-Level除外gydF4y2Ba

表5gydF4y2Ba按实验任务和组提供数据排除的完整分解。使用GLM对数据进行分析，每个任务(5个水平)的排除试验作为因变量(受试者内)，模态(2个水平)作为预测变量(受试者之间)，以确定跨任务的排除试验的总体百分比是否存在差异，作为测试模态的函数。参与者的年龄和词汇标准化得分作为协变量输入模型。由于Mauchly的检验表明球形假设已经被违反(gydF4y2BaχgydF4y2Ba^2gydF4y2Ba_9gydF4y2Ba= 17.1;gydF4y2BaPgydF4y2Ba= 0.047)，自由度使用温室-盖瑟球度估计(gydF4y2BaεgydF4y2Ba= 0.88)。结果显示，Modality (gydF4y2BaFgydF4y2Ba_{1, 56gydF4y2Ba}= 2.1;gydF4y2BaPgydF4y2Ba=含量;gydF4y2BaηgydF4y2Ba^2gydF4y2BaPgydF4y2Ba=.04)，模态与任务之间无显著交互作用(gydF4y2BaFgydF4y2Ba_{3.55, 198.5gydF4y2Ba}= .37点;gydF4y2BaPgydF4y2Ba=结果;gydF4y2BaηgydF4y2Ba^2gydF4y2BaPgydF4y2Ba= . 01)。Tukey HSD事后测试表明，F2F和RGT参与者在任何单独任务的排除试验上没有差异(gydF4y2BaPgydF4y2Ba>。40for all pairwise comparisons). There were also no significant effects of age (FgydF4y2Ba_{1, 56gydF4y2Ba}= 1.97;gydF4y2BaPgydF4y2Ba=。;gydF4y2BaηgydF4y2Ba^2gydF4y2BaPgydF4y2Ba=.03)和词汇量(gydF4y2BaFgydF4y2Ba_{1, 56gydF4y2Ba}= 1.74;gydF4y2BaPgydF4y2Ba= .19;gydF4y2BaηgydF4y2Ba^2gydF4y2BaPgydF4y2Ba= 03)。gydF4y2Ba

任务级别的除外gydF4y2Ba

如图所示gydF4y2Ba表5gydF4y2Ba，共12个参与者任务级数据集(F2F=2, RGT=10)被排除在分析之外。其中，由于技术原因删除了6个数据集，由于性能原因删除了6个数据集。由于在任务管理期间遇到的技术问题(例如，操作系统兼容性、软件/硬件问题和环境中断)，RGT组才会出现技术排除。F2F组中没有数据集因技术原因被排除在外。对于与表现相关的排除，回想一下，如果参与者的错过试验和偏离试验总数大于该任务所有试验的25%，则排除任务级数据。根据这些标准，在F2F组中删除2个参与者任务级数据集，在RGT组中删除4个参与者任务级数据集(由于性能原因共删除6个数据集)。gydF4y2Ba

反应时间gydF4y2Ba

最后，我们评估了纳入试验的平均RTs是否因试验方式的不同而不同(见gydF4y2Ba表5gydF4y2Ba对于群体意味着)。使用GLM分析数据，每个任务(6个水平)的RTs作为依赖(受试者内)变量，模态(2个水平)作为预测(受试者之间)变量。参与者的年龄和词汇标准化得分作为协变量输入模型。由于Mauchly的检验表明球形假设已经被违反(gydF4y2BaχgydF4y2Ba^2gydF4y2Ba_14gydF4y2Ba= 176;gydF4y2BaPgydF4y2Ba<.001)，自由度使用温室-盖瑟球度估计进行校正(gydF4y2BaχgydF4y2Ba= 0.37)。结果显示，模态(gydF4y2BaFgydF4y2Ba_{1, 55gydF4y2Ba}=含量;gydF4y2BaPgydF4y2Ba= 2;gydF4y2BaηgydF4y2Ba^2gydF4y2BaPgydF4y2Ba=.00)，模态和任务之间没有显著的交互作用(gydF4y2BaFgydF4y2Ba_{1.86, 102.3gydF4y2Ba}= . 21;gydF4y2BaPgydF4y2Ba= .24点;gydF4y2BaηgydF4y2Ba^2gydF4y2BaPgydF4y2Ba= 03)。Tukey HSD事后测试表明，F2F和RGT参与者在任何单独任务的RT上没有差异(gydF4y2BaPgydF4y2Ba>。80for all pairwise comparisons). There were also no significant effects of age (FgydF4y2Ba_{1, 55gydF4y2Ba}=美元;gydF4y2BaPgydF4y2Ba= .98点;gydF4y2BaηgydF4y2Ba^2gydF4y2BaPgydF4y2Ba=.00)和词汇(gydF4y2BaFgydF4y2Ba_{1, 55gydF4y2Ba}= .14点;gydF4y2BaPgydF4y2Ba=点;gydF4y2BaηgydF4y2Ba^2gydF4y2BaPgydF4y2Ba=美元)。gydF4y2Ba

任务绩效gydF4y2Ba

通过交付平台对任务绩效指标进行分析。与以前使用简单和统一的标准手动计算错过/排除试验的数据质量测量不同，这些性能指标在复杂性和粒度上差异很大(例如，策略、准确性/误差和时间的跨越估计)。大多数绩效指标也由交付软件使用内置标准和假设自动计算。因此，我们通过交付平台分别分析任务性能，以允许我们检测在某些平台及其任务上出现的任何测试模式差异，而不是在其他平台上。gydF4y2Ba图4gydF4y2Ba和gydF4y2Ba表6gydF4y2Ba通过交付平台、任务和测试方式显示参与者性能的完整分解。gydF4y2Ba

‎gydF4y2Ba 查看此图gydF4y2Ba

• i-ABC:gydF4y2Ba使用GLM对数据进行分析，其中任务(3个水平)和指数(2个水平)作为因变量(受试者内)，测试模式(2个水平)作为预测变量(受试者之间)，以评估三个i-ABC任务(威斯康星卡片排序、概率反转和结构学习)的任务绩效。参与者的年龄和词汇标准化得分作为协变量输入模型。由于Mauchly的检验表明球形假设已经被违反(任务gydF4y2BaχgydF4y2Ba^2gydF4y2Ba_2gydF4y2Ba= 78.7;gydF4y2BaPgydF4y2Ba<.001)，自由度使用温室-盖瑟球度估计进行校正(gydF4y2BaεgydF4y2Ba= 0.60)。结果显示，模态(gydF4y2BaFgydF4y2Ba_72gydF4y2Ba=美元;gydF4y2BaPgydF4y2Ba= .96点;gydF4y2BaηgydF4y2Ba^2gydF4y2BaPgydF4y2Ba=.00)，模态和任务之间没有显著的交互作用(gydF4y2BaFgydF4y2Ba_{1.20, 86.2gydF4y2Ba}= .02点;gydF4y2BaPgydF4y2Ba= .92;gydF4y2BaηgydF4y2Ba^2gydF4y2BaPgydF4y2Ba=美元)。Tukey HSD事后测试表明，F2F和RGT参与者在任何单独任务或指标上的表现都没有差异(gydF4y2BaPgydF4y2Ba>。99for all pairwise comparisons). There was a significant effect of age (FgydF4y2Ba_72gydF4y2Ba= 9.81;gydF4y2BaPgydF4y2Ba= .003;gydF4y2BaηgydF4y2Ba^2gydF4y2BaPgydF4y2Ba=.12)，但对词汇量(gydF4y2BaFgydF4y2Ba_72gydF4y2Ba= .02点;gydF4y2BaPgydF4y2Ba= .90;gydF4y2BaηgydF4y2Ba^2gydF4y2BaPgydF4y2Ba=美元)。gydF4y2Ba
• Inquisit:gydF4y2Ba为了评估三个Inquisit任务(Stroop、Stop Signal和Trails)的任务表现，使用GLM分析数据，其中指数(4个水平)作为因变量(受试者内)，测试模式(2个水平)作为预测变量(受试者之间)。参与者的年龄和词汇标准化得分作为协变量输入模型。由于Mauchly的检验表明球形假设已经被违反(任务gydF4y2BaχgydF4y2Ba^2gydF4y2Ba_5gydF4y2Ba= 65.9;gydF4y2BaPgydF4y2Ba<.001)，自由度使用温室-盖瑟球度估计进行校正(gydF4y2BaεgydF4y2Ba= 0.60)。结果显示，模态(gydF4y2BaFgydF4y2Ba_{1, 58gydF4y2Ba}= .74点;gydF4y2BaPgydF4y2Ba=点;gydF4y2BaηgydF4y2Ba^2gydF4y2BaPgydF4y2Ba= 0.01)，模态与指数之间无显著交互作用(gydF4y2BaFgydF4y2Ba_{1.80gydF4y2Ba}，gydF4y2Ba_{104.3gydF4y2Ba}= 1.65;gydF4y2BaPgydF4y2Ba= .20;gydF4y2BaηgydF4y2Ba^2gydF4y2BaPgydF4y2Ba= 03)。Tukey HSD事后测试表明，F2F和RGT参与者在任何单独任务或指标上的表现都没有差异(gydF4y2BaPgydF4y2Ba>。77for all pairwise comparisons). There were no significant effects of age (FgydF4y2Ba_{1, 58gydF4y2Ba}= 1.35;gydF4y2BaPgydF4y2Ba=升至;gydF4y2BaηgydF4y2Ba^2gydF4y2BaPgydF4y2Ba=.02)或词汇(gydF4y2BaFgydF4y2Ba_{1, 58gydF4y2Ba}=厚;gydF4y2BaPgydF4y2Ba= .74点;gydF4y2BaηgydF4y2Ba^2gydF4y2BaPgydF4y2Ba=美元)。gydF4y2Ba
• 剑桥大学:gydF4y2Ba使用GLM将任务(2个水平)和指数(2个水平)作为因变量(受试者内)，测试模式(2个水平)作为预测变量(受试者间)，分析两个CANTAB任务(IED移位和SWM)的表现。参与者的年龄和词汇标准化得分作为协变量输入模型。结果显示，模态(gydF4y2BaFgydF4y2Ba_{1, 59岁gydF4y2Ba}= .02点;gydF4y2BaPgydF4y2Ba= .88点;gydF4y2BaηgydF4y2Ba^2gydF4y2BaPgydF4y2Ba=.00)，模态和任务之间没有显著的交互作用(gydF4y2BaFgydF4y2Ba_{1, 59岁gydF4y2Ba}= .03点;gydF4y2BaPgydF4y2Ba= .86;gydF4y2BaηgydF4y2Ba^2gydF4y2BaPgydF4y2Ba=美元)。Tukey HSD事后测试表明，F2F和RGT参与者在任何单独任务或指标上的表现都没有差异(gydF4y2BaPgydF4y2Ba>。51for all pairwise comparisons). There was no significant effect of age (FgydF4y2Ba_{1, 59岁gydF4y2Ba}=收;gydF4y2BaPgydF4y2Ba= .57;gydF4y2BaηgydF4y2Ba^2gydF4y2BaPgydF4y2Ba=.01)或词汇量(gydF4y2BaFgydF4y2Ba_{1, 59岁gydF4y2Ba}= 1.92;gydF4y2BaPgydF4y2Ba=。;gydF4y2BaηgydF4y2Ba^2gydF4y2BaPgydF4y2Ba= 03)。gydF4y2Ba
• 口头的交付:gydF4y2Ba最后，使用GLM评估参与者在口头交付任务(WASI词汇和向后数字广度)上的表现，其中任务(2个级别)作为依赖(受试者内)变量，测试模式(2个级别)作为预测(受试者之间)变量。模型中只有参与者年龄作为协变量输入。与之前的所有测试不同，我们观察到模态(gydF4y2BaFgydF4y2Ba_82gydF4y2Ba= 16.6;gydF4y2BaPgydF4y2Ba<措施;gydF4y2BaηgydF4y2Ba^2gydF4y2BaPgydF4y2Ba=.17)以及模态和任务之间的显著交互作用(gydF4y2BaFgydF4y2Ba_82gydF4y2Ba= 7.57,gydF4y2BaPgydF4y2Ba= . 01;gydF4y2BaηgydF4y2Ba^2gydF4y2BaPgydF4y2Ba=。08)。交互作用的HSD事后测试表明，F2F和RGT参与者在词汇表现上存在显著差异(gydF4y2BaPgydF4y2Ba<。001，RGT>F2F) but not on digit span (PgydF4y2Ba=()。年龄(gydF4y2BaFgydF4y2Ba_82gydF4y2Ba= .96点;gydF4y2BaPgydF4y2Ba= .33;gydF4y2BaηgydF4y2Ba^2gydF4y2BaPgydF4y2Ba= . 01)。gydF4y2Ba

综上所述，我们观察到F2F和RGT参与者在任何交付平台或实验任务上的任务表现都没有显著差异，但在WASI词汇测试中，RGT参与者在任务上的得分显著高于F2F参与者。gydF4y2Ba

语言智力分析gydF4y2Ba

为了理解这种明显的语言智力差异的来源，首先，我们评估了参与者的背景是否可以解释他们在词汇表现上的差异。因此，以词汇得分为因变量，将性别(2个水平，男/女)、种族(3个水平，华人/马来人/印度人)、教育(2个水平，中学/本科)、家庭居住(6个水平)、测试方式(2个水平，F2F/RGT)和年龄这一连续变量作为一般回归模型分析的预测因子。总体而言，模型具有显著性(gydF4y2BaFgydF4y2Ba_{11日,62年gydF4y2Ba}= 2.89;gydF4y2BaPgydF4y2Ba= 04;调整RgydF4y2Ba^2gydF4y2Ba= 0.22);然而，唯一有效的预测词汇量的指标是测试情态(gydF4y2BaβgydF4y2Ba= -0.47, se 0.11;gydF4y2BatgydF4y2Ba= -4.15;gydF4y2BaPgydF4y2Ba<措施)。其他因素(年龄、性别、种族、教育程度或居住地)都不能显著预测词汇成绩(gydF4y2BaPgydF4y2Ba>。25for all). Therefore, group differences in verbal intelligence could not be explained by differences in participant background characteristics.

接下来，我们进一步分析了参与者在项目层面的反应。回想一下，参与者在每个单词项目上得到0分(错误或无效回答)、1分(部分回答)或2分(完整回答)。我们评估了RGT组的优异表现是由于(1)了解更多的单词(即达到更高的单词条目数)还是(2)更完整的单词描述(即获得更高比例的单词的满分2分)。未配对的双尾gydF4y2BatgydF4y2Ba对每个对比进行的测试显示，RGT参与者平均达到的项目数量显著高于F2F参与者(F2F:平均24.0,SD 1.3; RGT:平均25.3,SD 1.9;gydF4y2BatgydF4y2Ba_83gydF4y2Ba= -3.79;gydF4y2BaPgydF4y2Ba<措施)。然而，一个双尾gydF4y2BatgydF4y2Ba测试显示，RGT参与者在项目的满分比例上也高于F2F参与者(F2F: mean 0.53, SD 0.23; RGT: mean 0.63, SD 0.19);gydF4y2BatgydF4y2Ba_83gydF4y2Ba= -2.18;gydF4y2BaPgydF4y2Ba= 03)。因此，项目水平分析支持这两种效应。gydF4y2Ba

讨论gydF4y2Ba

主要研究结果gydF4y2Ba

2019冠状病毒病大流行从根本上改变了人类心理学研究的格局，需要对新的远程工作方式和传统实验室研究方法之间的平衡进行深思熟虑的重新校准。向基于网络的数据收集方法转变的紧迫性和推动力从未如此之大。然而，在线协议的数据质量和保证框架——特别是基于网络的认知测量——仍然缺乏，目前发表的基于网络的研究在数据质量监测和透明度方面差异很大。因此，我们对基于网络的数据集与亲自收集的数据有何不同知之甚少，而且在实验的严谨性、可靠性和有效性方面仍存在重大问题[gydF4y2Ba36gydF4y2Ba，gydF4y2Ba37gydF4y2Ba，gydF4y2Ba66gydF4y2Ba]。为了帮助准确地确定在线数据收集过程中不需要的参与者可变性的来源，并减轻这些影响，我们提出了一种新的有监督的在线测试方法，RGT。这种混合方法可能为传统的基于实验室的方法提供一种接近的替代方案，可以在covid - 19后的“新常态”中收集高质量的人类认知数据，而不需要身体接触，因为许多人现在在家工作。gydF4y2Ba

此外，尽管我们在研究背景下使用RGT，但我们的研究结果表明，没有理由认为该方法不能用于临床神经心理学评估，特别是在面对面会议很困难或不可能的情况下。例如，坐在轮椅上或养老院的人可能会发现在他们的家庭环境中进行测试更容易，特别是在冬季，白天时间较短，并且可能有严重的天气阻碍旅行(例如，冰或雪)。因此，RGT方法在临床和非临床环境中与传统F2F方法串联使用的潜力很大。gydF4y2Ba

RGT数据质量gydF4y2Ba

对通过RGT和标准实验室F2F方法收集的认知测试数据进行三个数据质量指标的检验:(1)遗漏试验，(2)数据排除(在个体试验和参与者水平)，以及(3)RTs。结果显示，由于技术原因，例如硬件或软件不兼容问题，或者在一种情况下，RGT数据集中的环境破坏(在RGT的所有任务中n=6，而F2F没有)，更多的参与者数据集被排除在外。然而，RGT和F2F数据集在错过和排除试验的任何其他数据质量指标或RT上没有差异。后一个结果尤其相关，因为先前的基于网络的研究已经检查了RT指标，注意到在无监督的基于网络的测试中，参与者的反应时间延迟显著且一致滞后[gydF4y2Ba34gydF4y2Ba，gydF4y2Ba76gydF4y2Ba]。这表明，即使只是虚拟存在，实验者的监督也可能对保持参与者对认知任务的注意力和注意力至关重要，特别是当需要权宜之计时。此外，监督实验人员还能够快速解决RGT参与者遇到的几个常见软件和设置问题，否则这些问题可能会加剧技术问题和数据退化的数量。gydF4y2Ba

在实验研究中，“实验者效应”对被试的动机、心理状态、表现、任务投入和可信度有显著影响[gydF4y2Ba87gydF4y2Ba，gydF4y2Ba88gydF4y2Ba]。还应该指出的是，由于F2F测试也受到监督，实验者的效果可能在小组之间是相似的，在这种情况下，显然有利于任务依从性。然而，在某些情况下，由于社会期望效应和认知负荷的增加，监督可能会对参与者的认知和行为表现产生不利影响[gydF4y2Ba33gydF4y2Ba，gydF4y2Ba89gydF4y2Ba，gydF4y2Ba90gydF4y2Ba]。例如，Richman等人[gydF4y2Ba89gydF4y2Ba报告说，使用网络环境给人留下深刻印象(社会可取性效应)的压力降低了。因此，所提出的RGT方法可能不是对社会可取性效应敏感的实验范式的最佳选择。gydF4y2Ba

RGT任务性能gydF4y2Ba

使用3个不同的实验平台(CANTAB、Inquisit和i-ABC)，在执行功能(认知灵活性、工作记忆和抑制)和学习的所有测量中，任务表现没有显著差异。然而，我们确实观察到，在远程和面对面的环境中，语言智力(词汇)有很大的、不可预测的差异。令人惊讶的是，RGT组的得分明显高于F2F组，这种影响不能用背景特征(年龄、性别、种族或社会经济地位)的差异来解释。对项目层面反应的详细分析表明，与F2F参与者相比，RGT参与者对更多的单词做出了正确的定义，并且对单个测试项目做出了更详细的回答。这可能是由于F2F参与者和实验者在实验室的整个实验过程中都戴着口罩，并保持至少1米的物理距离(符合现行的COVID-19指南)。这可能影响了参与者与实验者沟通的总体意愿，这与之前一项大规模随机对照研究的数据一致，该研究表明，医生在会诊期间戴口罩对医患沟通、感知共情和关系连续性产生了负面影响[gydF4y2Ba91gydF4y2Ba]。因此，在临床环境中，不需要使用个人防护设备(如口罩)的远程测试方法实际上可能有利于减少实验者和参与者之间的沟通障碍，从而提高口头任务的表现。gydF4y2Ba

这项研究的一个优势是参与者来自不同的亚洲血统(包括华人、马来人和印度人)，这解决了参与者人口统计学上的西方倾斜，这是许多心理学研究的特点[gydF4y2Ba42gydF4y2Ba-gydF4y2Ba47gydF4y2Ba]。在这种情况下，令人鼓舞的是，基于web的远程方法适用于这些人群。然而，大多数参与者都是受过高等教育的大学生，他们的态度、道德推理、信仰和社会网络与没有受过大学教育的同龄人有很大的不同。gydF4y2Ba38gydF4y2Ba]。虽然目前的研究没有具体涉及社会态度或现象，但这些因素可能对数据收集产生了潜在的影响(例如，实验者监测期间的社会可取性偏差等)，限制了这些发现在其他人群中的广泛推广。gydF4y2Ba

面向网络认知研究的数据质量保证框架gydF4y2Ba

鉴于目前的社会发展势头，我们预计使用基于网络的协议进行的认知研究的数量将继续增加。因此，迫切需要标准化的协议、数据质量保证指数以及基于网络的认知研究的实施和报告的基准。我们向这个方向迈出了一步，免费提供我们远程指导方法的标准操作协议(gydF4y2Ba多媒体附录1gydF4y2Ba）.我们进一步报告参与者的科技能力和家居环境的详细资料，包括为此目的而开发的相关调查工具(gydF4y2Ba多媒体附录2gydF4y2Ba和gydF4y2Ba3.gydF4y2Ba）.我们定义并报告了一组详细的数据质量指标，其中包括试验水平变异性的测量(例如，遗漏反应、外围反应和RTs)以及参与者变异性。我们进一步区分与技术相关和与性能相关的问题和排除，同时对每个问题提供深入的描述。这种水平和形式的报告可能有助于引导基于网络的认知测试领域走向更大的透明度、可靠性和可复制性，并且还提供了可以比较不同数据集的数据质量的通用指标[gydF4y2Ba36gydF4y2Ba，gydF4y2Ba37gydF4y2Ba，gydF4y2Ba66gydF4y2Ba]。gydF4y2Ba

选择测试方法的限制和考虑gydF4y2Ba

我们的研究结果表明，RGT方法产生的高质量认知数据可与在实验室中亲自收集的数据相媲美。然而，这种数据质量的提高是以远程人工监督所需的额外人力和时间为代价的。事实上，与基于实验室的测试相比，RGT方法需要一个额外的设置会话(持续30分钟)，因此对实验者和参与者都提出了更大的时间需求。这种程度的时间投入可能不适合在短期内对数千名参与者进行测试的大规模研究，尽管在没有必要的研究人员的情况下，为在线测试提供明确的说明和简短的在线辅导(例如，使用视频剪辑)可能会提高说明的可理解性。如gydF4y2Ba图5gydF4y2Ba，在决定适当的测试方法时，一个实际的考虑因素是数据质量与可用时间或资源之间的权衡。纯粹无监督的基于网络的测试具有附带的优势，即以相对较低的人均成本获得广泛人口的大样本量[gydF4y2Ba34gydF4y2Ba，gydF4y2Ba49gydF4y2Ba，gydF4y2Ba54gydF4y2Ba，gydF4y2Ba56gydF4y2Ba-gydF4y2Ba58gydF4y2Ba]。然而，这可能会损害数据质量、可比性、可复制性和有效性[gydF4y2Ba61gydF4y2Ba，gydF4y2Ba62gydF4y2Ba]。因此，实施无监督的基于网络的测试方法必须根据所要使用的具体任务及其经过验证的交叉设置可靠性[gydF4y2Ba34gydF4y2Ba]。gydF4y2Ba

另一个重要的考虑因素是在实际地点亲自出席会议的必要性和可行性。由于需要特定的设备或专业知识，某些实验方案(如神经成像和侵入性程序)需要亲自出席。在这些情况下，基于实验室的亲自测试是数据收集的唯一选择。然而，在没有必要或不可能亲自出勤的情况下(例如，在COVID-19封锁限制期间)，RGT可能是一种可行的替代方案。采用RGT等方法的决定将进一步考虑群体规模和组成;例如，在涉及高风险或罕见队列的临床研究中，个人数据质量的最大化是很重要的。同样，在以前的时间点使用基于实验室的面对面认知测试的纵向研究可能优先考虑交叉设置的可比性，选择产生与基于实验室的测试相似结果的监督在线方法。此外，包括rt依赖任务(例如，Stroop和Stop Signal)的研究可能希望使用有监督的在线方法来改善已知的反应延迟问题[gydF4y2Ba76gydF4y2Ba]。最后，有监督和无监督的基于网络的方法都需要良好的互联网连接和数字基础设施，以供参与者和相关的研究实验室使用。在目前的研究中，RGT参与者的卓越网络能力表明新加坡是世界上互联网普及率最高的国家之一，最近估计为87% [gydF4y2Ba92gydF4y2Ba]。因此，尽管基于网络的测试在新加坡等国家非常可行，但在数字基础设施不发达的国家，这可能更具挑战性。gydF4y2Ba

‎gydF4y2Ba 查看此图gydF4y2Ba

结论gydF4y2Ba

全球COVID-19大流行加速了基于网络的认知测试的发展，但基于网络的研究的数据质量和有效性仍然存在长期存在的问题，迫切需要为当前和未来的在线研究制定和实施数据质量保证框架。在这里，我们提出了一种新的监督在线测试方法，RGT，并提出了这种新方法的数据质量基准。在所有测量数据质量和性能的方法中，RGT方法产生的数据在统计上等同于在实验室中亲自收集的数据。我们得出的结论是，RGT方法是稳健的，为在实验室研究和临床背景下收集高质量的人类认知数据提供了一种可行的选择，而不需要亲自参加。gydF4y2Ba