2020年，全球COVID-19大流行使基于实验室的人类心理学研究突然停止，因为防止疾病传播的社会距离措施迫使大规模关闭实验室设施，除了必要的人际接触外，其他一切都无法进行，深刻地扰乱了学术研究[gydF4y2Ba 1gydF4y2Ba，gydF4y2Ba 2gydF4y2Ba］．在这段暂停期间，研究界已经不可避免地转向远程协议，以取代面对面的活动。视频会议等在线平台的使用呈指数级增长(Zoom [gydF4y2Ba 3.gydF4y2Ba]和Skype)以及在线学习[gydF4y2Ba 3.gydF4y2Ba，gydF4y2Ba 4gydF4y2Ba]用于日常学术活动，社交媒体平台的使用激增，不仅作为与他人互动和联系的手段，而且还用于招募参与者和推广[gydF4y2Ba 5gydF4y2Ba］．与此同时，人们对在线实验替代面对面认知测试的兴趣也显著增长[gydF4y2Ba 1gydF4y2Ba]，人们越来越关注方法的发展，以使该领域适应一个变化了的世界，在这个世界上，减少社会接触是新的规范[gydF4y2Ba 1gydF4y2Ba，gydF4y2Ba 6gydF4y2Ba，gydF4y2Ba 7gydF4y2Ba］．然而，在这种对新的在线研究技术的推动中，数据质量和有效性的核心问题不应被忽视，以及基于实验室的测试和在线测试之间等价的简单假设(例如，基于使用类似的任务和平台就足够了[gydF4y2Ba 8gydF4y2Ba-gydF4y2Ba 10gydF4y2Ba)。如果不能解决这些问题，可能会导致监管不力的在线研究泛滥，加剧当前的可重复性危机，并引发新的伦理困境[gydF4y2Ba 11gydF4y2Ba］．本研究探讨了向基于网络的测试转变所带来的机遇和挑战，强调了为在线研究建立标准数据质量保证框架的迫切需要，并提出了一种新的监督在线测试方法，远程指导测试(RGT)，可以缓解这些挑战，并提供一种在社交距离限制下收集高质量人类认知数据的替代方法。gydF4y2Ba

认知测试是一种有价值的心理学工具，广泛用于检查心理执行过程，如学习、决策、抑制和工作记忆[gydF4y2Ba 12gydF4y2Ba-gydF4y2Ba 31gydF4y2Ba］．执行过程的测试通常涉及在实验室环境下的纸笔管理，允许实验者确认参与者的身份，防止不诚实，并迅速协助询问或技术问题。标准化的测试环境和设备进一步有助于确保基于实验室的协议的可复制性和可再现性[gydF4y2Ba 32gydF4y2Ba-gydF4y2Ba 37gydF4y2Ba］．然而，这种传统的面对面的方法非常耗时，而且很容易出现人为错误[gydF4y2Ba 12gydF4y2Ba，gydF4y2Ba 32gydF4y2Ba］．此外，由于基于实验室的测试要求参与者亲自到实验室参加，因此抽样可能不具有总体代表性[gydF4y2Ba 38gydF4y2Ba-gydF4y2Ba 40gydF4y2Ba］．例如，Henrich等人[gydF4y2Ba 38gydF4y2Ba]，尼尔森等[gydF4y2Ba 39gydF4y2Ba]，阿奈特[gydF4y2Ba 40gydF4y2Ba报告称，实验室研究的参与者主要是受过教育、工业化、富裕和民主的西方人口。美国心理学协会6种主要期刊的分析[gydF4y2Ba 40gydF4y2Ba，gydF4y2Ba 41gydF4y2Ba表明，这些期刊上报道的大量研究主要依赖于美国学生。许多关于心理和认知过程的规范数据都是从北美白人、高社会经济地位和受过良好教育的人口中获得的，这增加了神经心理学可能对文化和种族差异不敏感的可能性[gydF4y2Ba 42gydF4y2Ba，gydF4y2Ba 43gydF4y2Ba］．结构性种族主义，即建立了一系列促进白人为规范的动态(排斥或最小化黑人和少数民族)，也可能导致了对主要是白人的非代表性标准化样本的常规接受，对黑人和少数民族产生了错误的规范期望[gydF4y2Ba 44gydF4y2Ba，gydF4y2Ba 45gydF4y2Ba］．长期以来，这些心理评估中的偏见做法一直没有受到挑战，部分原因是普遍主义的盛行(即，无论文化背景如何，人类的认知过程基本上都是相同的理论)[gydF4y2Ba 46gydF4y2Ba，gydF4y2Ba 47gydF4y2Ba］．这凸显了在心理学研究中更广泛地代表少数民族群体和文化的必要性。基于网络的测试可以帮助改善这一差距，并为神经心理学研究提供更多样化的全球受众。gydF4y2Ba

在当前的数字时代，个人电脑和网络功能的大量可用性为使用更经济、自动化和开放的方法进行认知测试提供了新的途径[gydF4y2Ba 12gydF4y2Ba，gydF4y2Ba 48gydF4y2Ba，gydF4y2Ba 49gydF4y2Ba］．因此，使用在线平台评估认知功能的势头越来越大[gydF4y2Ba 12gydF4y2Ba，gydF4y2Ba 50gydF4y2Ba-gydF4y2Ba 52gydF4y2Ba］．电脑化在线测试平台，例如Gorilla [gydF4y2Ba 50gydF4y2Ba]，审讯[gydF4y2Ba 52gydF4y2Ba]，以及剑桥神经心理测试自动电池(CANTAB) [gydF4y2Ba 51gydF4y2Ba]可以提供几个优势，包括(1)实验参数的简单精确控制，(2)关键性能指标的自动计算，(3)规范数据库的访问，(4)更广泛的用户群体(使用众包工具)，(5)集中和安全的数据存储在专业服务器上，以及(6)相对较低的人均管理成本[gydF4y2Ba 32gydF4y2Ba，gydF4y2Ba 34gydF4y2Ba，gydF4y2Ba 48gydF4y2Ba，gydF4y2Ba 53gydF4y2Ba］．值得注意的是，基于网络的在线测试消除了测试地点的物理限制，允许更广泛(更具代表性)的人口覆盖范围。gydF4y2Ba 34gydF4y2Ba，gydF4y2Ba 54gydF4y2Ba］．此外，社交媒体平台、招聘门户网站(如亚马逊的MTurk和多产的学术网站)和在线广告拓宽了视野，增加了参与者招聘的难度，并能够从大量人群中收集高吞吐量的数据，这在传统的实验室环境中不太可行[gydF4y2Ba 49gydF4y2Ba，gydF4y2Ba 55gydF4y2Ba-gydF4y2Ba 58gydF4y2Ba］．gydF4y2Ba

COVID-19大流行推动了“远程医疗”或远程获得医疗保健服务的增长，在提供远程神经心理评估、心理教育和建立融洽关系方面提出了特别的挑战[gydF4y2Ba 59gydF4y2Ba］．即使在大流行后时代，对远程保健服务的需求也可能持续存在，因为当由于其他原因(如疾病、工作量等)无法在诊所实地工作时，远程保健服务可能是有价值的解决办法。相关的，远程测试(或远程测试)在临床医生中越来越受欢迎。远程测试通常与面对面测试相结合，形成一种混合方法，可以满足患者及其家属的特定需求[gydF4y2Ba 59gydF4y2Ba］．辛格和日耳曼[gydF4y2Ba 60gydF4y2Ba)详细阐述了这种混合方法，他们称之为“混合神经心理学”(HN)。HN使临床医生能够有效、稳定地使他们的实践现代化，考虑到个人的需求和(技术)能力，并评估哪些任务最适合在线或远程管理。事实上，HN结合了远程测试实践和屏幕共享选项，只要材料已经正确数字化，就与本研究中提出的远程引导方法有相似之处。此外，大多数神经心理学任务还没有严格和标准化的基于网络的测试交付协议，这限制了临床医生和科学家在日常实践中采用这些方法的信心。这项研究通过提供一套与临床评估高度相关的执行功能和认知任务的详细远程管理方案，解决了研究和临床环境中对神经心理测量远程方法日益增长的需求。gydF4y2Ba

此外，关于基于web的数据收集方法与传统的基于实验室的数据收集方法的数据质量、可比性、可复制性和有效性的长期争论仍然存在[gydF4y2Ba 61gydF4y2Ba，gydF4y2Ba 62gydF4y2Ba］．一方面，直接比较基于网络和基于实验室的数据样本，这些数据样本来自网络先驱，如Germine和同事[gydF4y2Ba 63gydF4y2Ba-gydF4y2Ba 65gydF4y2Ba]的一系列关于记忆和感知的大规模基于网络的研究(testmybrain.org)表明，就平均表现和表现可变性而言，自我选择的网络样本的可靠性、可复制性和理论一致性与实验室收集的数据相当，即使是匿名、无补偿和无监督的参与者。另一方面，关于基于网络的测试的实验性严谨性的担忧已经提出，但尚未完全消除。gydF4y2Ba 36gydF4y2Ba，gydF4y2Ba 37gydF4y2Ba]，特别是对硬件规格和测试环境缺乏控制和较高的可变性[gydF4y2Ba 36gydF4y2Ba，gydF4y2Ba 37gydF4y2Ba，gydF4y2Ba 66gydF4y2Ba］．例如，Bauer等人[gydF4y2Ba 36gydF4y2Ba报道称，大多数在线研究都缺乏环境控制和参与者注意力分散。此外，大多数在线研究并不监测或报告参与者的环境、设备规格或网络能力。当报告这些数据时，通常会显示参与者使用的设备和计算机规格存在很大差异[gydF4y2Ba 34gydF4y2Ba，gydF4y2Ba 66gydF4y2Ba］．在一项关于在线和基于实验室的研究中计算规范的里程碑式研究中，Bridges等[gydF4y2Ba 66gydF4y2Ba]比较了几个基于网络的实验平台(如Gorilla和jsPsych)与不同操作系统(如Windows、macOS和Ubuntu)的配对情况。在从超过11万次试验中收集的数据中，macOS在所有实验网络平台中表现最差，特别是在视觉刺激方面。这种可变性还表明，在线研究可能无法达到与实验室研究相似的精度水平。此外，由于数据是匿名提供的，没有监督，在线数据可能会被不诚实的参与者破坏，他们的动机很低或有问题[gydF4y2Ba 36gydF4y2Ba］．gydF4y2Ba

事实上，几项比较研究表明，在不同的认知任务和人群中，基于网络的认知表现与纸质和铅笔的替代品之间只有适度的相关性[gydF4y2Ba 32gydF4y2Ba，gydF4y2Ba 36gydF4y2Ba，gydF4y2Ba 67gydF4y2Ba］．例如，Backx等[gydF4y2Ba 34gydF4y2Ba]比较了从CANTAB平台获得的认知数据，这些数据是通过无监督的基于网络的管理和基于实验室的管理收集的。类内相关性和双变量相关性表明，几个关键绩效指标(误差、正确试验和反应敏感性)在两种设置中具有高度可比性，类内相关系数范围为ρ=0.23-0.67。然而，参与者的反应时间(RTs)在基于网络的评估中显著且持续较慢，并且所评估的5个RT测量中没有一个满足跨设置的可比性的完整标准，即可靠性、等效性和一致性。此外，在在线环境中，超过90%的参与者报告在5个不同的认知任务中分心，相比之下，在实验室环境中没有人分心，由于空间工作记忆(SWM)任务上的大量错误，2个在线参与者数据集被排除在外。这些统计数据表明，糟糕的测试环境和对说明的误解可能会影响参与者在在线设置中的表现。事实上，之前的研究表明，缺乏激励会使参与者在回答时粗心大意，甚至会产生欺骗性，因为参与者的身份或行为无法被主动监控。gydF4y2Ba 68gydF4y2Ba］．此外，在线参与者投入较少的时间并专注于阅读任务说明，可能会表现出较低的任务投入，从而导致比实验室环境下更高的退出率[[endn]]。gydF4y2Ba 69gydF4y2Ba，gydF4y2Ba 70gydF4y2Ba］．因此，在当前无监督的基于web的测试协议中，似乎存在数据数量(多样性和易于收集)和数据质量之间的权衡[gydF4y2Ba 37gydF4y2Ba，gydF4y2Ba 66gydF4y2Ba，gydF4y2Ba 71gydF4y2Ba］．考虑到在线测试中这些已知的缺陷，以及对在线任务管理、数据质量指数和报告基准的最佳实践标准化的不断努力(例如，Feenstra等人[gydF4y2Ba 72gydF4y2Ba])，这项研究解决了为基于web的认知测试开发更好的测试协议和数据质量保证框架的及时需求，特别是解决了在线参与者参与的问题。gydF4y2Ba

要评估数据质量，首先重要的是建立衡量数据质量的指数和基准。在这些问题上，目前还没有明确的共识。关于参与者未完成任务、数据损耗和技术问题的一般统计数据表明，排除来自遇到技术困难、表现不诚实或未能完成分配任务的参与者的数据是很常见的[gydF4y2Ba 71gydF4y2Ba，gydF4y2Ba 73gydF4y2Ba-gydF4y2Ba 75gydF4y2Ba］．然而，更敏感的数据质量测试涉及在应用特定于任务的数据清理排除标准后剩余的数据“可用部分”。用于排除数据的一个常用指标是RT，因为响应太快(或太慢)可能反映了参与者的注意力不集中或任务脱离。根据所呈现的刺激和任务要求的复杂性，参与者在认知任务中的反应延迟主要在400毫秒到2000毫秒之间变化[gydF4y2Ba 76gydF4y2Ba］．然而，对于基于web的任务，测量的响应时间有一个额外的(技术)可变性来源。从许多(例如，数百个)个体试验中收集响应延迟需要在参与者的计算机上安装一个软件程序(即客户端)，以呈现刺激并在本地收集响应延迟。如果每个响应都必须通过网络连接发送回服务器进行记录，这将减少由跨网络通信和服务器响应时间引起的时间变化。一些客户端技术已经被用来创建这样的程序，其中最流行的可能是JavaScript、Java和Flash [gydF4y2Ba 76gydF4y2Ba］．gydF4y2Ba

然而，大多数这些程序在记录的响应时间中引入了一个小而可变的延迟。除了程序本身之外，这种延迟还受到计算机操作系统、浏览器、硬件质量以及可能正在运行的任何后台程序的影响。例如，当舒伯特等人[gydF4y2Ba 76gydF4y2Ba]使用DMDX软件和键盘测量标准自动响应时间(即机器人检测简单视觉刺激)，平均响应时间为68.24毫秒(SD 3.18)。当使用其他程序时，这些平均延迟更高，例如E-prime(84.58毫秒，SD 6.25)和Superlab(98.18毫秒，SD 4.17)。有趣的是，网页版Inquisit的平均响应延迟具有高度可比性(66.21毫秒，SD 2.74)。当比较Stroop任务上的人类响应时间时，Schubert等人[gydF4y2Ba 76gydF4y2Ba]报告了dmdx记录的响应显著快于基于flash的web软件ScriptingRT(平均631.63毫秒，SD 243.42)，尽管测量到的Stroop效应(不一致试验和一致试验之间的响应延迟差异)是相似的。因此，网络收集的反应延迟数据应该仔细处理，因为测量的时间可能受到心理(例如，参与者分心和注意力不集中)和技术因素的影响，尽管后者的问题在一定程度上得到了更新和更好的在线实验平台的改善。gydF4y2Ba

一些基于web的研究实现了一个硬分界，以排除超过特定阈值的响应延迟，以优化数据质量。例如，Kim等人[gydF4y2Ba 77gydF4y2Ba]排除了在心理语言学任务中速度快于300毫秒或慢于5000毫秒的异常值。然而，这些被排除在外的试验仅占其数据的0.75%(无论是基于实验室的队列还是基于网络的队列)，这可能表明数据质量极好，也可能表明他们的延迟标准对于特定任务过于宽松。同样，艾森伯格等人[gydF4y2Ba 55gydF4y2Ba]排除了在各种认知任务中反应延迟中值小于200毫秒的参与者。他们还实施了三个额外的质量检查:(1)<25%的省略(遗漏)回答，(2)>60%的任务准确性，以及(3)95%的时间内没有给出>的单一回答。然而，尽管报告了参与者的不完成率和多项任务失败率(gydF4y2Ba 表1gydF4y2Ba)，未报告其他响应延迟、遗漏和分布质量检查失败的试验和数据集的数量。此外，对于一些任务(停止信号、概率选择和两步决策任务)，数据集有10%到30%的缺失值，这些值是通过额外的质量控制(操作)检查确定的。将这一数字加上21%的数据排除，表明在一些基于web的任务中，“可用数据”的实际比例可能低至50%。gydF4y2Ba

表1gydF4y2Ba为类似的基于实验室和基于网络的认知研究提供其他数据排除统计的例子。这些统计数据报告参与者完成/退出率，而不是试验级别的数据质量指数。Hicks等人的研究[gydF4y2Ba 79gydF4y2Ba]和Ruiz等人[gydF4y2Ba 80gydF4y2Ba]，他们在实验室和在线条件下管理了匹配的工作记忆和陈述性记忆任务组，结果显示，在基于网络的测试中，数据排除和未完成率更高的趋势明显且一致，通常有15%至20%的在线参与者因未完成(退出)和技术问题而被排除。在线认知训练研究的参与者退出问题似乎特别严重，一项研究报告称，最初招募的健康老年参与者中有32%(80/249)最终退出了为期12周的基于网络的认知灵活性训练研究[gydF4y2Ba 81gydF4y2Ba］．然而，这篇简要的文献扫描也强调，除了少数研究(例如，Backx等[gydF4y2Ba 34gydF4y2Ba])，关于在线实验测试期间发生的情况或参与者的计算和网络能力的报道很少，除了粗略的RT阈值和主要任务失败之外，几乎没有用于识别和删除质量差的基于web的数据的基准。显然有必要制定基于网络的研究应该收集和报告的标准化数据质量指数，包括这些指数的推荐基准。gydF4y2Ba

在前面的章节中，我们讨论了基于web的认知测试的前景，特别是它的可扩展性和覆盖面，以及当前数据质量保证的挑战。在某种程度上，由于基于web的测试的无监督性质，出现了关于实验严谨性和数据质量的问题[gydF4y2Ba 36gydF4y2Ba，gydF4y2Ba 37gydF4y2Ba，gydF4y2Ba 66gydF4y2Ba］．没有监督，实验者无法控制(或洞察)测试环境，也无法监控参与者的表现，阻止不诚实，或影响参与者在任务执行期间的动机和注意力状态。此外，即使是真正积极的参与者也可能会在具有复杂指令的任务中挣扎，并误解对他们的要求，导致浪费精力和无法使用的数据。最后，如果没有人工实验人员来解决问题，遇到技术问题的参与者可能会变得沮丧和紧张，导致动力和表现更差。为了弥补这一差距，我们在这里提出了一种新的监督在线数据收集方法，RGT。这种混合方法结合了基于web的在线测试的便利性和可达性，并增强了基于实验室的数据收集的严格性和质量控制。增加监督组件，包括更大的环境控制，旨在减轻由于心理或技术因素造成的数据质量下降和损耗。gydF4y2Ba

RGT方法通过视频会议平台模拟基于实验室的实验测试。与面对面测试类似，实验者安排在特定的日期和时间与参与者在线见面，并在虚拟环境中指导参与者完成实验过程的每一步。这包括获得知情同意、为软件安装提供技术支持、排除问题、监控性能、在适当的情况下提供反馈和汇报。实验者还帮助参与者优化他们的测试环境(包括灯光、声音和最小化干扰)，并收集关于参与者的硬件、软件和网络功能的详细数据。此外，远程测试人员可以安排舒适的休息时间(如厕，食物或饮料，休息，运动)，这样就不会对测试交付或数据收集产生不利影响。这种方法在其整体方法上是新颖的，因为它提供了完全监督和互动的在线测试体验，据我们所知，这在基于web的认知测试中还没有报道过。gydF4y2Ba

为了对RGT方法的数据质量进行更深入的评估，我们在一系列基于web的认知任务中测量并报告了3个试验级数据质量指标:(1)遗漏的响应，(2)数据排除(试验和参与者级别)，以及(3)RTs。为了确保密切的可比性，并隔离测试方式的影响，参与者在心理实验室或在家通过RGT完成了每个认知任务的相同网络版本。在这两种情况下，参与者在完成一系列评估执行功能(认知灵活性、抑制能力和工作记忆)和学习的认知任务时，都接受专家监督。虽然这些任务大多依赖于准确性的测量，但我们特别包括了具有rt依赖结果测量的任务，例如Stroop任务[gydF4y2Ba 20.gydF4y2Ba]及停止信号任务[gydF4y2Ba 21gydF4y2Ba，gydF4y2Ba 22gydF4y2Ba］．鉴于基于网络的测试在较慢的参与者RTs中对认知任务有很好的量化影响[gydF4y2Ba 34gydF4y2Ba，gydF4y2Ba 76gydF4y2Ba，我们评估了这些差异是否(以及在多大程度上)可以通过加强监督和环境控制来改善。最后，为了增加我们发现的普遍性，我们测试了3个不同的基于web的实验平台;CANTAB, Inquisit和i-ABC。我们假设，通过RGT方法纳入监督将产生高保真的认知数据，与实验室收集的所有测量数据质量和任务性能指标(包括RTs)的认知数据相匹配。gydF4y2Ba

共有85名健康的新加坡年轻人参与了这项研究，并面对面地提供了数据(F2F;n=41)和通过RGT (n=44)。另有4名RGT和5名F2F参与者最初表示有兴趣，但随后退出了研究。这些参与者的数据不包括在任何分析中。所有参与者都以英语为母语，无临床诊断的精神疾病或发育障碍史，听力和视力正常或已恢复正常。招聘是通过社交媒体上的在线广告和大学的招聘渠道进行的。这两个组别的人口统计资料详载于gydF4y2Ba 表2gydF4y2Ba．小动物——一张长有gydF4y2Ba tgydF4y2Ba经检验，各组间年龄无显著性差异(gydF4y2Ba tgydF4y2Ba_83gydF4y2Ba= -1.29,gydF4y2Ba PgydF4y2Ba= 0.20)，性别、种族、教育程度和收入分配也相似。gydF4y2Ba

所有85名参与者都参加并完成了他们预定的测试课程。没有人中途退出。RGT组的所有44名(100%)参与者在基于网络的平台上完成了所有10项计算机化任务。然而，只有22名(53.7%)F2F参与者在网络平台上完成了所有计算机化任务(17名女性和5名男性;平均年龄21.06岁，范围=18.11-26.68岁，标准差2.09岁)。其余19名(46.3%)F2F参与者在COVID-19封锁限制之前接受了测试，因此只以与其他参与者类似的格式完成了3个i-ABC任务、词汇和数字跨度任务。其他Inquisit任务(Trails, Stop Signal和Stroop)要么在纸上完成，要么使用不同的(离线)平台完成，CANTAB任务不受管理。由于这些与任务相关的差异可能会产生表现差异，为了一致性，仅对这19名(46.3%)F2F参与者的i-ABC任务、词汇和数字跨度的数据进行了分析。gydF4y2Ba

对于F2F组，实验测试在心理实验室进行，使用标准测试笔记本电脑(惠普ProBook 430 G2/G3，英特尔酷睿i7 2/2.4GHz, 8 GB RAM, 500 GB HDD +256 GB SSD, 13.3 "显示屏)，运行Windows 10操作系统(微软公司)，有线鼠标。RGT组在家中使用参与者的个人笔记本电脑或台式机完成实验，这些笔记本电脑或台式机必须满足一定的最低要求(gydF4y2Ba 多媒体附件1gydF4y2Ba)．为了评估他们的计算硬件和网络能力的实际质量，所有RGT参与者都完成了一份设备问卷(gydF4y2Ba 多媒体附件2gydF4y2Ba)．gydF4y2Ba

标准操作程序(gydF4y2Ba 多媒体附件1gydF4y2Ba)，以确保F2F和RGT组参与者的标准化方法和任务交付。还采用了流行的COVID-19预防措施，如佩戴口罩、测量体温和检查旅行/隔离史。研究方案由南洋理工大学伦理制度审查委员会(IRB-2020-02-001)批准。简而言之，F2F参与者完成了一次持续3.5小时的现场测试，而RGT参与者完成了两次单独的在线视频会议，这些会议通过安全的微软团队或Zoom会议进行。两个在线会话都是视频录制的，总共持续4个小时。在第一个30分钟的安装和设置阶段，参与者在实验者的指导下下载、安装和测试所有必要的软件。评估测试环境，以提供减少噪音和干扰的建议(gydF4y2Ba 多媒体gydF4y2Ba，见测试环境检查表)，并记录计算和输入设备(gydF4y2Ba 多媒体附件2gydF4y2Ba)．在第二个3.5小时的实验中，RGT参与者在实验者的监督下完成了所有的计算机测试，实验者在整个实验过程中都在线(在适当的时候关闭/静音视频)。生成了5个不同的任务顺序，以确保同一认知域的2个任务不会连续执行。有关程序概述于gydF4y2Ba 图1gydF4y2Ba．gydF4y2Ba

每位RGT参与者都在家中使用个人电脑和互联网完成了实验任务。尽管所有参与者使用的设备都符合资格标准中规定的某些最低标准(见方法部分中的设备)，但我们希望确定所使用的技术的实际范围和质量。如gydF4y2Ba 图2gydF4y2Ba-gydF4y2Ba 3.gydF4y2Ba并在gydF4y2Ba 表4gydF4y2Ba，实验室设备与RGT小组报告的硬件规格非常匹配(例如，Windows操作系统，英特尔酷睿i7处理器，13英寸屏幕，1920 x 1080分辨率，大约8gb RAM)。在网络能力方面，大多数RGT参与者比F2F组有更好的互联网下载/上传速度(平均为77.9/70.4 Mb/s vs 44.6/48.1 Mb/s)，但互联网延迟略长(平均为10.6毫秒vs 5毫秒)。gydF4y2Ba

通过交付平台对任务绩效指标进行分析。与之前使用简单统一的标准手动计算遗漏/排除试验的数据质量度量不同，这些性能指标在复杂性和粒度上有很大差异(例如，跨越策略、准确性/误差和时间的估计)。大多数性能指标也是由交付软件使用内置标准和假设自动计算出来的。因此，我们根据交付平台分别分析任务性能，以允许我们检测在某些平台及其任务上出现的任何测试方式差异，而不是其他平台。gydF4y2Ba 图4gydF4y2Ba而且gydF4y2Ba 表6gydF4y2Ba按交付平台、任务和测试模式显示参与者表现的完整分解。gydF4y2Ba

总之，我们观察到，在任何交付平台或实验任务中，F2F参与者和RGT参与者在任务表现上没有显著差异，除了WASI词汇表的显著例外，RGT参与者在任务上的得分明显高于F2F参与者。gydF4y2Ba

为了理解这种语言智力明显差异的来源，首先，我们评估了参与者的背景是否可以解释他们在词汇表现上的差异。据此，以词汇分数为因变量，将性别(2级，男/女)、民族(3级，华人/马来/印度人)、教育程度(2级，中等/本科)、家庭居住(6级)、测试方式(2级，F2F/RGT)和连续变量年龄作为预测因子，进行一般回归模型分析。总体而言，该模型意义重大(gydF4y2Ba FgydF4y2Ba_{11日,62年gydF4y2Ba}= 2.89;gydF4y2Ba PgydF4y2Ba= 04;调整RgydF4y2Ba^2gydF4y2Ba= 0.22);然而，词汇量的唯一重要预测因素是测试模态(gydF4y2Ba βgydF4y2Ba= -0.47, se 0.11，gydF4y2Ba tgydF4y2Ba= -4.15;gydF4y2Ba PgydF4y2Ba<措施)。其他因素(年龄、性别、种族、教育程度或居住地)对词汇成绩(gydF4y2Ba PgydF4y2Ba>。25for all). Therefore, group differences in verbal intelligence could not be explained by differences in participant background characteristics.

接下来，我们对参与者的项目级反应进行了进一步的分析。回想一下，参与者在每个单词项目上得到0分(错误或空回答)，1分(部分回答)或2分(完整回答)。我们评估了RGT组的优异表现是否由于(1)掌握了更多的单词(即达到更高的单词条目数)或(2)对单词的更完整的描述(即获得更高比例的单词的满分2分)。未配对的双尾gydF4y2Ba tgydF4y2Ba对每个对比进行的测试显示，RGT参与者达到的项目数量平均显著高于F2F参与者(F2F:平均24.0,SD 1.3; RGT:平均25.3,SD 1.9;gydF4y2Ba tgydF4y2Ba_83gydF4y2Ba= -3.79;gydF4y2Ba PgydF4y2Ba<措施)。然而，一个双尾gydF4y2Ba tgydF4y2Ba测试结果显示，RGT参与者比F2F参与者在更高比例的项目上获得满分(F2F: mean 0.53, SD 0.23, RGT: mean 0.63, SD 0.19;gydF4y2Ba tgydF4y2Ba_83gydF4y2Ba= -2.18;gydF4y2Ba PgydF4y2Ba= 03)。因此，项目级分析支持这两种效应。gydF4y2Ba

2019冠状病毒病(COVID-19)大流行从根本上改变了人类心理学研究的格局，需要在新的远程工作方式和传统的基于实验室的研究方法之间重新调整平衡。向基于web的数据收集方法转变的紧迫性和动力从未如此之大。然而，在线协议的数据质量和保证框架——特别是基于网络的认知测量——仍然缺乏，目前发表的基于网络的研究在数据质量监测和透明度方面存在很大差异。因此，我们对基于网络的数据集与亲自收集的数据有何不同知之甚少，关于实验的严谨性、可靠性和有效性仍存在重大问题[gydF4y2Ba 36gydF4y2Ba，gydF4y2Ba 37gydF4y2Ba，gydF4y2Ba 66gydF4y2Ba］．为了帮助准确识别在线数据收集过程中不希望出现的参与者可变性的来源，并减轻这些影响，我们提出了一种新的监督在线测试方法RGT。这种混合方法可能为传统的基于实验室的方法提供了一种紧密的替代方案，可以在新冠疫情后的“新常态”中收集高质量的人类认知数据，而不需要身体接触，因为现在许多人都在家工作。gydF4y2Ba

此外，尽管我们在研究背景下使用RGT，但我们的研究结果表明，没有理由不将该方法用于临床神经心理学评估，特别是在面对面会面很难或不可能的情况下。例如，坐在轮椅上或在养老院的人可能会发现在他们的家庭环境中更容易接受检测，特别是在日照时间较短的冬季，而且可能有重大的天气因素阻碍旅行(如冰或雪)。因此，在临床和非临床环境中，RGT方法与传统的F2F方法结合使用具有广泛的潜力。gydF4y2Ba

在通过RGT和基于实验室的标准F2F方法收集的认知测试数据中检查了三个数据质量指标:(1)错过试验，(2)数据排除(个人试验和参与者水平)，以及(3)RTs。结果表明，由于技术原因，更多的参与者数据集被排除在外，例如硬件或软件不兼容问题，或者在一种情况下，RGT数据集中的环境破坏(RGT所有任务中的n=6，而F2F没有)。然而，RGT和F2F数据集在遗漏和排除试验的任何其他数据质量指数或RT上没有差异。后者的结果尤其相关，因为先前基于网络的研究检查了RT指数，注意到在无监督的基于网络测试中，参与者的反应时间潜伏期存在显著和一致的滞后[gydF4y2Ba 34gydF4y2Ba，gydF4y2Ba 76gydF4y2Ba］．这表明实验者的监督，即使只是虚拟的存在，对于维持参与者对认知任务的专注和注意力可能是至关重要的，特别是在需要权宜之计的反应时。此外，监督实验者还能够快速排除RGT参与者遇到的几个常见软件和设置问题，否则这些问题可能会加剧技术问题和数据退化的数量。gydF4y2Ba

众所周知，在实验研究中，“实验者效应”对参与者的动机、精神状态、表现、任务投入和可信度有显著影响[gydF4y2Ba 87gydF4y2Ba，gydF4y2Ba 88gydF4y2Ba］．还应该注意的是，由于F2F测试也有监督，实验者的影响可能在不同组之间是相似的，在这种情况下，显然有利于任务服从。然而，在某些情况下，由于社会可取性效应和认知负荷的增加，监督可能会对参与者的认知和行为表现产生不利影响[gydF4y2Ba 33gydF4y2Ba，gydF4y2Ba 89gydF4y2Ba，gydF4y2Ba 90gydF4y2Ba］．例如，Richman等人[gydF4y2Ba 89gydF4y2Ba]报告说，使用基于网络的设置可以减轻给人留下深刻印象的压力(社交可取性效应)。因此，所提出的RGT方法可能不适用于对社会期望效应敏感的实验范式。gydF4y2Ba

在使用3个不同的实验平台(CANTAB、Inquisit和i-ABC)进行的执行功能(认知灵活性、工作记忆和抑制)和学习的所有测量中，没有观察到任务表现的显著差异。然而，当我们在远程和面对面的环境中测量时，我们确实观察到言语智力(词汇量)的巨大且不可预测的差异。令人惊讶的是，RGT组的得分明显高于F2F组，这种影响不能用背景特征(年龄、性别、种族或社会经济地位)的差异来解释。对项目层面回答的详细分析表明，与F2F参与者相比，RGT参与者对显著更高数量的单词给出了正确的定义，并且对单个测试项目给出了更详尽的回答。这可能是由于F2F参与者和实验者在实验室的整个实验过程中都戴着口罩，并保持至少1米的物理距离(符合现行的COVID-19指南)。这可能影响了参与者与实验者沟通的总体意愿，与之前大规模随机对照研究的数据一致，该研究表明，医生在会诊期间戴口罩对医患沟通、感知共情和关系连续性产生了负面影响[gydF4y2Ba 91gydF4y2Ba］．因此，在临床环境中，不需要使用口罩等个人防护设备的远程测试方法实际上可能有助于减少实验者与参与者之间的沟通障碍，从而提高语言任务的表现。gydF4y2Ba

这项研究的一个优势是参与者是多样化的亚洲血统(包括华人、马来人和印度人)，这解决了参与者人口统计学上的西方倾斜，这是许多心理学研究的特征[gydF4y2Ba 42gydF4y2Ba-gydF4y2Ba 47gydF4y2Ba］．在这种情况下，基于网络的远程方法适用于这些人群是令人鼓舞的。然而，大多数参与者都是受过高等教育的大学生，他们的态度、道德推理、信仰和社会网络与没有受过大学教育的人有很大的不同。gydF4y2Ba 38gydF4y2Ba］．虽然目前的研究并没有具体涉及社会态度或现象，但这些因素可能已经潜移默化地影响了数据收集(例如，实验者监测期间的社会可取性偏见等)，限制了这些发现对其他人群的更广泛的普遍性。gydF4y2Ba

鉴于目前的社会势头，我们预计使用基于网络的协议进行认知研究的数量将继续增加。因此，迫切需要为基于网络的认知研究的进行和报告制定标准化的协议、数据质量保证指数和基准。我们向这个方向迈出了一步，使我们的远程引导方法的标准操作协议免费提供(gydF4y2Ba 多媒体附件1gydF4y2Ba)．我们进一步报告参与者的技术能力和家庭环境的详细信息，包括为此目的开发的相关调查工具(gydF4y2Ba 多媒体附录2gydF4y2Ba而且gydF4y2Ba 3.gydF4y2Ba)．我们定义并报告了一组详细的数据质量指数，其中包括试验级别的可变性(例如，遗漏的反应、外围反应和RTs)以及参与者可变性的测量。我们进一步区分了与技术相关和与性能相关的问题以及排除，同时提供了对每个问题的深入描述。这种水平和形式的报告可能有助于将基于web的认知测试领域导向更大的透明度、可靠性和可复制性，也提供了可以比较不同数据集的数据质量的通用指标[gydF4y2Ba 36gydF4y2Ba，gydF4y2Ba 37gydF4y2Ba，gydF4y2Ba 66gydF4y2Ba］．gydF4y2Ba

我们的结果表明，RGT方法产生了高质量的认知数据，可与在实验室中亲自收集的数据相媲美。然而，这种数据质量的提高是以远程人工监督所需的额外人力和时间为代价的。事实上，与基于实验室的测试相比，RGT方法需要额外的设置会话(持续30分钟)，因此对实验者和参与者都有更大的时间需求。这种程度的时间投资可能不适用于旨在在短时间内测试数千名参与者的大规模研究，尽管在没有必要的研究人员的情况下，包括明确的在线测试说明和简短的在线辅导(例如，使用视频剪辑)可能会提高说明的可理解性。如gydF4y2Ba 图5gydF4y2Ba，在决定合适的测试方法时，一个实际的考虑因素是数据质量和可用时间或资源之间的权衡。纯粹无监督的网络测试具有随之而来的优势，即以相对较低的人均成本获得广泛的人口统计大样本量[gydF4y2Ba 34gydF4y2Ba，gydF4y2Ba 49gydF4y2Ba，gydF4y2Ba 54gydF4y2Ba，gydF4y2Ba 56gydF4y2Ba-gydF4y2Ba 58gydF4y2Ba］．然而，这可能会损害数据质量、可比性、可复制性和有效性[gydF4y2Ba 61gydF4y2Ba，gydF4y2Ba 62gydF4y2Ba］．因此，实现无监督的基于web的测试方法必须由将要使用的特定任务及其已证明的交叉设置可靠性来告知[gydF4y2Ba 34gydF4y2Ba］．gydF4y2Ba

另一个重要的考虑因素是在实际地点亲自出席的必要性和可行性。某些实验方案(例如，神经成像和侵入性手术)由于需要特定的设备或专业知识，需要亲自出席。在这些情况下，基于实验室的亲自测试是数据收集的唯一选择。然而，在不需要或不可能出勤的情况下(例如，在COVID-19封锁限制期间)，RGT可能是一种可行的替代方案。采用RGT等方法的决定将进一步考虑群体规模和组成;例如，在涉及高风险或罕见队列的临床研究中，最大化个人数据质量是重要的。同样，在以前的时间点使用基于实验室的面对面认知测试的纵向研究可能会优先考虑交叉设置的可比性，选择有监督的在线方法，产生与基于实验室的测试相似的结果。此外，包括rt依赖任务(例如Stroop和停止信号)的研究可能希望使用监督在线方法来改善已知的反应延迟问题[gydF4y2Ba 76gydF4y2Ba］．最后，有监督和无监督的基于网络的方法都需要良好的互联网连接和参与者和相关研究实验室的数字基础设施。在本次研究中，RGT参与者出色的网络能力表明新加坡是世界上互联网普及率最高的国家之一，最近估计达到87% [gydF4y2Ba 92gydF4y2Ba］．因此，虽然基于网络的测试在新加坡这样的国家是非常可行的，但在数字基础设施不太发达的国家，这可能更具挑战性。gydF4y2Ba

全球COVID-19大流行加速了基于网络的认知测试，但基于网络研究的数据质量和有效性仍存在长期问题，迫切需要为当前和未来的在线研究开发和实施数据质量保证框架。在这里，我们提出了一种新的监督在线测试方法，RGT，并提出了这种新方法的数据质量基准。在所有数据质量和性能的测量中，RGT方法产生的数据在统计学上等同于在实验室中亲自收集的数据。我们得出的结论是，RGT方法是稳健的，为在实验室研究和临床环境中收集高质量的人类认知数据提供了一种可行的替代方案，而无需亲自参加。gydF4y2Ba