这是一篇开放获取的文章,根据创作共用署名许可协议(https://creativecommons.org/licenses/by/4.0/)的条款发布,允许在任何媒介上不受限制地使用、分发和复制,前提是正确引用了首次发表在JMIR Formative Research上的原创作品。必须包括完整的书目信息,https://formative.www.mybigtv.com上的原始出版物的链接,以及此版权和许可信息。
满意度模型表明,当调查负担较高时,当参与者动机较低时,研究参与者可能无法完全处理调查项目并提供准确的回答。参与者如果不能完全处理调查指示,就会降低研究的说服力,阻碍概括性。使用自我报告方法的研究人员普遍关注的问题是数据质量和参与者的依从性。同样,人员流失也会损害研究的力量和普遍性。
鉴于在心理学研究中,尤其是学生问题和心理健康的测试中,大学生是大多数样本,了解大学生招生来源如何影响数据质量(操作为带有指示说明和正确答案的注意力检查项目)和留存率(操作为随时间完成后续调查)是至关重要的。该检查旨在检查以下内容:数据质量是否因招募来源而异,研究保留是否因招募来源而异,数据质量对研究变量关联的影响,数据质量对内部一致性测量的影响,以及参与者的人口统计学质量是否在注意力检查失败者与未通过检查者之间存在显著差异。
这项检查是对先前发表的两项研究的随访分析,以探讨数据质量和研究依从性。研究1是一项横断面、基于网络的调查,调查了大学压力源和心理健康(282/407,69.3%为女性;230/407,白人56.5%,113/407,黑人27.8%;平均年龄22.65岁,SD 6.73岁)。研究2是一项纵向的大学饮酒干预试验,包括一个面对面的基线会议和2个基于网络的随访调查(378/528,71.6%女性;213/528,白人40.3%,277/528,黑人52.5%;平均年龄19.85岁,标准差1.65岁)。两项研究均纳入注意力检查以评估数据质量。两项研究的参与者都是从心理学参与库中招募的(拉入法;对于课程学分)和一般学生群体(一种推出方法; for monetary payment or raffle entry).
在这两项研究中,通过心理学库招募的参与者中有很大一部分未能通过注意力检查,这表明数据质量较差。随着时间的推移,心理学库也与较低的留存率有关。在筛选那些注意力检查失败的人之后,研究变量之间的一些相关性更强,一些更弱,还有一些相当相似,这可能表明包括这些参与者带来了偏见。研究测量的内部一致性指标之间的差异可以忽略不计。最后,注意力检查失败与大多数人口特征没有显著相关,但在一些种族身份中有所不同。这表明,从注意力检查失败的参与者中过滤数据可能不会限制样本多样性。
进行大学生研究的调查人员应仔细考虑招募,并包括注意力检查或其他检测低质量数据的方法。讨论了对研究人员的建议。
任何研究结果的有效性都取决于所收集数据的完整性。使用自我报告测量方法的心理学研究人员普遍关注的问题是数据质量和参与者的依从性。参与者可能没有完全阅读或处理自我报告的测量说明或项目,给数据增加噪音而不是反映被评估的结构,或者他们可能没有完成研究方案,减少了用于分析的评估数量。两者都降低了研究的影响力[
识别影响数据质量的参与者不合规行为的一种方法是使用带有指示的注意力检查项目来选择特定的答案(例如,“对此项选择‘稍微同意’”)或有事实答案(例如,“哪个数字最大?”);这些也被称为指导性操作检查[
在一个解释个人如何制定和回应调查问题的模型中,Tourangeau等[
参与者依从性的另一个问题对纵向研究(如心理健康检查)特别重要,即研究保留率。许多研究需要多重评估,例如观察自然发展轨迹或跟踪干预后行为、症状或态度的变化。尽管与非干预研究相比,干预为参与者提供了额外的好处(例如,潜在的精神或身体健康改善),但这些好处通常是立即获得的,并且不会扩展到激励保留后续调查。此外,后续评估通常是在相当长的时间过去后(例如几周或几个月)远程进行的。因此,每增加一次随访,留存率就会下降。例如,在对心理和行为健康队列研究的荟萃分析中,已经注意到留存率的挑战[
在大多数心理学研究中,大学生是研究样本,这一趋势一直以来都是一致的。一项对心理学多个领域6家顶级期刊20年(1975年、1985年和1995年)的调查包括1559篇人类参与者的文章[
学生参与小组受到了心理学界的赞扬和批评[
除了方便之外,学生参与池可能潜在地反映了真正感兴趣的人群;然而,这些池子也可能与较低的入学率和研究依从性有关。夏普与诗人[
安东等[
本测试通过对美国大学生的两项研究,采用不同的设计方案,探讨了招募来源的研究依从性(即数据质量和保留率)。这些是对具有不同主要研究目标的已发表研究的后续分析。研究1关注独特的大学压力源及其与心理健康的关系[
这项检查旨在检查以下内容:(1)数据质量是否因招募来源而异,(2)研究保留是否因招募来源而异,(3)数据质量对研究变量关联的影响,(4)数据质量对内部一致性测量的影响,以及(5)参与者的人口统计学质量是否在注意力检查失败的参与者与没有进行注意力检查的参与者之间存在显著差异。在研究1和研究2中使用注意力检查来检查数据质量,仅在研究2中,保留率作为随访完成率进行操作。鉴于针对大学样本的招募方法对学习依从性的研究有限,针对目标1、2和5的分析本质上是探索性的。对于目标3和4,与之前的发现一致,即满足会给评估增加噪音,并降低影响的强度[
研究1是对担忧作为社会心理压力源与焦虑、压力和抑郁之间的中介的横断面检查[
本科生(282/407,69.3%为女性;230/407, 56.5%白色;平均年龄22.65岁,标准差6.73岁),来自美国大西洋中部地区一所大型公立少数族裔大学,通过全校学生公告(推出方法;N =257),以及通过心理学学生研究库(拉入法;N =150)来完成一项基于网络的调查。他们在学校里的分布相对平均。指
根据招募来源分类的研究1样本的描述信息一个.
变量 | 一般学生通告(n=257) | 心理学库(n=150) | 总(N = 407) |
|
||
|
收 | |||||
|
女 | 168 (75.7) | 114 (76.5) | 282 (69.3) |
|
|
|
男性 | 47 (21.2) | 34 (22.8) | 81 (19.9) |
|
|
|
变性人 | 5 (2.3) | 0 (0) | 5 (1.2) |
|
|
|
其他 | 2 (0.9) | 1 (0.7) | 3 (0.9) |
|
|
|
。 | |||||
|
西班牙裔或拉丁裔 | 16 (7.2) | 16 (10.7) | 32 (8.6) |
|
|
|
不是西班牙裔或拉丁裔 | 205 (92.8) | 133 (89.3) | 338 (91.4) |
|
|
|
|
|||||
|
亚洲 | 32 (12.5) | 15 (10) | 47 (11.5) | .46 | |
|
黑人或非裔美国人 | 54 (21) | 59 (39.3) | 113 (27.8) |
|
|
|
印第安人 | 7 (2.7) | 3 (2) | 10 (2.5) | 综合成绩 | |
|
其他 | 10 (3.9) | 7 (4.7) | 17 (4.2) | 点 | |
|
白色 | 146 (56.8) | 84 (56) | 230 (56.5) | .87点 | |
|
|
|||||
|
大一新生 | 53 (24) | 65 (43.6) | 118 (31.9) |
|
|
|
二年级学生 | 44 (19.9) | 21日(14.1) | 65 (17.6) |
|
|
|
初级 | 56 (25.3) | 27日(18.1) | 83 (22.4) |
|
|
|
高级 | 68 (30.8) | 36 (24.2) | 104 (28.1) |
|
|
|
|
|||||
|
使用 | 134 (60.6) | 68 (45.6) | 202 (54.6) |
|
|
|
不使用 | 82 (37.1) | 71 (47.7) | 153 (41.4) |
|
|
|
其他 | 5 (2.3) | 10 (6.7) | 15 (3.7) |
|
|
年龄(年),平均值(SD) | 22.71 (6.19) | 22.58 (7.48) | 22.65 (6.73) | .86 |
一个卡方检验不包括每个细胞<5个参与者的类别。
b参赛者可以选择> - 1个种族的回答选项,因此统计总数可能超过总样本量。
c重要的
一个学习广告包含在学生通告中,通过电子邮件发送给主办机构的所有学生。感兴趣的学生可以点击一个链接来完成网上调查。一个类似的广告被包含在基于网络的心理学研究池门户网站中,该门户网站链接到相同的调查。心理学参与者包括心理学课程的学生。作为对他们参与发布的研究的交换,他们获得了研究学分,可以申请到他们所注册的课程。教师可以将这些学分纳入课程的评分标准,或者为学生提供额外的学分。学生们可以报名参加他们有资格参加的任何研究。志愿者作为研究参与者并不需要获得这些研究学分;学生也可以完成科学文章评论。学生通告每天都通过电子邮件发给每一个在校学生。 They included announcements for academic workshops, research studies, social activities, and employment opportunities available to the students. Data collection for study 1 took place from July to September 2017.
我们在处理样本时遵守了美国心理学协会的道德标准。该机构的人体受试者审查委员会决定该研究免于持续监督(文献编号1103992-1)。所有参与者在完成调查前都提供了知情同意。通过学生公告招募的参与者可以选择获得抽奖(4张50美元的亚马逊礼品卡或12张25美元的亚马逊礼品卡中的一张)或研究积分(如果适用)。通过心理学学生研究库招募的参与者得到了研究学分的补偿。由于用于补偿目的的信息是在与调查回复无关的单独问卷中收集的,因此研究数据是匿名的。
使用宾夕法尼亚州立大学焦虑问卷评估焦虑程度[
压力、抑郁和焦虑用21项抑郁焦虑压力量表评估[
总共有8个注意力检查问题被添加到调查中,以评估数据质量,或者更具体地说,检测满意度,不专心的参与者没有完全阅读调查项目或说明。其中4个是单独的问题(如选择最高的数字),4个是整合到问卷中(如此答案选择“5-7天”)。错误回答的数量被求和,然后重新编码成一系列变量,代表参与者是否错误地回答了任何注意检查(n=55),≥2 (n=16),或≥3 (n=9;0 =
样本的人口统计学特征在招聘来源之间进行比较,使用分类变量卡方检验(例如,在校年限和就业)和2尾检验
研究1没有检验目标2(研究保留率是否因招聘来源而异),因为它不是纵向的。为了检验研究目标3(数据质量对研究变量关联的影响),在原始研究感兴趣的变量(即担忧、压力、抑郁和焦虑)之间进行了一系列双变量相关性。对整个样本进行一次检查,然后只对那些没有通过任何注意力检查的人、那些不通过≤1项注意力检查的人、那些不通过≤2项注意力检查的人以及那些不通过≤3项注意力检查的人进行一次检查(即保留那些没有通过的人)
为了检验目标4(数据质量对内部一致性测量的影响),使用完整样本计算关键研究测量的Cronbach α和McDonald omega,然后仅对那些没有或没有通过不同数量的注意检查的人进行计算。之所以提供这两个指标,是因为麦克唐纳ω具有更现实和可实现的假设,因此在许多情况下可能是一个更准确的内部一致性指标,但克朗巴赫α的使用和理解更为广泛[
如
在整个样本中,86.5%(352/407)的参与者没有通过任何注意力检查,9.6%(39/407)的参与者未通过1次检查,1.7%(7/407)的参与者未通过2次检查,2%(8/407)的参与者未通过3次检查,0.2%(1/407)的参与者未通过5次检查。没有人通过5次(8次中的5次)检查。招募方法类型与数据质量相关,例如心理库参与者(29/150,19.3%)比普通学生群体参与者(26/257,10.1%)没有通过任何注意力检查;
这些比较以一系列逻辑回归的形式重复进行,并控制了招聘来源之间显著不同的人口统计数据(上学年限、就业情况以及支持黑人或非裔美国人的种族)。上学年限和就业对注意力检查失败没有显著的预测作用,因此被排除在预测因素之外。控制黑人或非裔美国人身份认可的模型与卡方分析一致,发现招募来源与任何注意力检查失败显著相关,通过心理池招募的参与者明显更有可能通过注意力检查(B=0.63;
原始研究的关键变量(即担忧、压力、抑郁和焦虑)之间的相关性是对完整样本进行的,那些没有任何注意力检查失败的人,那些至少有一次注意力检查失败的人,那些注意力检查失败<2的人,以及那些注意力检查失败<3的人(
那些没有通过注意力测试的人与那些没有通过注意力测试的人之间的相关性变化与费雪进行了比较
根据注意力检查失败分类的关键研究1变量之间的相关性一个.
测量 | 1 | 2 | 3. | 4 | |
|
|||||
|
1.担心 | - - - - - -b | - - - - - - | - - - - - - | - - - - - - |
|
2.压力 | .62一个 | - - - - - - | - - - - - - | - - - - - - |
|
3.抑郁症 | 报一个 | 收一个 | - - - - - - | - - - - - - |
|
4.焦虑 | .57一个 | .79一个 | i =一个 | - - - - - - |
|
|||||
|
1.担心 | - - - - - - | - - - - - - | - - - - - - | - - - - - - |
|
2.压力 | .64点一个 | - - - - - - | - - - - - - | - - - - - - |
|
3.抑郁症 | .51一个 | 开市一个 | - - - - - - | - - - - - - |
|
4.焦虑 | .60一个 | .77点一个 | 点一个 | - - - - - - |
|
|||||
|
1.担心 | - - - - - - | - - - - - - | - - - - - - | - - - - - - |
|
2.压力 | 票价 | - - - - - - | - - - - - - | - - - - - - |
|
3.抑郁症 | 点 | 结果 | - - - - - - | - - - - - - |
|
4.焦虑 | 点 | .92 | .85 | - - - - - - |
|
|||||
|
1.担心 | - - - - - - | - - - - - - | - - - - - - | - - - - - - |
|
2.压力 | .62 | - - - - - - | - - - - - - | - - - - - - |
|
3.抑郁症 | 50 | 开市 | - - - - - - | - - - - - - |
|
4.焦虑 | .59 | 尾数就 | .68点 | - - - - - - |
|
|||||
|
1.担心 | - - - - - - | - - - - - - | - - - - - - | - - - - - - |
|
2.压力 | 点 | - - - - - - | - - - - - - | - - - - - - |
|
3.抑郁症 | .51 | 收 | - - - - - - | - - - - - - |
|
4.焦虑 | 算下来 | .79 | .68点 | - - - - - - |
一个所有相关在
b不适用。
如
通过注意检查失败来衡量研究1关键变量之间的内部一致性。
变量 | 无注意失败(n=352) | 失败次数不超过1次(n=391) | 失败次数不超过2次(n=398) | 失败次数不超过3次(n=406) | 完整样本(N=407) | |||||||
|
α | Ω | α | Ω | α | Ω | α | Ω | α | Ω | ||
担心 | .935 | 0.941 | .933 | 0.940 | .933 | 0.939 | .932 | 0.938 | .931 | 0.938 | ||
压力 | .865 | .0868 | .868 | 0.870 | .871 | 0.873 | .872 | 0.874 | .872 | 0.874 | ||
焦虑 | .853 | 0.856 | .859 | 0.861 | .861 | 0.863 | .863 | 0.865 | .862 | 0.865 | ||
抑郁症 | .905 | 0.907 | .912 | 0.914 | .913 | 0.914 | .912 | 0.913 | .912 | 0.913 |
一系列卡方分析显示,注意力检查失败与性别没有显著相关性(
将注意力检查失败≥2次与检查失败<2次进行比较,发现了相同的发现模式。注意力检查失败与大多数人口统计学变量之间没有显著相关性。然而,被认定为黑人或非裔美国人的参与者比非黑人参与者(2%;费舍尔的确切
将失败≥3次的注意力检查与失败<3次的注意力检查进行比较,也揭示了相同的发现模式。注意力检查失败与大多数人口统计学变量之间没有显著相关性。然而,被认定为黑人或非裔美国人的参与者比被认定为非黑人的参与者(0.3%;费舍尔的确切
研究2是一项纵向(ClinicalTrials.gov NCT03440463)随机对照试验,旨在检查在亲自完成网络酒精干预后发送的个性化规范性反馈促进电子邮件对饮酒结果的影响[
参与者(378/528,71.6%女性;281/528, 53.2%黑人或非裔美国人;215/528,白人占40.9%;平均年龄19.85岁,SD 1.65岁),与研究1的参与者来自同一所大学(美国大西洋中部地区的一所大型公立少数族裔服务机构),通过2个招聘渠道招募:通过学生公告电子邮件(推送方式;N =127)和心理学研究库(拉入法;n = 401)。合资格的参加者为18至24岁的在校学生,且在过去两周内至少饮用过一杯酒精饮料。指
研究2样本描述信息按招聘来源分类一个.
变量 | 一般学生通告(n=127) | 心理学组(n=401) | 总(N = 528) |
|
|||||
|
.85 | ||||||||
|
女 | 91 (71.7) | 287 (71.6) | 378 (71.6) |
|
||||
|
男性 | 36 (28.3) | 113 (28.2) | 149 (28.2) |
|
||||
|
变性人 | 0 (0) | 0 (0) | 0 9 (0) |
|
||||
|
其他 | 0 (0) | 1 (0.2) | 1 (0.2) |
|
||||
|
综合成绩 | ||||||||
|
西班牙裔或拉丁裔 | 15 (11.8) | 43 (10.8) | 58 (11) |
|
||||
|
不是西班牙裔或拉丁裔 | 112 (88.2) | 355 (89.2) | 467 (89) |
|
||||
|
|||||||||
|
亚洲 | 12 (9.4) | 39 (9.9) | 51 (9.8) | 多多 | ||||
|
黑人或非裔美国人 | 64 (50.4) | 213 (54.1) | 277 (53.2) | 票价 | ||||
|
印第安人 | 8 (6.3) | 11 (2.8) | 19日(3.6) | 07 | ||||
|
其他 | 12 (9.4) | 24 (6.1) | 36 (6.9) | .19 | ||||
|
白色 | 49 (38.6) | 164 (41.6) | 213 (40.9) | 54 | ||||
|
|
||||||||
|
大一新生 | 21日(16.5) | 156 (38.9) | 177 (33.5) |
|
||||
|
二年级学生 | 27日(21.3) | 123 (30.7) | 150 (28.4) |
|
||||
|
初级 | 32 (25.2) | 64 (16) | 96 (18.2) |
|
||||
|
高级 | 46 (36.2) | 56 (14) | 102 (19.3) |
|
||||
|
研究生 | 0 (0) | 1 (0.2) | 1 (0.2) |
|
||||
|
其他 | 1 (0.8) | 1 (0.2) | 2 (0.4) |
|
||||
年龄(年),平均值(SD) | 20.51 (1.66) | 19.65 (1.60) | 19.85 (1.65) |
|
一个卡方检验不包括每个细胞<5个参与者的类别。
b参赛者可以选择> - 1的种族反应选项,因此统计总数可能超过样本量。
c重要的
在发给主办机构所有学生的电子邮件学生通告中,还包含了一则学习广告。感兴趣的学生可以点击链接完成筛选调查。符合条件的个人被引导到一个基于网络的日程安排程序,以选择即将到来的约会。类似的广告也出现在心理学研究池的网络门户网站上。心理学参与者的结构与第一项研究相同;参加心理学课程的学生可以通过参与发布的研究或撰写科学文章评论来获得研究学分。该门户网站只允许符合年龄限制标准的学生观看广告。心理学组的参与者不需要完成筛选调查(酒精标准在研究描述中显著显示),并且可以立即访问基于网络的日程安排程序来选择即将到来的约会。所有参与者都被告知,参与这项研究包括在研究实验室参加一个90分钟的时间段,在那里他们将被指示完成一项基于网络的调查(提供了结构性质的信息)和酒精干预。参与者在校内研究实验室参加基线测试。 After providing informed consent, they completed the baseline survey before completing the web-based alcohol intervention. Participants were randomized into 3 conditions that varied based on the feedback they were provided 2 weeks later via email. All the participants received follow-up surveys via emailed invitations 1 month and 3 months after baseline; those who opted in received reminders via text messages as well. These follow-up surveys were shorter than the initial baseline survey and were completed on the web, so the participants did not have to return to the research laboratory. Baseline data were collected from April 2017 to December 2017.
我们在处理样本时遵守了美国心理学协会的道德标准。老道明大学机构审查委员会批准了这项研究(参考编号690348-2)。受试者在基线期开始调查前提供知情同意。通过心理学研究库招募的参与者可以选择获得研究积分或完成基线调查的货币补偿(20美元)。通过普通学生团体招募的参与者因完成基线调查而获得金钱补偿(20美元)。所有参与者都因完成后续调查而获得金钱补偿(每个10美元),并因完成两项后续调查而获得奖金(10美元)。为了保证保密性,在数据收集和清理完成后,所有数据都进行了身份识别。
每日饮酒问卷[
每日饮酒问卷[
青少年酗酒后果调查问卷[
总共有4个注意力检查问题被添加到调查中,以评估数据质量,或者更具体地说,检测满意度,不专心的参与者没有完全阅读调查项目或说明。在这些问题中,2个是单独的问题(例如,哪个是最高的数字?),2个是整合到问卷中(例如,该问题选择“中性”)。错误回答的数量被求和,然后重新编码成一个变量,该变量表示参与者是否错误地回答了任何注意检查(n=64)或≥2 (n=16;0 =
与研究1一样,样本的人口统计学特征在不同招聘来源之间进行了比较,使用分类变量卡方检验(例如,在校年限和就业)和2尾检验
为了测试研究目标2(跨招聘来源的研究依从性或保留率),完成每个后续调查的参与者的比例(
为了检验目标4(数据质量对内部一致性指标的影响),使用全样本计算了唯一的传统测量方法(酒精相关问题)的Cronbach α和McDonald omega,然后仅计算了那些没有或没有通过不同数量的注意力检查的人。最后,对研究目标5进行了一系列的双尾检验
如
在研究2的总样本中,在基线时,87.9%(464/528)的参与者没有通过任何注意力检查,9.1%(48/528)的参与者未通过1次检查,2.5%(13/528)的参与者未通过2次检查,0.6%(3/528)的参与者未通过3次检查。没有人通过4项注意力检查。招募类型与基线方案的数据质量相关(
在1个月的随访中,80.3%(285/355)的参与者没有通过任何注意力检查,13.2%(47/355)的参与者未通过1项检查,6.2%(22/355)的参与者未通过2项检查,0.3%(1/355)的参与者未通过3项检查。没有人通过4项注意力检查。与基线相似,招募类型与1个月随访的数据质量显著相关(
在3个月的随访中,81.7%(250/306)的参与者没有通过任何注意力检查,13.1%(40/306)未通过1次检查,4.6%(14/306)未通过2次检查,0.7%(2/306)未通过3次检查。没有人通过4项注意力检查。在3个月的随访中,数据质量也有显著差异(
随着时间的推移,我们还检查了注意力检查失败的情况。在完成1个月随访调查的33例基线时注意力检查≥1项失败的患者中,16例(48%)在随访调查中注意力检查≥1项失败。相比之下,在322名基线注意力检查未失败的患者中,54人(17%)在随访调查中失败≥1次注意力检查。这提示基线时注意检查失败与随访时注意检查失败相关(
控制学龄和年龄,用招聘类型预测注意力检查失败的logistic回归基线不显著(B=0.65;
在1个月的随访中,招聘类型与保留率相关(
研究2的关键变量(即典型饮酒量、典型eBAC、酒精相关问题和描述性规范)之间的相关性对全样本、没有任何注意力检查失败的人、至少有一次注意力检查失败的人以及注意力检查失败<2的人(
那些没有通过任何注意力检查的人与那些没有通过任何注意力检查的人之间的相关性变化最大
以注意力检查失败为分类的两个关键研究变量之间的相关性一个.
测量 | 1 | 2 | 3. | 4 | |||||
|
|||||||||
|
1.每天饮酒量 | - - - - - -b | - - - - - - | - - - - - - | - - - - - - | ||||
|
2.典型eBACc | 总共花掉 | - - - - - - | - - - - - - | - - - - - - | ||||
|
3.酒精相关问题 | .41点 | 点 | - - - - - - | - - - - - - | ||||
|
4.描述性规范d | 点 | 56 | .33 | - - - - - - | ||||
|
|||||||||
|
1.每天饮酒量 | - - - - - - | - - - - - - | - - - - - - | - - - - - - | ||||
|
2.典型eBAC | 总共花掉 | - - - - - - | - - - - - - | - - - - - - | ||||
|
3.酒精相关问题 | 点 | 无误 | - - - - - - | - - - - - - | ||||
|
4.描述性规范 | 点 | 55 | 点 | - - - - - - | ||||
|
|||||||||
|
1.每天饮酒量 | - - - - - - | - - - - - - | - - - - - - | - - - - - - | ||||
|
2.典型eBAC | 总共花掉 | - - - - - - | - - - - - - | - - - - - - | ||||
|
3.酒精相关问题 | .35点 |
|
- - - - - - | - - - - - - | ||||
|
4.描述性规范 | 正 | .62 |
|
- - - - - - | ||||
|
|||||||||
|
1.每天饮酒量 | - - - - - - | - - - - - - | - - - - - - | - - - - - - | ||||
|
2.典型eBAC | 总共花掉 | - - - - - - | - - - - - - | - - - - - - | ||||
|
3.酒精相关问题 | 点 | 点 | - - - - - - | - - - - - - | ||||
|
4.描述性规范 | 点 | 56 | .33 | - - - - - - |
一个所有相关在
b不可用。
ceBAC:估计血液酒精浓度。
d描述性规范指的是亲密朋友的感知消费量(每天饮酒的量)。
在整个样本中,酒精相关问题的Cronbach α的差异可以忽略不计(α=.918),忽略那些不通过≥2项注意力检查(α=.917)或不通过任何注意力检查(α=.917)的人。麦当劳欧米茄的差异在整个样本中也可以忽略不计(α=.921),忽略那些不通过≥2次注意力检查(α=.920)或不通过任何注意力检查(α=.920)的人。
一系列卡方分析显示,没有进行任何注意力检查和没有进行注意力检查与性别没有显著相关(
对不同招聘来源的数据质量是否存在差异的检查(目标1)显示,通过心理学库招聘的大学生参与者的注意力检查不合格比例高于通过普通电子邮件公告招聘的学生,这表明通过满意度招聘的数据质量较差。对不同招聘来源的保留率是否存在差异的检查(目标2)显示,在基线后1个月和3个月,基于网络的随访调查的保留率较低,心理库也与较差的依从性有关(仅研究2)。为了检验数据质量对研究变量关联的影响(目的3),在比较没有通过任何注意力检查的参与者与没有通过任何注意力检查的参与者之间的相关性强度时,没有明显的差异模式。显著效应的方向与我们对研究2的假设一致(即,在那些没有通过任何注意力检查的人之间发现了更强的相关性),但与研究1的两个重要发现的假设相反(即,在那些至少一次注意力检查失败的人之间发现了更强的相关性)。研究1有2个额外的发现与我们的假设一致,但没有达到显著性。至于数据质量对内部一致性测量的影响(目标4),忽略那些注意力检查失败的人对内部一致性测量的影响可以忽略不计。最后,在检查注意力检查失败的参与者与没有进行注意力检查的参与者的人口统计学质量是否有显著差异时(目的5),被认为是黑人或非裔美国人(两项研究)的参与者注意力检查失败明显更大,而被认为是白人的参与者注意力检查失败明显更低(仅研究1)。它与其他种族身份、民族、性别、年龄、上学年份或就业状况没有显著相关性。
研究1和研究2的发现是一致的,即通过普通电子邮件通知招募的学生的注意力检查失败率低于心理学组参与者,这表明数据质量更好(目标1)。这对于专注于大学压力源和心理健康的远程、基于网络的横断面调查(研究1)和检查大学饮酒干预措施的亲自纵向设计(研究2)都是正确的。完全远程基于网络的研究方案(研究1:19.3% vs 10.1%未通过任何注意力检查)的比率差异大于面对面基线方案(研究2:13.5% vs 7.1%)未通过任何注意力检查,并且基于网络的方案的比率通常也更高。这一发现在研究2中变得不显著,因为样本被分成了更小、更不平衡的比例,用于检查不通过≥2项注意检查。沃德及庞德[
安东等[
结果发现,拉入招聘源(心理学库)比推出招聘源(电子邮件一般公告)的满意度更高,这与Antoun等人的发现相反[
同样的招聘来源(通过电子邮件向全体学生发出通知)提供了更高的研究留存率(目标2)和更高的数据质量(目标1);因此,纵向研究人员可以选择一种招聘方法,优化研究依从性,以最大限度地降低满意度和提高保留率。值得注意的是,通过学生公告参与的学生留存率可能更好,因为他们对后续调查的补偿与他们对基线的补偿(财务)一致,而不像心理学库(课程学分)。纵向心理治疗研究的减员尤为重要,因为元分析显示,智能手机提供的心理健康干预的辍学率为24%至35% [
与我们的预期相反,在两项研究中,相关性并没有表现出研究变量关联或影响的一致加强(目的3)。两项研究中选择的相关性确实发生了显著变化,但影响是双向的(有时更强,有时更弱)。一些相关性的加强与之前的多项研究一致,这些研究发现,在筛选出满足[
同样与我们的预期相反的是,在放弃注意力检查失败的参与者后,内部一致性的测量并没有更强(目标4)。两项研究的差异可以忽略不计。如果参与者的满意度增加了数据集的噪声,研究人员可能会预期它也会增加测量误差。奥本海默等人[
在这项研究中,重复检查满足度的多个临界值(即,没有通过任何注意力检查vs没有通过更多的注意力检查,如2或3)。识别满足度的零容忍方法,排除了对注意力检查有≥1个错误反应的参与者,这与研究人员最常见的报告一致[
先前的研究人员提出的一个担忧是,筛选出满意的参与者是否会引入不同的偏见来源,即减少样本的人口统计学多样性[
除了筛选那些注意力检查失败的人之外,另一种可能的方法是让研究人员保留样本中的每个人,即使用实时反馈来通知参与者,研究人员已经注意到他们没有集中注意力,并要求他们仔细阅读项目。促使快速完成调查项目的受访者注意到这可能太快了,无法准确地回答,并询问他们是否想重新考虑他们的答案,导致满意度降低,回答更准确[
为了提高数据质量和减少偏见,我们对研究人员有几点建议。(1)使用注意检查来检测满意。在两项研究中,注意力检查的失败在两种招聘来源中都很普遍,这表明无论研究设计或招聘方法如何,大学生中都存在满意度。此外,在筛选出那些至少一次注意力检查失败的人后,结果发生了变化,这表明忽视这一现象可能会在研究结论中引入偏见。注意力检查可以帮助研究人员确定谁提供的数据质量更高。(2)认真考虑招聘来源。尽管使用心理学库的成本更低,效率更高(如在研究2中,一项有面对面基线会议的纵向研究),而且可能更方便,但使用更广泛的方法来招募学生可能会产生更好的样本质量(即满意度更低,留存率更高)。此外,更广泛的招募来源在研究1中更有效(远程和横断面),这表明研究人员在做出这一决定时可能需要考虑他们的研究设计。在可能的情况下,研究人员可能会使用多个招募来源来多样化他们的样本。(3)权衡筛选注意力检查失败的参与者(被证明减少了研究结果的偏倚)与包括实时反馈(对这种方法的研究非常有限)的好处。 Related to this, (4) consider whether screening out participants could reduce demographic diversity. It could be problematic to increase internal validity to the detriment of external validity. If researchers intend to use attention checks for screening purposes, then they might oversample from populations more likely to be screened out (if possible). Alternatively, letting participants know that their responses will be monitored for data quality and providing live feedback could minimize attention check failure. For treatment studies or other longitudinal studies where tossing cases is problematic, live feedback may be a better option. Finally, (5) researchers interested in minimizing satisficing rather than detecting and removing the data from these participants might consider holding time-specific sessions with a researcher present (in person or on the web).
这项调查是一项两项研究的检查,采用了不同的研究设计(横断面网络调查vs纵向随机对照试验的现场基线)和不同的调查领域(心理健康vs饮酒行为),以最大限度地提高其他心理健康研究人员的外部有效性和相关性。但是,应该注意到一些限制。首先,注意力检查是使用的数据质量的唯一指标。更可靠的方法包括其他指标,如心理测量反义词或同义词(即,相似项目的个人内部相关性),长字符串(即,具有相同值的反应模式的长度),马氏距离值(即,相似项目的多元离群值),以及自我报告的注意力和努力项目[
这项研究的另一个局限性是,招聘来源仅限于美国1所机构的单点数据收集方法。Amazon MTurk是另一种研究人员可以用来更广泛地访问学生群体的方法,有可能增加研究样本的人口多样性,同时保持高数据质量,包括较低的满意度[
这可能会增加样本的人口统计学和地理多样性[
最后,虽然我们关注的是招聘来源来标注这两组之间的差异,但薪酬也是不同的。心理学专业的学生可以得到研究学分的补偿,这些学分可以应用到他们的课程成绩中。通过电子邮件发布的公告组的学生获得了金钱补偿(在研究1中有抽奖入口,在研究2中有直接付款)。我们认为这与大多数使用这些招聘来源的研究是一致的,并且认为补偿是这些方法的一部分。值得注意的是,即使补偿较弱(抽奖入场)而不是较强(直接货币支付),电子邮件公告组的满意度下降模式也是如此,这表明补偿的强度并没有推动效果。
这项调查通过两项针对大学生的研究,通过不同的设计方案,通过招聘来源检查了参与者的依从性(即数据质量和留存率)(研究1:一项完全远程的横断面设计,研究大学压力源和心理健康;研究2:纵向设计,现场基线会议,检查针对大学生饮酒的干预措施)。两项研究的参与者都是从(1)心理学学生参与库中招募的,作为补偿,他们在心理学课程中获得研究学分,(2)通过电子邮件通知普通学生,接受抽奖(研究1)或金钱补偿(研究2)。检查显示,通过心理学库招募的大学生参与者中,注意力检查不合格的比例高于通过普通电子邮件通告招募的学生,这表明两项研究都满足了较差的数据质量。此外,在基线后1个月和3个月的基于网络的随访调查中,心理库也与较差的依从性相关,留存率较低(仅研究2)。在筛选出那些至少一次注意力检查失败的人之后,研究变量之间的一些相关性得到了加强(可能是由于减少了噪音),一些相关性被削弱了,还有一些相当相似;这种混合模式潜在地指出了包括这些参与者所带来的偏见。最后,注意力检查失败与大多数人口统计学特征(种族、性别、年龄、在校时间、就业状况和选定的种族身份)没有显著相关,但在那些被认定为黑人或非裔美国人(两项研究)中更明显,而在那些被认定为白人的人(仅研究1)中明显较低。专注于学生研究的研究人员应在研究设计中仔细考虑招募问题,并包括注意力检查或其他检测低质量数据的方法。在这两个来源中都检测到了满意度,尽管心理学库的满意度比一般学生群体的满意度要差。 Researchers should carefully consider how the study design could promote engagement (eg, live sessions with a researcher), weigh screening participants versus providing live feedback, and consider oversampling demographics that are more likely to be screened out, if possible.
估计血液酒精浓度
土耳其机器人
研究2得到了国家酒精滥用和酒精中毒研究所K01 AA023849奖的支持(首席研究员:ALB)。内容仅为作者的责任,并不一定代表国家酒精滥用和酒精中毒研究所的官方观点。
在合理的要求下,将向首席研究员提供数据。
没有宣布。