在试点众包数据收集后评估COVID-19症状与不良结果之间的相关性:横断面调查研究

简介

COVID-19是一个全球公共卫生问题[1-3.］．虽然正在采取广泛措施控制疫情，但传播速度之快使收集临床管理和公共卫生规划所需数据成为一项挑战。有效收集高质量的数据以确定疾病严重程度，可以及时传播准确的信息，以便进行此类规划。

为了了解和预测受COVID-19影响的患者的不良健康结果，正在进行许多研究社会人口学、临床和症状危险因素的科学工作。然而，这些努力的结果并不完全一致，关于与COVID-19不良结果相关的风险因素的证据相互矛盾[4-6］．此外，据报告，受感染者的症状范围广泛，从无症状到严重疾病[2-12］．常见的症状包括发烧、咳嗽、疲劳、呼吸短促、嗅觉或味觉丧失，较不常见的症状为胃肠道和神经系统症状[4-6，13-16］．尽管一直在努力描述病人的症状[7，17，18]，目前还没有证据表明不同特征(如慢性病和人口背景)的人的症状是否不同[19，20.］．由于个别症状无法预测COVID-19的不良后果[21]，了解患者的症状特征(即症状学)有望改善对不良结果风险的估计[22］．

众包模式是在COVID-19大流行背景下快速收集信息的有效方式[23，24］．最近的工作是对用于应对COVID-19危机的不同类型的众包进行分类[23]发现处理信息和知识管理问题最常见的配置是开放众包(描述为一对多配置，潜在的无限贡献者，没有任何形式的预选)。但是，属于这一类的大多数倡议都表现出查找和收集信息的愿望。的COVID在你身边网站(25例如，使用众包数据可视化地图，以确定当前和潜在的大流行热点。然而，众包数据的一个重要重点是收集高质量的数据。事实上，在构建基于小型或低质量数据集训练的COVID-19诊断和预后预测模型时，偏差风险可能很大。例如，迄今大多数COVID-19预测模型显示出较高的偏倚风险(n= 226,97%) [26］．

为了消除不合格的人群数据提交，我们使用了“通过经纪人进行众包”的策略，通过经纪人服务可以过滤参与者及其回应，并在最终确定众包数据收集策略之前测试数据质量。我们选择使用亚马逊Mechanical Turk (MTurk)众包平台，该平台通过设置资格提供过滤机制[27-30.］．通过MTurk平台，被称为“请求者”的实体可以雇佣被称为“工人”的独立承包商来执行各种远程工作，被称为“人类情报任务”(HITs)。员工的声誉由他们的HIT接受率[30.］．然而，强调通过设置条件来获得高质量的数据也引起了一些对“超级工人”的担忧。这些都是经验丰富、非常活跃的MTurk工作人员，研究人员经常针对他们进行调查。这种对有经验的工人的过度采样可能导致工人不天真的问题，因为工人在研究中经常接触常见的方法。最近的研究表明，非超级工人也可以产生高质量的数据[31]，我们的策略因此纳入了一个试点阶段，根据经验资格制定广泛的纳入标准。试点数据收集使我们能够确定哪些过滤标准最适合我们的需求，而不是默认使用有经验的工人。

在本文中，我们描述了(1)在向MTurk工人部署最终调查之前，在试点环境中进行数据质量和人群代表性检查的管道，(2)在报告先前COVID-19阳性结果的MTurk工人调查受访者中评估COVID-19症状，以及(3)评估COVID-19不良结果的症状组和下级慢性疾病之间的关联。

方法

研究设计与仪器

这是一项横断面研究。我们使用Qualtrics开发了2个基于网络的调查。一项调查是针对自我报告COVID-19检测呈阳性的个人(即个人调查)，另一项调查是针对居住在同一所房子的亲属(即家庭调查)COVID-19检测呈阳性的个人。我们在2020年8月至12月期间在MTurk上举办了这两项调查。为了通过MTurk提高数据收集的质量，并使我们的研究样本更能代表目标人群，我们遵循了Young等人建议的最佳实践[30.］．

实施了一些限制，以排除最终数据分析中的某些调查答复。首先，只有那些在回答我们的筛查问题时提供了现有COVID-19检测类型(鼻腔/喉咙/血液/痰)的参与者才能继续进行调查。第二，参与者只能为自己(个人调查)和1名家庭成员(家庭调查)填写一次问卷。第三，在问卷中包含了一个质量控制问题，说明“不回答这个问题(请点击下一步进入下一个问题)”。如果问题得到了回答，调查的回答就会被排除在数据分析之外。第四，在家庭调查中，我们询问了参与者对他们的家庭成员的回答的信心水平。报告置信度低的回答被排除在最终分析之外。

道德的考虑

本研究被认为对参与者的风险最小，并被约翰·霍普金斯大学(IRB00248053)机构审查委员会确定为豁免研究。

变量和定义

网络调查分为以下五个部分(多媒体附件1而且多媒体附件2)：

1. 介绍和筛选:研究目的的介绍，包括完成调查所需的估计时间、补偿金额、调查的自愿性质的信息，以及填写问卷不要超过一次的说明。
2. COVID-19症状:我们要求参与者选择他们在感染COVID-19后经历的所有症状。
3. COVID-19的不良结果:我们询问了与COVID-19有关的住院治疗和与机械呼吸机的联系。
4. 病史:我们询问了有关背景医疗状况、吸烟状况和前一季流感疫苗接种情况的问题。
5. 人口特征参与者报告了他们的年龄、出生时被分配的性别、种族、民族、去年的收入(月收入和年收入)以及最高教育水平。

调查措施取自约翰霍普金斯大学COVID-19社区应对调查指导工具包，该工具包来自多个来源[32］．除了工具包之外，我们用来汇编COVID-19症状的另一个数据源是Twitter [18，32，33］．

招聘

人口

本研究的纳入标准为生活在美国的个人、成年人(18岁或以上)以及自我报告COVID-19结果呈阳性的MTurk工人。对于家庭调查，参与者可以为1名家庭成员完成调查，即使该家庭成员居住在同一家庭，年龄在18岁以下。因此，本研究的目标人群是居住在美国并有足够技能使用MTurk平台的COVID-19患者。根据标准最低工资和我们估计的完成时间(约5-10分钟)，对参与者进行补偿。

众包管道

在将最终调查发布给MTurk之前，我们于2020年8月5日至8月14日进行了一项试点，以评估不同经验水平的员工的回答质量。试点分析将员工样本分为以下3个经验组:以前完成100-499次点击、500-999次点击和1000+次点击的人。首先，工作人员将完成资格测试，要求他们验证自己或家庭成员的COVID-19检测呈阳性。如果合格，员工就可以开始参加MTurk HIT测试，其中包括一个链接，指向基于网络的Qualtrics调查的26个问题。调查的第一部分是筛选问题(年龄≥18岁)和理解检查。在理解性检查中，如果工作人员选择了无效的COVID-19检测类型(如尿检)，则不能继续调查。

对于那些通过筛选测试的人，根据以下标准，反应被标记为“高质量”:足够的时间(阈值超过60秒);在Qualtrics和MTurk之间匹配代码和id;每个代码只与1个worker相关联;员工之前没有接受过调查(即无重复回复)。如果一名员工的回答符合所有这些标准，他们就会被纳入“高质量”组。

另外，我们评估了“非重复反应”。不重复的回答表明受访者只完成了一次调查。考虑这一标准的假设是，那些试图多次完成调查以获得更多报酬的工人没有仔细阅读调查说明，因此，他们可能会提供比那些试图完成一次调查的人更低质量的回答。

提取年龄、性别、种族、教育程度和收入的一般特征，并在经验组之间进行比较。通过卡方分析来评估高质量和非重复回答的数量在经验组之间是否有显著差异。这一分析的结果用于完善我们在最终众包管道中的筛选标准。

统计分析

结果

我们评估了以下2个与COVID-19相关的主要不良结局:因COVID-19入院和入院期间使用机械通气。

统计分析

我们使用描述性统计来描述参与者的总队列。二元分析，使用Pearson χ²进行了测试，以评估住院患者与未住院患者之间，以及入院期间需要机械通气的患者与不需要机械通气的患者之间的参与者特征差异。然后，我们拟合了多变量logistic回归模型，以确定COVID-19症状与因COVID-19住院和机械通气的相关性，并根据社会人口学特征和共病条件进行了调整。然后，根据COVID-19症状进行分层聚类分析，寻找模式。相似度度量为余弦相似度，链接方法为病房最小方差。为了描述群集，我们计算了每个群集症状的危险因素的频率。然后，我们以症状组为危险因素，建立了住院和机械通气作为结局的logistic回归模型。最后，我们为每个症状组建立了logistic回归模型，以确定不同症状组患者住院的显著危险因素。所有分析均使用R版本3.6.2 (R基础统计计算)进行。

验证评估

为了验证我们的发现，我们与现有的系统综述或荟萃分析论文进行了比较，这些论文评估了症状作为COVID-19不良结果的危险因素。选择在我们收集数据之前进行分析的文章进行比较。

对于每篇文章和本研究，检查个体症状是否报告为(1)不良结果的显著危险因素(“是”)和(2)不良结果的非显著危险因素(“否”)。我们还记录了是否有症状未被评估(“NA”)。当综合研究结果时，如果我们发现不良结果和其他人没有研究过的症状之间存在统计学上的显著关联，我们将其标记为“新”。如果这项研究和至少一项其他研究在确定症状为危险因素(显著或不显著)方面达成一致，我们将其标记为“1”。我们未评估的症状被标记为“NA”。

结果

试验结果

试点调查收集了259名同时通过资格测试和筛选问题的受访者的数据，其中147人(56.8%)被认为具有“高质量”的回答。100-499、500-999、1000+ HITs体验组的高质量回答比例分别为58%(48/83)、43%(41/95)、72% (58/81)(表1)．在获得高质量回答方面，经验组之间没有显著差异(P= .14点)。然而，对于非重复反应，两组之间存在显著差异(P<措施)。MTurk工人中所有经验群体的人口统计学特征的比较显示在多媒体．

在试点之后，我们对众包管道进行了两次修改。首先，我们在最终的筛选标准中只包含了500次以上点击率的工人。考虑到组间非重复反应的差异，我们推断，对于需要更高认知能力的任务，500+ HITs的员工可能比100-499个HITs的员工提供更多高质量的反应。其次，我们在Qualtrics调查中添加了一个注意力检查问题(即“不要回答这个问题”)。

调查结果

在实施了最终的众包渠道后，我们收集了930个个人调查和1243个家庭调查的数据;但是，排除了410项个人调查和496项家庭调查的数据(2020年8月下旬至12月31日)。排除的原因是以前完成过调查，没有完成调查，年龄或理解检查的初始筛查失败，注意力检查失败(图1)．因此，我们最终收集了1267名符合条件的covid -19阳性参与者的数据，其中520人来自个人调查，747人来自家庭调查。13名参与者被进一步排除在外，因为他们要么对自己在家庭调查中的回答有点自信(n=12)，要么完全不自信(n=1)。因此，我们分析了来自1254项调查的数据。完成一般调查所需的平均时间为5.5分钟。

在家庭调查对象中，68.3%(501/734)的人提供了一级亲属的答案，25.7%(189/734)的人提供了二级亲属的答案，只有6.0%(44/734)的人提供了三级亲属的答案。除年龄(多媒体附件4)．因此，这里提出的分析结合了两项调查的数据。

‎ 查看此图

人口特征

超过90%(1159/ 1254,92.4%)的参与者年龄在65岁以上，只有1.2%(15/1254)的参与者年龄在18岁以下。此外，52.0%(652/1254)为男性、81.2%(1018/1254)为白人、79.5%(997/1254)为非西班牙裔或拉丁裔、68.4%(858/1254)为学士学位或任何研究生学位、14.4%(180/1254)为年收入75,000美元或以上、39.6%(496/1254)为吸烟者，以及46.8%(587/1254)在上一季曾接种流感疫苗(多媒体)．八名应答者在家庭调查中提到“去世”。正如我们的样本所反映的那样，MTurk工人人口往往比美国总人口更年轻，家庭收入低于美国平均人口[27］．

评估与COVID-19不良结局相关的个别症状的发现

住院治疗

总体而言，47.6%(597/1254)的参与者因COVID-19住院。双因素分析显示，除性别外，住院和非住院COVID-19参与者在大多数人口统计学因素上存在统计学差异(多媒体)．慢性疾病，包括抑郁、高血压、哮喘、酒精障碍、贫血、体重减轻、溃疡、肺/呼吸道疾病、膀胱问题、肠道疾病和心绞痛，与更多的COVID-19住院相关(多媒体附件6)．与COVID-19住院风险较高相关的症状有咳痰、打喷嚏、腹痛、呕吐、意识模糊、膀胱痛、眼睛干涩、皮肤干燥、皮疹和癫痫(多媒体)．

从研究总人群的logistic回归分析(多媒体附件8)，与基线相比，我们发现以下参与者特征与COVID-19住院之间存在统计学上的显著相关性:24岁以上的任何年龄组;拥有学士学位(优势比[OR] 2.57, 95% CI 1.43-4.66);每天吸烟，有吸烟天数，或有吸烟史但戒烟不到一年(or 2.06, 95% CI 1.18-3.61;Or 3.41, 95% ci 2.2-5.33;OR 3.39, 95% CI 1.88 ~ 6.24);和流感疫苗(OR 3.09, 95% CI 2.18-4.41)。与住院风险较高相关的慢性疾病有抑郁症(OR 1.77, 95% CI 1.18-2.67)、哮喘(OR 3.83, 95% CI 2.22-6.78)、糖尿病(OR 2.66, 95% CI 1.46-4.96)和膀胱问题(OR 5.51, 95% CI 1.28-27.13)。与住院风险较高相关的COVID-19症状为腹痛(OR 2.02, 95% CI 1.15-3.59)、膀胱疼痛(OR 3.20, 95% CI 1.25-9.3)、咳痰(OR 2.60, 95% CI 1.77-3.86)、体温超过100.4°F的发热(OR 1.50, 95% CI 1.04-2.17)和呼吸短促(OR 2.75, 95% CI 1.8-4.23)。

机械通风

总体而言，66.8%(399/597)的住院参与者连接了机械呼吸机(占所有参与者的31.8%)。在家庭调查中有11名住院的参与者，他们的机械通气使用情况不为调查对象所知，这些参与者没有被包括在随后的机械通气分析中。每日吸烟(OR 3.51, 95% CI 1.45-9.1)、上个季节接种流感疫苗(OR 3.65, 95% CI 2.29-5.89)、食欲下降(OR 2.07, 95% CI 1.09-4.02)、疲劳和乏力(OR 2.36, 95% CI 1.04-5.44)、呕吐(OR 2.68, 95% CI 1.3-5.71)与机械通气风险升高(OR 2.51, 95% CI 1.45-9.1)显著相关(OR 2.68, 95% CI 1.3-5.71)。多媒体附件8)．

来自COVID-19症状评估的发现

我们通过分层聚类分析确定了以下6个症状组(图2):第1组，腹部及膀胱疼痛;第2组，流感样症状(嗅觉/味觉/食欲丧失);3组，声音嘶哑，有痰;第四组，关节疼痛和胃痉挛;第五组，皮肤或眼睛干涩、呕吐;第6组无症状。我们发现症状组之间的社会人口学和临床差异(表2)．

流感样症状组(组2)主要代表一般研究人群。腹部和膀胱疼痛组(组1)和皮肤或眼干燥组(组5)住院频率最高(分别为153/227,67.4%和134/196,68.4%)。两组的特点是高收入机会较低(19/227，分别为8.4%和21/196，分别为10.7%)，吸烟较多(121/227，分别为53.3%和102/196，分别为52.0%)，流感疫苗接种较多(144/227,63.4%和102/196，分别为52.0%)。腹部和膀胱疼痛症状组(第1组)的西班牙裔患者(82/ 227,36.1%)、哮喘患者(64/ 227,28.2%)、酒精障碍患者(64/ 227,28.2%)和贫血患者(54/ 227,23.8%)的比例较高。皮肤或眼干涩组(5组)中抑郁症(64/ 196,32.7%)、糖尿病(28/ 196,14.3%)、体重减轻(27/ 196,13.8%)、溃疡(25/ 196,12.8%)的比例较高。关节痛胃痉挛组(4组)住院比例(65/ 158,41.1%)和机械通气比例(31/ 158,47.7%)较低。与一般研究人群相比，无症状组(6组)更年轻(18-44岁;70/ 85,82.4%)，男性较多(54/ 85,63.5%)，白人参与者较少(60/ 85,70.6%)，西班牙裔参与者较少(7/ 85,8.2%)，高收入参与者较多(18/ 85,21.2%)，吸烟者较少(26/ 85,30.6%)，流感疫苗接种较少(30/ 85,35.3%)，无慢性疾病参与者比例较高(45/ 85,52.9%)，住院风险极低(12/ 85,14.1%)。

‎ 查看此图

与COVID-19不良结局相关的症状组

我们从logistic回归模型中得出的结果，将症状组作为COVID-19不良预后的危险因素，并对所有社会人口学特征和共病条件进行了调整，显示以下3组与住院相关:腹部和膀胱疼痛组(组1;或1.5,95% ci 1.01-2.34);流感样症状组(2组;Or 3.33, 95% ci 1.97-5.79);皮肤或眼睛干涩组(5组;或1.63,95% ci 1.07-2.52)。无症状组与机械通气高危相关(表3)．

症状组中COVID-19住院的危险因素

最后，我们为症状组开发了5个logistic回归模型，以比较这些组之间COVID-19住院的危险因素(无症状参与者被排除在本分析之外)。这些模型的结果在至少一个症候组(图3)．危险因素在不同症状组的参与者之间存在差异。5组中4组唯一显著的危险因素是最后一个季节的流感疫苗(组1:OR 6.22, 95% CI 2.32-17.92;第2组:OR 2.35, 95% CI 1.74-3.18;第3组:OR 3.7, 95% CI 1.32-10.98;第4组:OR 4.44, 95% CI 1.53-14.49)。吸烟(OR 4.22, 95% CI 1.42-13.26)和哮喘(OR 5.14, 95% CI 1.53-19.56)是腹部和膀胱疼痛组(第1组)住院的重要危险因素。体重减轻是关节疼痛和胃痉挛组(第4组;OR 13.9, 95% CI 2.34-161.64)和腹部和膀胱疼痛组(组1;或7.05,95% ci 1.37-49.01)。糖尿病是关节疼痛和胃痉挛组的危险因素(第4组; OR 7.5, 95% CI 1.69-45.28).

‎ 查看此图

验证评估的发现

我们的研究结果与其他研究结果的比较可以在多媒体．在我们进行分析时，我们发现了3项系统综述或荟萃分析研究，描绘了COVID-19症状与不良后果风险的关系[19-21］．

我们发现本研究与以往研究的18个症状一致，其中6个与不良结果相关(腹痛、咳嗽、呼吸困难/呼吸短促、发烧、疲劳和呕吐)。此外，我们评估了14种以前没有被其他人研究过的症状，其中6种与不良结局(膀胱疼痛、眼睛干涩、皮肤干燥、食欲不振、癫痫发作和皮疹)相关。

讨论

主要研究结果

我们的研究结果确定了与COVID-19不良结果相关的个体症状和行为。其中，有些是众所周知的，有些是新的。我们还确定了6个症状组，其中3组与COVID-19的预后有统计学意义上的相关性。此外，这项工作的发现增加了我们对MTurk人群的了解，并表明通过预防措施，可以获得高质量的数据。

已知的单一COVID-19症状(即腹痛、咳嗽、发烧和呼吸短促)与住院有关[5，6］．膀胱疼痛、眼睛干燥和皮肤干燥等不太常见的症状也与COVID-19的不良结果有关。我们通过将结果与系统回顾和荟萃分析研究的结果进行比较，进一步验证了我们的发现。我们确定的与COVID-19不良结果相关的个别症状与这些研究中的症状一致。

我们对慢性疾病及其与COVID-19不良结果的相关性进行了分析，结果显示，既往存在哮喘、糖尿病、抑郁症和膀胱问题的患者住院的风险较高，这与之前的研究结果相似。尽管之前的研究表明，肥胖者患严重COVID-19的风险增加[34]，我们的研究没有发现肥胖者住院的风险显著增加。这一结果可能是由于我们样本中的参与者比其他研究中的参与者更年轻，导致肥胖和慢性疾病之间的联系较弱，而慢性疾病是COVID-19严重程度的实际驱动因素。

与之前的研究一样，在研究影响COVID-19不良结果的行为时，我们发现吸烟增加了严重COVID-19结果的风险[35-37］．目前吸烟者和戒烟不到一年的过去吸烟者住院的风险更高，每天吸烟者也有更高的机械通气风险。我们发现流感疫苗对不良结果的影响与其他一些研究的结果相矛盾。例如，以前有报道称，流感疫苗接种可被视为COVID-19严重感染病例的保护因素[38，39］．然而，我们的数据表明，在2019年秋季接种流感疫苗的COVID-19阳性受访者在调整人口统计学因素、慢性疾病和COVID-19症状后，住院和机械通气的几率更高，因为流感疫苗接种状况可能与先前存在的合并症和一个人的人口统计学有关。这不是一个孤立的发现，因为其他人报告流感疫苗接种率与COVID-19死亡率之间存在正相关[40]，一个国家的流感疫苗接种覆盖率是与COVID-19感染率较高相关的风险因素[41]，有必要调查流感疫苗接种对COVID-19风险和严重程度的潜在影响[42］．

除了研究个体症状和行为外，本研究还通过聚类分析确定了6个COVID-19症状组，并评估其与疾病不良结局的相关性。三个症状组(流感样症状、腹部和膀胱疼痛症状以及眼睛和皮肤干燥症状)与住院的高风险高度相关。虽然流感样症状组的受访者特征与一般人群的特征相似，但腹部和膀胱疼痛组的受访者收入较低，吸烟和接种流感疫苗的可能性更大。他们还往往患有慢性疾病，如哮喘和贫血，以及酒精障碍。眼睛和皮肤干燥组的调查对象普遍年龄较大，皮肤变白的可能性更大。他们也更有可能吸烟和接种流感疫苗。这一群体中抑郁症、糖尿病和溃疡的受访者比例也很高。

使用人工智能设备和机器学习根据聚类对患者进行特征描述是各种传染性和非传染性疾病中的一种开创性方法。使用科学方法来识别具有相似特征和特定疾病风险的患者群体可能会提高对症状异质性的认识，并可能使有针对性的干预措施降低疾病的严重程度。对COVID-19疾病轨迹的其他研究已经能够确定可以从特定卫生资源中受益的弱势人群群体，并为管理大流行的公共卫生目标提供了见解[43，44］．既往研究在COVID-19患者中确定了3个有症状组和1个无症状组[43］．然而，该研究没有分析症状组与COVID-19结果之间的相关性。我们对6个症状组的分析发现，不同症状组的参与者COVID-19不良结局的危险因素有所不同。对于新冠肺炎无症状人群，其他研究表明，无症状携带者占感染人群的15%至60%，在疾病传播中发挥关键作用[45］．增加了我们对无症状携带者的理解，我们的研究结果表明，无症状组的住院率较低;高收入的非西班牙裔年轻男性比例很高;有慢性疾病、吸烟和接种流感疫苗的人比例较低。这些特征增加了一项对无症状COVID-19携带者特征的回顾研究中所描述的特征，该研究发现，年龄本身就是无症状的一个重要因素[46-48］．另一项针对墨西哥门诊病人的研究发现，在无症状应答者中，吸烟者和流感疫苗接种的频率较低[43］．

在我们的研究中，住院患者中使用机械呼吸机的比例似乎很高(61.8%);然而，COVID-19住院患者的管理在大流行期间发生了很大变化。超过一半的研究人群曾住院，其中三分之二的人使用呼吸机。由于这项调查是在COVID-19大流行的头几个月进行的，许多感染COVID-19的人都住院了，然后接上了机械呼吸机。随着时间的推移，住院的COVID-19患者越来越少，在住院的患者中，只有病情更严重的患者才会使用呼吸机。其他研究也表明，住院COVID患者中使用呼吸机的比例很高(68%)[49］．

这项工作还表明，通过采取预防措施确保高质量的数据收集，可以使用众包模型收集数据，以表征COVID-19诊断和预后的症状。有许多研究评估MTurk上的健康数据作为高质量和快速收集的数据来源，并证明了良好的可靠性[30.，50，51］．然而，为了提高MTurk的数据质量，建议将“批准率”在95%以上的工人纳入其中，并将“批准的HITs数量”保持在至少100个[30.，31，51］．先前的研究没有通过比较试点研究中3个经验水平的调查反馈(根据批准的HITs数量)来调查员工的数据质量。通过开展试点研究，我们发现不同经验群体的员工的满意率没有差异;因此，都可以提供足够的数据来满足基本的批准标准。然而，对于需要更高认知能力的特定任务，经验丰富的工作人员可能提供更高质量的数据。在我们的案例中，我们发现点击数超过500次的用户提交的重复响应比点击数为100-499次的用户要少。虽然这可能会加剧超级工人问题，但根据任务的不同，为了使用更有经验的工人，可能需要权衡高质量的数据。为了进一步验证我们的发现，我们将与COVID-19相关的个别症状的发现与其他研究人员的发现进行了比较，并确定了许多一致的发现。

限制

本研究的一个主要局限性是自我报告的数据，它可能不如生理评估可靠。然而，我们的众包方法可以接触到许多参与者，这有助于减轻噪音，快速的数据收集过程在这次大流行期间也很有帮助。此外，在本次大流行期间，通过社交媒体和其他自我报告调查发现了COVID-19的许多风险因素[52-56］．为了使用这些数据源，众包实践在研究领域如infodemiology(定义为通过电子媒介实时收集和分析数据，目的是向公共卫生决策者提供信息)[57-59］．另一个不断增长的领域是数码流行病学，研究人员利用互联网数据进行流行病学研究[60-62］．获取相关真实世界数据的技术很有前景，但需要进一步发展，以应对未来可能的公共卫生挑战。其次，我们的一些发现值得进一步验证。我们的研究中首次报道的危险因素，如膀胱疼痛症状和眼睛或皮肤干燥症状，需要更广泛的研究，以便在临床评估中使用。此外，应进一步调查流感疫苗接种对COVID-19不良后果的影响，因为现在看来，即使在这次大流行之后，人类也将不得不长期与这两种疾病共存。

结论

我们的工作表明，众包方法在收集数据以评估与COVID-19相关的症状方面是有效的。进行初步研究以评估数据质量和人口代表性，有助我们完善最终数据收集策略的过滤标准。通过将评估与COVID-19相关的个体症状的结果与他人确定的症状进行比较，我们验证了我们的方法，并发现了高度一致的结果。在我们对症状组的评估中，我们发现膀胱疼痛和皮肤或眼睛干涩组的COVID-19住院风险较高。鉴于这些发现，我们认为，其他人应该考虑采用像这里提出的这种众包策略，以便对迅速变化的传染病谱系以及社会和环境因素进行快速和具有成本效益的评估。