自2019年12月以来，全球一直在抗击SARS-CoV-2 (COVID-19)。具体而言，荷兰于2020年2月发现了第一例病例，迄今已导致260万例确诊病例和1.9万人死亡[ 1］．为防止病毒传播，已广泛采用追踪策略和限制社交接触和保持社交距离的隔离措施[ 2］．但是，出现症状和确认检测结果之间的延迟增加了疫情期间的准备时间。对COVID-19相关症状和保持社会距离行为的持续基于人群的监测可能有助于在区域层面估算COVID-19病例的风险，使地方政府能够在早期阶段进行干预[ 3.］．

自大流行开始以来，已为各种目标实施了移动应用程序，如风险评估和决策以及自我管理和自我监测症状[ 4］．在英国和美国，基于自我报告的症状监测应用程序在使用基于症状的跟踪预测当地COVID-19传播方面显示出有希望的结果[ 5， 6］．门尼等[ 5]发现基于应用程序症状跟踪器的预测模型可以预测COVID-19检测呈阳性，敏感性为65%，特异性为78% [ 5］．其他研究表明，根据政府检测数据，通过移动应用程序收集的人口自我报告数据可以识别出75%的COVID-19发病率最高的地区[ 6］．最后，最近的一项研究表明，通过网络和移动应用程序收集的健康、行为和人口统计方面的纵向自我报告数据，可以充分用于构建预测模型，以识别潜在的COVID-19阳性病例[ 7］．上述文献强调了自我报告数据在基于人群的COVID-19跟踪和后续COVID-19热点预测中的效用，这最终可以帮助应对COVID-19大流行。

荷兰开发了一款基于智能手机的监控应用程序COVID雷达应用程序。该应用程序的目标是通过COVID症状的自我报告来预测未来的COVID热点地形，使地方或国家政府能够进行干预，例如通过通知公众或实施地方限制。该应用程序允许频繁匿名自愿自我报告与covid -19相关的症状和行为(只要求用户提供邮编、年龄范围、性别和职业)。这款应用程序是在2020年春天荷兰爆发第一轮COVID-19浪潮期间开发的。除其他功能外，该应用程序包含一份简短的监测问卷(≥20个问题)，要求用户自我报告其COVID-19相关症状、社交距离行为、COVID-19状态和疫苗接种状态。该应用程序还为用户提供关于他们报告的社交距离行为(例如，在1.5米内遇到的人数和在室外待的小时数)和症状的反馈，使他们能够将这些数据与全国以及特定地理区域内的平均值进行比较。自2020年4月应用程序推出以来，>已完成850万份问卷，>有28万独立用户，其中>有1.3万名用户平均每周至少完成两次问卷。COVID雷达应用程序可以被视为一个公民科学项目，因为它让公众参与科学过程，在这种情况下，在荷兰各地收集大量纵向症状和社会距离数据[ 8］．

之前的研究表明，COVID雷达应用程序是人群水平监测的有用和有效工具，并可能用于预测当地COVID-19热点[ 3.］．更具体地说，通过应用程序报告的自我报告阳性检测结果与政府报告的病例数密切匹配。此外，自我报告的COVID-19症状与阳性检测结果之间存在明显关联。在行为测量方面，在测试前几天，自我报告的阳性检测结果与社交距离方面的高于平均水平的风险行为之间发现了明显的关联(例如，家中有更多访客或1.5米内有更多人)。重要的是，已确定的症状、社交距离行为和测试结果之间的关联在用户参与度高的地区最为明显。因此，一个国家不同地区的高用户参与度似乎对任何使用自我报告症状和行为的预测模型的成功至关重要。刺激和提高公民对COVID雷达等基于人口的监测应用程序的用户参与度仍然具有挑战性。

荷兰卫生研究与发展组织资助了COVID雷达项目，该项目由一个多学科团队组成，旨在在荷兰发生COVID-19第一波疫情后开发一个基于流动性和行为的早期预警系统。本项目的方法结合了莱顿大学医学中心(LUMC) COVID雷达应用程序的人口监测数据中每个4位数邮政编码区域的症状和高风险行为的独特实时空间摘要，以及移动通信数据提供的汇总历史移动信息。该项目的目标之一是优化COVID雷达应用程序，丰富人口监测综合征和行为数据。COVID雷达应用程序和调查的优化目标是最终提高应用程序的可接受性、依从性和包容性，并为改进未来人口级别的健康相关应用程序吸取教训。这随后可以支持国家进一步升级和使用COVID雷达，并提高其用户群体的代表性。此外，这些目标随后可在设计国家监测自我报告数据收集应用程序时用作输入。

本研究的主要目的是确定COVID雷达应用程序的优化目标，以最终提高应用程序的可接受性、依从性和包容性。我们的目标是通过进行3个定性子研究来确定优化目标:(1)通过对新冠雷达应用程序的最终用户进行半结构化焦点小组访谈，收集和分析有关用户体验的深入信息;(2)分析自应用程序推出以来收到的所有终端用户发送给新冠雷达项目团队的电子邮件;(3)语言专家对低文化水平个人的新冠雷达应用程序进行审查和可用性测试。

所有3个子研究均为定性研究调查。第一个子研究包括对COVID雷达最终用户进行3次半结构化焦点小组访谈。第二个子研究包括对终端用户发送给COVID雷达项目团队的所有电子邮件进行定性分析。第三个子研究涉及专家评论和与文化水平较低的个人进行的个人可用性测试。关于每个子研究方法的更多细节可以在下面找到。

COVID雷达应用程序可免费用于iOS和Android系统，并可在2020年4月2日至2022年2月28日期间从苹果应用商店和谷歌Play商店下载。影片一上映，就展开了一场简短的宣传活动。首次使用的用户需要提供以下信息进行注册:(1)性别(男性、女性、其他或未指定)，(2)年龄(10年间隔从0到80，且类别≥80)，(3)职业(教育、医疗保健、餐饮业或1.5米内与人接触风险较高的其他职业)，以及(4)邮政编码的4位数字。

该应用程序由4个部分组成。第一部分是自我报告监测问卷。问卷的截图显示在 图1．问卷是动态的，这意味着问题的数量和内容可以根据与冠状病毒监测相关的新见解根据需要进行更新。例如，荷兰疫苗接种计划一开始，就增加了关于疫苗接种状况的问题。最终问卷共包含23个问题。当前问卷的完整版本载于 多媒体附件1．共有11个问题评估了COVID-19症状(如咳嗽、发烧和喉咙痛)，8个问题评估了社交距离行为，包括1.5米内的人际接触次数，过去14天内是否与COVID-19感染者接触过，某一天接待过多少访客，参与者是否检测呈阳性(是或否)，参与者是否在过去2周内接受过检测(没有，未经检验;我进行了检测，结果是我没有感染冠状病毒;我已经进行了检测，结果是我感染了冠状病毒)，并询问了关于COVID疫苗状态的问题。用户每隔一天会收到一条推送消息，提醒他们填写问卷，而不管用户是否已经填写了问卷。

COVID雷达应用程序的第二部分是更新部分。本节用于告知用户自我报告问卷的变化或告知用户COVID雷达数据的最新分析结果。

第三部分包含常见问题(FAQs)部分，在这里用户可以找到与应用程序信息相关的众多主题的信息(例如，应用程序的目标)，数据保护(例如，确切地收集哪些数据，以及为什么数据将保存5年?)，联系信息，以及如何完成问卷调查的说明(例如，哮喘时如何报告症状?)

第四个也是最后一个部分是雷达部分，在这里可以观察到用户报告的症状和社交距离行为的反馈。更具体地说，应用程序用户可以将他们自我报告的社交距离行为(例如，在1.5米内与之交谈的人数)和症状与当地其他用户以及该国的应用程序用户进行比较。关于社交距离行为的反馈是使用滑块提供的，从绿色到棕色，绿色代表 安全行为与红色相对代表 有风险的的行为。中提供了截图 图2． 图3显示每个地理区域症状的平均患病率，分为棕色(有症状的人很多)、绿色(有症状的人很少)和灰色(参与者不足，无法充分测量患病率)。

COVID雷达团队提供了应用程序用户向普通电子邮件地址发送反馈的可能性。此电子邮件地址已在常见问题部分的联系信息下发布。目标是使研究团队能够随后优化应用程序或尽快处理技术错误。2019冠状病毒病雷达团队在2020年5月至2021年6月期间收到的共1080封电子邮件被导出为文本文件，随后上传到Atlas。Ti软件(7.5.18版本)。为子研究1设计的码本用于电子邮件反馈的专题编码。

为了评估COVID雷达应用程序作为识字水平低的人的工具，荷兰健康差异专家中心Pharos开展了两类活动。第一项活动是由法罗斯公司的2名专家对自我报告监测调查表进行专家审查。根据欧洲语言共同参考框架，考虑到该语言需要达到A2或B1的语言水平，对所有文本进行了审查[ 12］．他们还根据可获取信息清单提出了修改文本的建议。检查表包含与信息的可访问性有关的相关信息，例如布局(例如，确保文本与背景之间有足够的颜色对比)、信息的用量(例如，在开头陈述最重要的信息并重复它)以及文本的措辞和可读性(例如，避免或解释难懂的技术术语或医学术语)。在专家评审结果的基础上，研究人员更新了自我报告监测问卷中问题的措辞。

第二项活动是对4个文化水平较低的人进行可用性测试。在一对一的网络环境中，4名参与者与来自Pharos的专家参加了一个1小时的可用性测试会议。在这个可用性测试中，参与者被要求执行任务，以检查导航是否简单和合乎逻辑。他们还被要求大声朗读文章，以便清楚哪些单词或句子难以阅读。此外，参与者还被要求用自己的话解释文章的意思。最后，通过询问参与者对遇到的困难的替代方案或可能的解决方案，要求他们对整个可用性测试过程进行反馈。可用性测试的结果由Pharos总结并呈现给相关的研究人员。

LUMC医学伦理委员会宣布子研究1和子研究2不属于《荷兰涉及人体受试者的医学研究法》的范围，并相应地颁发了无异议证书。子研究3由第三方组织(Pharos)认证和执行。这些研究的所有志愿者在参与前都签署了知情同意书。

为子研究1和子研究2开发和使用的代码本介绍在 表1．这8个主题分别是(1)用户友好度，(2)使用动机，(3)宣传和扩大用户群体，(4)监测问卷，(5)应用内部更新，(6)常见问题解答，(7)雷达部分，以及(8)推送通知。

共分析了1080封电子邮件;大约三分之一的电子邮件被编码为不相关，因为它们包括重复邮件、垃圾邮件、邮件广告或COVID Radar Facebook或Instagram账户的更新。大多数电子邮件都包含应用程序用户关于如何解释或回答自我报告问卷中的特定问题的问题( 表1，主题4:内容)。关于某一天5米内有多少人的监测问题，引起了许多用户的广泛反馈，表明他们认为准确估计这个值是不合理的。此外，用户还问了几个关于哪些联系人可以算作“5米以内的人”的问题:

另一个收到广泛反馈的监测问题是关于某一天某人在家接待了多少访客的问题。用户经常质疑是否需要将未满12岁的孙辈算作访客:

几封电子邮件载有关于监测问卷应列入的其他问题的建议。例如，很多人建议在2021年1月开始接种疫苗时增加关于疫苗状况的问题。另一个常见的反馈点是，自我报告问卷的回答格式不允许有任何细微差别。一些用户报告说，他们对自己的社交距离习惯感觉很糟糕，例如，由于他们是老年人或生病家庭成员的照护者:

此外，许多电子邮件包含了应用程序雷达部分的反馈( 表1，主题7:雷达部分)。这些问题主要包括如何充分解释地图中的数据，因为地图中的颜色并不总是与图例中的颜色相对应。此外，大量电子邮件包含关于社交距离行为问题的回答量表的评论，这些问题最初以滑块的形式格式化，导致用户发现滑块难以使用，往往导致报告的联系人数量不正确。在此反馈的基础上，滑块被替换为一个框，其中可以手动输入联系人数量，并且可以使用(+)和(-)按钮手动调整联系人数量。这导致大量的电子邮件收到积极的反馈。

根据来自荷兰健康差异专家中心的专家的输入，以及与文化水平较低的个人的可用性测试，确定了有关应用程序设计的几个优化目标。其中一个与改善颜色和颜色对比的使用有关，以提高字母的可见性。例如，在自我报告监测问卷中，用于给默认答案的方框上色的蓝色( 图1)与白色字母的颜色对比有限，有时会导致用户忽略默认的答案选项。关于设计的进一步优化目标是通过使用粗体或下划线来突出答案选项的差异，因为文化水平较低的用户可能难以区分略有不同的答案选项。一个可用性测试会议的参与者指出:

关于设计优化的其他产出是更明确地指导最终用户使用所有应用程序功能。例如，他们需要向下滚动查看更多问题，并且在完成最后一个问题后需要按“提交”。

关于文本优化，有时建议添加信息以提高对问题的理解。例如，有人建议我们定义“发烧”，因为不是每个人都知道这是由体温≥38°C定义的。此外，有人建议对文本进行一些简化，例如简化或详细说明“中等到严重的心理锻炼”。其他的文本建议包括写出“一米半”，因为文化水平低的人通常把1.5米读成“1到5米”。

共进行了3项定性子研究，并在应用程序的设计和内容方面确定了COVID雷达应用程序的众多优化目标。应用程序使用的便利性、应用程序体验的个人调整以及持续使用应用程序的动机是获得和维持使用COVID雷达等公共卫生监测应用程序的活跃用户群体的关键。这些信息可用于最大限度地提高用户对国家监测数据收集应用程序的满意度、依从性和参与度。

三项研究确定的优化目标包括突出的设计元素，例如使用足够的颜色对比以及使用更多的视觉效果和更少的文本来增加应用程序的用户友好性和相应文本的可理解性的重要性。子研究3的结果强调了提高(健康)识字水平较低的人阅读和理解文本的重要性，例如，根据《欧洲语言共同参考框架》使用A2或B1级语言[ 12并在目标人群中进行可用性测试。有限的(卫生)识字率是全世界普遍和普遍关注的问题[ 13- 15］．必须简化公共卫生服务和工具的使用和内容，以消除健康差距，并增加此类服务的包容性。高用户参与度和依从性对于基于人口的监测和相应的成功预测建模的基于web的监测工具的成功至关重要[ 3.， 16］．

虽然从文献来看，使用智能手机应用程序持续监测疾病的可行性和可接受性似乎很明显[ 17- 20.]，激励个人使用，特别是持续使用这些工具仍然具有挑战性。子研究1的结果表明，COVID雷达用户参与的主要动机是促进科学研究，更具体地说，是帮助抗击大流行。这与公民科学领域的现有文献一致，这些文献表明，公民科学项目的参与者有动力为此类项目的科学目标做出贡献[ 21］．此外，这些结果与Batson等人确定的社区参与科学项目的两个重要类别一致[ 22利他主义和集体主义。也就是说，参与增加另一个个人和一个群体的福利的动机。同样，子研究1的结果表明，应用程序用户渴望知道他们的数据被做了什么，应用程序内的更新告知他们最近使用COVID雷达数据进行的分析是继续使用应用程序的重要动力来源。这与Land-Zandstra等人的公民项目的结果一致[ 21]，表明参与者希望了解项目及其成果。我们的研究结果还证实，强调数据使用可以是支持个人参与公民科学项目的有效手段，如Rotman等人所示[ 23］．

提高用户粘性和动机的另一种潜在策略是融入说服性技术，如游戏化:在非游戏环境中使用挑战和奖励等游戏元素。虽然仍处于早期阶段，但初步证据支持使用游戏化来提高用户在关注(心理)健康和行为改变的互联网干预中的使用和参与度[ 24］．然而，游戏化对长期监测基于人群的监测应用程序的启动、坚持和参与的影响尚不清楚。最后，焦点小组访谈的结果表明，应用程序使用的便利性(即用户友好性和完成监测问卷所需的有限时间)和应用程序的个性化(即颜色、布局和提醒方面的个人设置)是试图最大化用户粘性和动机时需要考虑的其他重要因素。

子研究1和2的主要局限性与样本偏差有关;焦点小组的参与者很可能是积极性高于平均水平的应用程序用户，他们对项目和应用程序的态度更积极。同样，高参与度的应用程序用户可能更频繁地发送电子邮件反馈，而积极性较低的用户或对应用程序有负面评价或体验的用户可能已经停止使用应用程序，因此没有参与子研究1和子研究2。另一个潜在的限制是基于访谈的在线性质的选择偏差:由于焦点小组是使用Zoom进行的，因此还不熟悉该计划的潜在参与者可能会因此而决定不参加。为了减少这种偏见，我们为还没有使用Zoom经验的参与者提供了一轮练习。一位与会者利用了这个机会。NS可提供技术援助，但在3次焦点小组访谈中未要求提供技术援助。然而，我们不能说其他数字素养较低的潜在参与者没有被阻止参与。然而，子研究3的参与者之前没有使用过该应用程序;因此，他们对应用程序文本特征的反馈是没有偏见的，因为之前使用该应用程序的经验。此外，子研究1和3的结果可能在概括性方面受到限制，因为这些子研究的参与者数量相对较低(分别为N=14和N=4)。使用网络面试进一步包括全面评估肢体语言的能力。 However, the interviews were conducted via videoconference, so facial expressions could be read and interpreted by the interviewer. Therefore, it is not believed that this biased our conclusions regarding the focus groups.

一个自我报告的基于人群的监测移动应用程序似乎在关于症状和社交距离行为的全国研究中很有用。公民使用此类应用程序的主要动机与利他主义、集体主义有关，并希望在公共卫生监测工具的背景下帮助科学开发和改进移动自我报告应用程序。应用使用的便利性、应用的个性化以及激励因素是获取和维持活跃用户群体的关键，例如COVID Radar。在设计这样的应用程序和开发内容时，重要的是要考虑它对文化水平低的人的可访问性。这些结果不仅对COVID雷达应用程序的优化至关重要，最终提高其可接受性、包容性和依从性，而且在大流行期间的公民科学项目和公共卫生监测工具的更广泛背景下也具有重要意义。