基于条形码的数字平台增强COVID-19接触者追踪的应用程序使用和可用性:试点后调查和Paradata分析

简介

COVID-19大流行迅速从局部传播演变为在美国广泛和持续的社区传播[1］．大多数州最初都颁布了居家令，以遏制病毒的传播，学校和企业在大流行早期转向虚拟运营[2-5］．随着地方限制措施的取消，许多学校和工作场所都实施了新的变革，以确保安全返回工作岗位。这些调整包括佩戴口罩和保持社交距离的要求，以及实施每日健康检查[6-8］．

与许多其他传染病相比，COVID-19的无症状传播程度较高[9，10］．感染者可能不知道自己被感染了，如果他们没有采取良好的公共卫生措施(例如，定期洗手、戴口罩、保持社交距离)，他们可能与他人直接接触并传播病毒。因此，单靠症状监测的有效性存在一个明显的上限。人们普遍认识到，广泛的检测和有效的接触者追踪是应对未知传播的必要条件，特别是因为广泛分发疫苗的工作进展缓慢。

美国各地都不同程度地开展了接触者追踪工作[11-17］．当一个人被确认或怀疑COVID-19呈阳性时，接触追踪器将与该人面谈，并确定其在感染窗口期曾有过的任何密切接触者。在为每个指标性病例建立潜在接触者列表后，追踪者会与每个接触者联系，让他们了解自己的潜在接触情况，帮助他们找到附近的检测选择或提供有效的自我隔离咨询。

在病例迅速增加的州和县，对接触者追踪的需求往往超过了实施严格监测系统的能力。这为数字卫生工具的开发人员提供了一个机会，这些工具在大流行前已经越来越多地使用，他们可以重新调整努力，建立接触者追踪平台[18-22］．学术文献中描述了几种数字接触追踪平台[23-25]，更多的信息可以通过营利性科技公司获得[20.］．尽管这些工具使用了多种技术，但最流行的两种策略是(1)持续位置监控和(2)观察设备之间的蓝牙交互。由于这些平台的规模和开发者的商业动机，甚至在它们发布之前，它们就已经受到了关于数据所有权和使用的潜在隐私问题的严格审查。这些应用程序虽然简单实用，可用于追踪联系人，但很多人对此持怀疑态度，他们可能不希望分享如此精细的个人数据。

由于大流行的迅速出现以及很快出现的数字接触者追踪工具，很少进行正式研究来了解用户的优先事项和提高可用性。建模已应用于检测联系人追踪应用程序的接受率[26]，并提出了一些框架来评估这些应用程序的潜在可扩展性[27］．最近，一项调查研究指出了提高感知利益和自我效能的重要性，并指出了对隐私问题的感知障碍[28］．虽然这些发现在联系人追踪平台的初始设计中很有用，但这些研究都没有调查特定的现有应用程序。

我们之前介绍过另一种数字接触者追踪工具MyCOVIDKey，旨在补充现有的接触者追踪基础设施[29］．我们的主要动机是开发一种工具，在保留疗效的同时减少侵入性。该软件是一款适合移动设备使用的网页应用程序，基于反复的自我评估和基于条形码的位置“密钥输入”，用户可以扫描特定位置的条形码(图1)．系统会为用户分配一个“清楚”或“不清楚”状态，然后根据他们的风险和位置为他们提供个性化的建议。关于联系人追踪应用程序的开发、实现和实用的详细信息在其他地方都有展示，但很简单:在试点研究期间，创建了45个独特的帐户，进行了227次自我评估，用户在48个独特的地点(可能的71个地点)输入了1410个键[29］．

‎ 查看此图

在前面描述的MyCOVIDKey试点研究的结论中，我们分析了总体和个人应用程序使用数据，并要求用户提供他们使用应用程序的体验反馈。在本文中，我们对这些使用统计数据和用户反馈进行了分析;我们还介绍了我们为改进应用程序所做的后续调整。我们提供这些信息，以便准备实施数字接触追踪工具的公共卫生官员和正在构建这些工具的软件开发人员可以从我们的用户和他们的经验中学习。

方法

院校检讨委员会批准

本研究由范德比尔特大学机构审查委员会(#200976;2020年6月1日)。

初步研究设计

MyCOVIDKey试点研究于2020年6月17日至7月29日进行，以范德堡大学校园内一系列相互连接的科学和工程建筑为中心。在COVID-19大流行的这一阶段，除了需要研究人员在校园内进行的研究外，大多数工作都是远程进行的。

任何年满18岁、拥有联网移动设备的人都有资格参加。为了招募参与者，潜在用户通过张贴在参与建筑周围的传单和通过部门邮件列表分发给教职员工和学生的两封招聘电子邮件被告知正在进行的试点。在第一周结束时，一封电子邮件被发送到整个部门的电子邮件列表中，史蒂文森中心的传单也被更新，宣布引入每周20美元的亚马逊礼品卡抽奖活动。第四周快结束时，第二封电子邮件和发布的招聘传单的更新被部署到同一个电子邮件列表中，详细说明了每周抽奖奖从20美元增加到45美元，并增加了15美元礼品卡的二等奖。

为了激励用户参与，我们每周都会进行抽奖活动，每个用户的参与次数与该用户的应用使用情况相关。简单地说，用户每进行一次自我评估就得10分，每输入一次键就得1分;每个类别的积分上限为每周30分，用户最多只能参加60项抽奖活动(每周3次自我评估和30次输入)，并且在每周开始时重置积分。用户可以在web应用中查看他们的个人统计数据和抽奖点数的累积。通过点击主页上的“查看您的统计数据”按钮，可以查看一个模式弹出窗口，显示用户最频繁输入的位置和每周获得的抽奖点数。用户可以查看为平均每日和总时间输入生成的箱形图，以及平均每周和总时间扫描生成的箱形图，以便将其使用情况与MyCOVIDKey用户群的汇总和匿名数据进行比较。一个弹出窗口可以用来描述抽奖的积分系统。

帕拉塔收集与分析

这个词paradata本文中的数据是指收集到的表明用户如何使用应用程序的数据。这些信息包括带有时间戳的用户执行的操作和事件，并描述了用户与MyCOVIDKey网站交互的过程。公司内部建立了一个paradata库来收集应用程序使用数据。paradata库是使用JavaScript构建的，并使用AJAX(常用的异步HTTP请求库)支持“幕后”数据收集。每次加载页面或单击按钮时，以下信息都会异步发送到我们的数据库(不阻碍前端的用户体验):时间戳、用户操作、用户ID(如果用户使用有效的用户名和密码进行身份验证)、用户当前的PHP会话ID、发生操作的页面、用户的IP地址以及用户的设备和浏览器信息。当用户通过身份验证时，他们的paradata可以与其他用户的反馈和操作相关联(即，筛选和输入的结果)。

Postpilot调查

在研究接近结束时，参与者被要求自愿提供他们使用MyCOVIDKey应用程序的经验反馈。所有同意并参与MyCOVIDKey校园试点研究并提供经过验证的电子邮件地址的人都被邀请参加试点后的调查。在安全的研究电子数据库“研究电子数据采集”(REDCap)上托管了一项自定义调查，并在6周试用期结束时通过电子邮件向所有注册的MyCOVIDKey用户提供了一个单独的非公开链接[30.，31］．在调查网页上输入的数据直接存储在REDCap服务器上。该调查共有八个部分的59个问题，用户可以参考前面的页面来查看或修改他们的答案，直到他们提交调查。8个调查部分包括人口统计数据(5个问题)、COVID-19检测历史(3个问题)、系统可用性量表(每个功能10个问题，共30个问题)、对MyCOVIDKey的印象(12个问题)、对数字接触追踪工具和功能的印象(6个问题)以及针对MyCOVIDKey的开放式回答问题(3个问题)。人口统计数据包括年龄、性别认同、种族和校园角色(如学生、博士后研究员、教师或工作人员)。可用性采用系统可用性量表(SUS)来衡量[32］．SUS由10个陈述组成，例如“我发现MyCOVIDKey不必要地复杂”，然后使用5分制李克特量表对这些陈述进行排名，在李克特量表中，受访者被问及他们在多大程度上同意这些陈述(非常不同意到非常同意)。使用SUS评估MyCOVIDKey应用程序的整体可用性，并独立评估应用程序的输入和自我评估功能。SUS的评分方法是将每个答案转换为0-4分，将每个问题的总回答相加，然后乘以2.5。这会产生一个0-100的分数;68被认为是可用性的基准分数，低于这个值的分数被认为低于平均可用性。对MyCOVIDKey的印象也采用李克特5分制进行测量，参与者对诸如“我发现每两天进行一次筛查很容易”或“使用MyCOVIDKey对我的校园安全感有积极影响”等短语做出回应。所有短语都被积极编码，以确保所有问题的综合得分一致。为了确定一般接触者追踪和数字接触者追踪工具的印象，实施了一个二进制是/否系统，以确定一般用户对接触者追踪干预措施的重要性(例如，“您认为接触者追踪重要吗?”)、有效性、安全性、易用性以及时间和精力成本的印象。调查的最后一部分鼓励用户填写与个人MyCOVIDKey体验有关的自由回答问题，并为开发团队提供提高可用性的建议。 To encourage participation, participants who completed the survey were entered into a raffle for a US $50 Amazon gift card.

数据分析

在研究结束时，所有的数据都从MySQL数据库中导出。同样，所有的调查回复都是从REDCap导出的。使用箱形图、小提琴图和自定义Likert-style图分析分布。对用户注册数据进行线性回归分析。所有的分析和定量统计分析都使用Python中的统计包(即StatsModels, NumPy, SciPy)进行。所有的数据可视化都是在Python中使用常用的数值绘图包(即matplotlib, Seaborn)生成的。

结果

Paradata分析

User-Aggregated Paradata

在第一周，用户基础的有机增长迅速趋于稳定(图2)．MyCOVIDKey的用户群在使用的第一周就有机增长到14名用户，这是通过在参与的建筑物中张贴注册传单实现的。我们观察到第一封招聘邮件对新用户注册的影响最大，而第二封招聘邮件效果较差(图2(上))。在发送第一封招聘邮件的当天，又创建了6个用户帐户，到试点的第9天，用户基础达到32个帐户，到第18天，用户数量达到38个，之后8天保持不变。第二封招聘邮件的效果更有限，在接下来的一周内只增加了7名用户。

‎ 查看此图

中报告了相对于web应用程序启动日期的自屏幕和输入计数图2(中、下)，并在表1．在第一周，所有用户每天完成2.85个自我评估。在发送第一封促销邮件后，这一数字增加到每天完成5.58次放映，在发送第二封促销邮件后，这一数字基本保持不变(每天5.39次)。

在收到第一封促销邮件后，输入次数也出现了类似的上升，从每天13.1个输入次数增加到每天40.8个输入次数。在发送第二封电子邮件后，每天输入的次数下降到29.2次。

决定激励驱动应用使用的Paradata

我们评估了用户生成的paradata，看看是否有任何用户被认为是“高分寻求者”——主要对达到最大点数感兴趣的用户(图3)．具体来说，我们比较了每个用户的扫描次数和输入次数，以及用户点击“查看统计数据”模式按钮查看每周抽奖的次数。paradata显示，每个用户的统计模式的视图数量通常与其他应用程序功能(key-ins，多媒体附件1最高;自我评价,多媒体附件1底部)。在比较每个用户的登录数量(标记的颜色)时，也通常可以看到这种趋势。在不同的分析结果中，有两个明显的异常值:(1)一个用户浏览他们的统计数据的次数是第二高的用户的两倍多(即，使用筛选功能的频率高于平均水平)，但他们不经常输入;(2)一个用户的输入次数几乎是第二高的用户的两倍，进行相对较少的自我评估，并且只查看他们的统计信息几次。

‎ 查看此图

事件统计

在为期6周的MyCOVIDKey试点研究中，收集和分析了数据，以更好地了解接触者追踪平台的使用和可用性。在paradata中，45个用户总共记录了1270个独特的会话，并使用了114个不同的浏览器/移动设备组合。创建MyCOVIDKey帐户所需的时间是从第一次显示帐户创建页面到在我们的数据库中记录完整的用户注册的时间。整个帐户创建过程平均花费用户2.30分钟(SD 2.07)完成。一旦用户创建了一个账户，他们就会被要求完成初步的自我评估。每项自我评估的有效期为48小时，在使用应用程序的其他功能之前，用户需要完成另一次评估。平均而言，完成一次评估的时间为18.22秒(SD 20.04) (多媒体附件2，上)，放映间隔的平均时间为3.83天(SD 4.23) (多媒体附件2中心)。这是意料之中的，因为每次筛查48小时内有效。从用户启动模式扫描条形码的时间到弹出窗口关闭的时间，输入事件的平均持续时间为75.30秒(SD 97.89) (多媒体附件2,底部)。除去模式显示的任何实例，并且用户没有在某个位置扫描条形码，这些输入事件包括每次模式启动时平均3.17个输入(SD 4.59)。这表明大多数用户在同一会话中在多个位置扫描条形码。然后将这些差异与每个个体用户进行比较，结果显示个体用户主要反映了总体分布(多媒体)．

在研究期间，史蒂文森中心建筑群在有限的访问基础上运行;研究生和教师保持着交错的工作时间，每个研究小组的工作时间从每小时一班到隔天一班不等。因此，在这一天里，有几个人在不同的时间进出大楼。每次登录、输入和筛选都按照执行的星期几和时间进行分组，百分比的分布显示在图4．登录和输入都遵循了类似的趋势，它们都呈现出增长，直到周中达到峰值。值得注意的是，正如预期的那样，周末的活动很少。另一方面，周一放映的比例最高(58/227,25.6%)。一旦用户完成筛选，“清除”或“不清除”状态将持续48小时。因此，如果在周一完成了一次筛查，用户直到周三才需要进行另一次筛查，从而导致周二的筛查减少，两天后的周三再次增加。

‎ 查看此图

类似地，每次登录、输入和筛选都按照访问的时间进行排序(图4)．在上午9点达到峰值后，上午10点到下午4点之间的登录次数保持相对稳定，随后在下午晚些时候和晚上急剧下降。一致的登录是预期的，因为出于安全原因，服务器会在用户不活动20分钟后自动将其注销。在那之后，需要一个新的登录，在一个新的位置输入或完成筛选。超过一半的登录(61.5%)、按键(72.4%)和放映(68.28%)发生在下午1点之前，大部分发生在上午9点至上午10点(登录、放映和按键:分别为12.78%、14.98%和14.89%)。

用户统计数据和COVID-19检测

在试点期间的45名MyCOVIDKey用户中，有26人(58%)完成了试点后的调查;4个用户(9%)开始了调查，但没有完成。我们的调查对象主要是白人(24/ 30,80%)、女性(20/ 30,67%)和20-30岁(22/ 30,73%)(表2)．四分之三的用户(23/ 30,77%)认为自己是研究生。试点期间研究生入学比例高是意料之中的，因为范德堡大学的重新开放政策强调远程工作，这对教师和行政人员来说比参与实验室研究的研究生更容易实现。

虽然自我评估功能为用户提供了可能表明可能感染SARS-CoV-2的症状选择，但用户没有被要求提供有关他们在MyCOVIDKey应用程序中进行COVID-19诊断检测的经验或结果的任何信息。在试点后的调查中，我们询问用户是否接受过诊断检测，如果接受过，请提供诊断检测结果(表3)．在整个试点过程中，超过三分之一(11/ 30,37%)的用户接受了SARS-CoV-2检测，30%(9/30)的用户只接受了一次检测，7%(2/30)的用户接受了两次检测。一名用户(1/ 30,3%)表示，他们在试点期间的SARS-CoV-2检测呈阳性。

Postpilot调查

系统可用性评分

用户还被要求提供他们对MyCOVIDKey应用程序整体以及自我评估和输入功能的印象(图5)．使用SUS得分68作为可接受的可用性的阈值(红色虚线)图5) [32]，整个应用程序可以被认为具有足够的可用性(SUS 70)。筛选功能轻松通过了这一指标，中位数得分为80.0，最低四分位数得分为70.0。键盘输入功能在可用性方面表现得更加两极化;SUS得分范围较大，最低得分22.5分，最高得分100分。尽管它仍然超过了可用性的阈值，但关键输入特性具有最低的上四分位数分数(75.6)、中位数分数(68.75)、下四分位数分数(52.5)和最低分数。将每个用户的SUS得分与该用户的登录次数进行比较(多媒体附件4(上)、自我评估(多媒体附件4，中)，键入(多媒体附件4,底部)。对于整个应用程序和单个功能(自我评估和输入)，更频繁的使用和更高的SUS得分之间存在正相关。

‎ 查看此图

联系人跟踪应用程序的用户首选项

除了与suses相关的问题外，本研究还侧重于了解用户感知(图6)，使用李克特量表的一系列问题(非常不同意:1，非常同意:5)。用户非常同意这样的陈述，即每两天进行一次筛查简单容易;然而，大多数用户不同意增加放映场次。总体而言，用户认为用于试点研究的建筑物周围的MyCOVIDKey输入站的覆盖范围是合适的。在试验过程中，用户对输入的看法出现了积极的转变，43%(12/28)的用户同意或强烈同意在研究结束时输入感觉很自然，而开始时为25%(7/28)。很大一部分用户(12/28,43%)对MyCOVIDKey是否让他们在校园周围或他们访问的地点感到更安全持矛盾态度，不同意这些说法的受访者略多于同意的受访者。超过70%的用户(20/ 28,71%)同意或强烈同意，他们认为在使用MyCOVIDKey时，他们的健康信息是保密的。

‎ 查看此图

当这些分布根据用户提供的SUS分数被分成组时(多媒体)和登入次数(多媒体附件6)，整个李克特量表的分布基本相似。使用频率较低的用户大多自认为使用频率较低(多媒体附件6)，这种分布也倾向于应用程序的不太积极的评价(多媒体)．还有其他几个显著的区别;那些更频繁地登录应用程序并给出更高SUS得分的用户比那些更不频繁地登录应用程序并给出更低SUS得分的用户的分布更倾斜。例如，更多SUS评分低于可用性阈值的用户不同意或强烈不同意以下陈述:筛查是一个简单的过程，每两天进行一次筛查很容易，MyCOVIDKey输入站的覆盖范围是合适的，并且在研究结束时感觉输入位置很自然。当用户的登录次数多于或少于中位数时，这种分析是成立的。对应用评价较高的用户和频繁登录的用户对安全的印象更积极。

虽然没有明确要求用户将MyCOVIDKey与其他接触者追踪方法进行比较，但我们认识到，接触者追踪对公众来说是一种新现象;因此，我们试图了解用户优先考虑哪些功能(图7)．研究人群强烈表明，联系人追踪有效性(即平台准确识别潜在联系人)是最重要的价值主张，42%的用户(11/26)将其列为联系人追踪工具最重要的特征。其次是最小化工作量和时间，46%(12/26)和34%(9/26)的用户将这些特征分别列为最重要或第二重要的特征。相反，考虑到其他特征之间的权衡，MyCOVIDKey用户似乎优先考虑隐私。令人惊讶的是，65%(17/26)的受访者表示，更好地控制谁可以看到他们的信息或数据是最不重要的功能。

‎ 查看此图

在给予MyCOVIDKey较低SUS评分的用户中，用户偏好基本相同(多媒体)和不经常使用(多媒体附件8)．这种模式的一些有趣的偏差是，更多对应用程序的可用性评分低于阈值的用户认为隐私不那么重要，而把最少的努力列为他们最重要的偏好。相比之下，更频繁地登录MyCOVIDKey的用户更经常将最小化努力列为最低优先级。

直接用户响应MyCOVIDKey

虽然大多数研究后调查问题使用户能够从预定义的答案集中进行选择，但用户也就他们对MyCOVIDKey的最佳和最差部分的看法以及如何改进应用程序提供了开放式回答。开放式的回答聚集在表4．

在“MyCOVIDKey最好的部分”开放式回答中，用户表示，他们认为该工具是有目的的，是追踪接触者的合适选择。其他回复指出，该平台简单，可在预期地点访问，运行良好，并有反复的自我评估。还有两次提到了统计数据/类似游戏的心态，一次提到了礼品卡奖励。从“MyCOVIDKey最糟糕的部分”和“改进MyCOVIDKey”的回复中，有一个明确的指示，即将平台构建为原生应用程序(19个回复中有10个在“最糟糕”部分中指出了web浏览器，在“改进”部分中有20个回复中有12个特别要求将其制作成应用程序)。对于许多用户来说，这似乎是一个全面的回应，因为用户也指出了自动注销功能、开放的直接扫描功能、离线模式以及与其他位置服务的集成等方面的改进空间。一些用户表示，在携带东西时很难使用MyCOVIDKey，这对于在多个实验室做实验的化学研究生来说是一个明显的问题。这些用户和其他人指出，与其他定位服务集成或自我报告他们访问过的位置的能力将是一种有用的补救措施。尽管18个用户中有2个分享扫描工作良好，但一些用户(6/19)确实在输入键功能方面遇到了意想不到的问题。

讨论

在美国COVID-19大流行剩余时间内，接触者追踪将在战略防范和应对计划中发挥重要作用。由于有证据表明存在广泛的无症状传播，确定可能接触过的个体并对其进行适当的检测和隔离是减缓疾病传播的重要手段。随着病例数和死亡人数继续迅速增加，可以利用数字工具加强资源密集型的手动接触者追踪工作，有效地识别有接触风险的人。我们开发了MyCOVIDKey，以提供其他数字接触追踪解决方案的替代方案，这些解决方案使用持续的GPS和蓝牙监控，并有潜在的隐私问题。在这项工作中，我们专注于分析用户生成的paradata和试点后调查，以了解用户印象并制定改进路线图。

MyCOVIDKey的可用性

SUS评分用于评估平台作为一个整体以及它的两个主要功能。SUS提供了一个简单而客观的工具来评估基本可用性并确定需要改进的领域。MyCOVIDKey应用程序的SUS得分中位数总体上高于可接受的可用性阈值，尽管接近阈值。尽管密钥输入特性高于这个阈值，但它更接近于临界值，调查应答者对此特性表达了更严重的分歧。相比之下，重复的自我评估得分很好，超过75%的特定特征SUS得分认为其可用性是可以接受的。一般而言，通过应用程序使用更频繁地参与研究的用户报告的MyCOVIDKey每个功能的SUS平均得分更高。

除了SUS问题外，调查的特定部分还关注于了解用户对应用程序两个主要功能的印象。受访者表示，自我评估易于使用，简单且无创。这一点在paradata中得到了加强，它表明大多数评估可以在1分钟内完成。对调查的回应显示，用户对输入功能的看法更加两极分化，这也与SUS得分和paradata很好地吻合。

用户生成的paradata是理解应用中个人和聚合行为的重要工具。尽管paradata通常在消费者应用中被跟踪和分析，但在医疗保健相关应用中，它们的使用却很少受到关注。尽管受访者对MyCOVIDKey的输入功能的易用性提出了批评，但我们注意到它被频繁使用，并且数据表明用户能够相对快速地执行这项任务。然而，负面的调查反应很强烈，这可能反映了一个事实，即核心用户群体主导了应用程序的使用，并且可能对该功能不那么挑剔。

用户优先级

从我们的调查反馈中，我们确定了几个明确的用户优先级。我们的用户表示，数字联系人追踪工具的三个最重要的特征是:(1)准确追踪联系人的有效性，(2)不需要太多时间，(3)不需要太多努力。当有机会对自己的偏好进行排名时，用户将控制谁看到信息和安全列为数字联系人追踪工具最不重要的两个特征。考虑到围绕手机联系人追踪应用的讨论，这一结果令人惊讶;然而，在调查的公开回答部分也很少提及。此外，这一结果与之前发表的描述人们对联系人追踪数字应用态度的研究形成了对比[26，28］．我们的用户，无论他们如何对应用程序的可用性进行评分，也无论他们登录的频率如何，都表示他们认为他们的信息在MyCOVIDKey中得到了安全维护。从这个意义上说，这些回答可能反映了用户在试点研究背景下对MyCOVIDKey的具体意见，特别是在一个研究机构进行的，主要招收研究生和教师的研究，可能不能代表更广泛的人群。此外，由于化学系是一个相对较小的、独立的环境，参与者可能会更放心地考虑隐私问题，因为他们知道这项研究是在他们的社区内进行的。事实上，对隐私的担忧一直与大型营利性企业和科技公司有关，在任何数据泄露事件中，数据安全通常是消费者更大的担忧。

鼓励参与数字联系人追踪

人们普遍认为，数字接触追踪平台必须达到一个关键的用户数量才能有效。雇主或教育机构可以要求其雇员或学生使用这些平台，作为他们就业或使用这些设施的条件;然而，这一要求可能会引起不满，并对用户的看法和与联系人追踪团队的合作产生负面影响。无论如何，我们无法要求用户参与我们的试点研究。在经过一周的适度注册后，我们没有强制要求，而是实施了每周抽奖活动，以鼓励使用和继续使用MyCOVIDKey。任何给定用户的输入数量都基于用户在当周执行的输入和自我评估的数量，每个输入和自我评估都有上限，以最大限度地减少高分搜索者的影响。我们修改了试点研究的宣传传单，以宣布抽奖活动，并向部门的电子邮件列表发送了招聘电子邮件，以宣传这项研究和抽奖活动。在这个变化之后的三天里，创建的帐户数量增加了一倍多，我们看到输入和自我评估的比率至少增加了两倍。这种近似成比例的增长表明，使用率的增加与用户的增加有关，而不仅仅是由于抽奖活动导致以前用户的使用增加。由于抽奖活动与第一封营销电子邮件同时宣布，我们无法将两者的影响分离开来。

两周后，抽奖奖增加了，我们宣布了一个亚军抽奖奖，以(1)避免7月4日假期后的使用下降，(2)尝试进一步增加我们的用户注册。在此更改之后创建的新用户帐户数量非常少，并且使用率(包括每天的输入和自我评估)出现了惊人的下降。对此有几种可能的解释，包括用户注册饱和、个人工作时间表和流行病疲劳。不管原因是什么，这一结果确实表明，最初的抽奖动机是充分的。尽管有2名用户指出，他们喜欢MyCOVIDKey的功能是评分系统的激励或游戏化，但对数据的分析并不表明这是他们使用该应用程序的唯一激励因素。

很明显，第一封招聘邮件的使用激励机制对用户注册产生了积极影响。在考虑了研究期间的活跃用户数量后，筛选率和输入率的急剧增加主要是用户涌入的结果。第二封招聘邮件，尽管激励措施有所增加，但新账户注册人数并不多，自我评估和输入的使用率也有所下降。

随着潜在用户的数量(那些在试点期间一直在我们的研究大楼工作的人)保持不变，较低的注册人数可能可以用创新扩散理论来解释。我们可能已经抓住了早期采用者和早期大多数用户，在第5-6周时，我们开始接近后期大多数用户。有趣的是，第二封招聘邮件和更有价值的抽奖奖与每天的筛选率略有下降和更明显的输入率下降相吻合。

本研究的优势与局限性

这项研究是对数字接触追踪应用程序进行的首批严格试点评估之一。它是首批调查COVID-19接触追踪应用程序可用性的正式研究之一，目的是进行迭代改进。可用性分析结合了定量和定性的用户反馈。这项研究也是第一个比较用户生成的paradata和用户在移动健康(mHealth)应用程序中的调查反应的研究之一。这个有价值的工具提供了对可用性感知和实际使用模式之间差异的独特见解。

这项研究的主要局限性包括样本量相对适中，用户人口统计范围狭窄。这些弱点大多是间接的:在研究期间实施的社交距离要求和“在家更安全”的命令限制了校园的人数，我们预期的参与者库主要局限于我们研究地点史蒂文森中心的学生和教师。这导致我们选择了一群精通技术的年轻人。这确实限制了这项研究的总体概括性，因为这个人群可能比更广泛的人群更适应技术或目前可用的移动健康干预措施。这项研究的另一个局限性是，该研究于7月29日停止，并不是所有用户在完成调查前都使用了该应用程序整整6周。

MyCOVIDKey和其他数字接触者追踪应用程序指南

基于对调查结果和用户反馈的分析，我们建立了一套改进MyCOVIDKey平台的方向。MyCOVIDKey用户虽然人数较少，但对一个能够有效识别潜在接触者，同时最大限度地减少使用所需的精力和时间的平台表现出强烈的偏好。我们希望其他开发人员可以从我们收到的反馈中学习。

总的来说，反复进行的自我评估得到了用户的好评。它在调查中获得了很高的可用性分数和积极的反馈;此外，演习还表明任务可以很快完成。使用者表示倾向于不增加所需的自我评估的频率;然而，基于该特性获得的批准，这可能不是一个障碍。因此，我们对自我评估的重点将是增加与诊断测试和结果相关的问题。MyCOVIDKey试点项目的目标是快速部署用于beta测试的解决方案，并在预期的大规模推广之前确定改进措施。因为这可以在不分享个人测试结果的情况下完成，我们明确决定不向用户询问这些信息。然而，在可用的情况下，整合诊断结果的好处是显而易见的。这一信息具有很容易识别的效用，可以确认应用程序中显示症状的用户的阳性，同样重要的是，可以从接触追踪队列中删除SARS-CoV-2检测呈阴性的相关人员。 These questions were unnecessary during the pilot evaluation but will be critical in any broader release.

作为应用程序中最频繁执行的用户操作，我们将集中大量精力改进MyCOVIDKey的输入功能。用户表示，这是他们希望能够更快地执行的事情，一些用户表示，他们希望能够直接从主屏幕执行。此外，一些用户表达了对网络连接的担忧，以及这会如何阻碍他们使用key-in功能。所有这些问题都可以通过将MyCOVIDKey从移动友好的web应用程序转换为原生手机应用程序来轻松解决。虽然移动友好的web应用程序通常会模糊原生和web应用程序之间的界限，但很明显，在这种情况下，用户的偏好可以更好地由原生应用程序满足。事实上，从我们的调查反馈中，许多用户明确表示他们更喜欢原生应用程序，而不是基于浏览器的平台。

结论

在COVID-19大流行期间，数字平台在追踪接触者方面发挥着独特的作用。作为回应，我们开发了基于web的接触追踪应用程序MyCOVIDKey，并在为期6周的试点研究过程中对其进行了评估。在这项工作中，我们分析了总体和个人使用数据，并将其与试点后调查的用户反馈进行了比较。我们能够获得量化数据，以了解如何以及何时使用MyCOVIDKey，以及用户对应用程序不同组件的感受。尽管应用程序及其各个功能的可用性得分都可以接受，但这项工作清楚地表明，用户优先考虑接触追踪的有效性，以及最少的时间和精力需求。这些反馈为我们提供了一个清晰的蓝图，指导我们在扩大推广之前如何改进我们的应用程序，同时也为其他数字联系人追踪工作提供了指导方针。