TIM被设计成一个简单的、低资源的工具来实现。在美国目前使用COVID-19应对措施的背景下，疾控中心TIM团队招募了公共卫生官员(即“管理员用户”)，他们可以在其管辖范围内创建“运动”——在其中招募参与者进行监测的短信工作流程。中显示了日常消息的典型活动工作流 图1．

TIM监控症状的人员(即“参与者”)在管理用户指定的监控期间每天会收到两条或多条短信。如 图2，发给参与者的短信包括有关他们是否有与COVID-19一致的症状的问题，并要求回答“是”或“否”。当参与者回答“YES”或“SYM”(即症状)时，TIM会生成警报。TIM可以读取确认遇到症状并生成症状警报的其他响应变化(例如，“Y”、“是”或“症状”)。如果与会者在设定的时间内没有回复第一条消息，TIM将发送后续提醒。如果参与者没有在预设的时间内对提醒文本做出响应，TIM将创建一个未响应警报。仪表板功能允许TIM管理用户登录、跟踪并跟踪报告症状或未能响应的参与者。管理员用户可以在仪表盘之外查看警报，如果他们选择接收警报的电子邮件通知。参与者可以在任何时候通过发送“退出”、“结束”、“取消”、“取消订阅”、“删除”、“退出”、“OPTOUT”或“停止”来选择退出TIM。管理员用户还可以在任何时候停止消息，或者可以通过仪表板设置监控周期的特定天数。如果参与者向TIM发送意外响应，系统将发送标准响应，以提示参与者发送适当的响应(例如，“您已加入文本症状监控程序。 If you develop symptoms, reply SYM.”).

管理用户可以自定义其TIM活动的技术属性(例如，监控天数、语言选择以及初始消息和提醒消息之间的时间限制)，这反映了本地定制的能力。TIM允许多个具有访问权限层的管理用户控制不同用户级别的交互，这些用户级别是专门为管理系统的状态级和本地级视图而设计的。

2020年5月1日至12月29日期间，共开展了682项TIM活动。这包括来自20个州142个公共卫生机构的1479名工作人员，他们被指定为TIM管理员用户，以及美国各地注册为TIM参与者的97184名个人。每日平均监测人数为6838人。在2020年11月28日至12月4日这一周(即本次评估数据收集的第一周)，报告症状的参与者每周平均为3.8%，对警报无反应的每周平均为17.4%。

为了验证该工具，我们对TIM管理用户的样本进行了7次半结构化、开放式、60分钟的电话访谈，对调查问题进行了试点。验证阶段和在线调查的合格受访者是TIM管理用户，他们与至少在访谈或调查完成前2周建立的当前或以前活跃的活动有关。基于TIM支持团队的管理数据，我们对7名使用TIM的经验丰富的管理员用户进行了电话采访(参见 多媒体附件1访谈仪)。我们将验证阶段的见解纳入调查( 多媒体附件2)，通过REDCap(研究电子数据捕获)部署给管理用户。REDCap是一个安全的、符合健康保险携带和责任法案(HIPAA)的基于web的应用程序，由范德堡大学开发，由CDC用于捕获研究数据和创建数据库。

TIM支持团队通过电子邮件向所有管理用户发送调查邀请(n=1479)。匿名调查大约需要15分钟才能完成，正如介绍页面所示，每个机构都有多个管理员用户有资格回答。没有提供调查完成的激励措施。受访者指出了他们所在的州和机构名称。调查邀请受访者回答有关以下主题的问题，所有问题都是可选的:入职过程，使用TIM的决定，使用TIM生成的数据和报告，使用TIM的技术挑战，TIM的效用，以及对TIM和用户支持的满意度。该调查还包括两个问题，促使受访者为他们的机构报告以下情况:受监测的人口和TIM的使用情况。受访者可能曾在一家有多个活动的机构工作过;我们试图收集关于某一特定机构的所有活动的信息。调查问题类型包括“检查所有适用的”，是或否，多项选择，李克特量表和开放式问题，以收集定量和定性的反馈。例如，我们要求受访者通过一系列关于成本、人员配备要求、工作时间、招募参与者的负担、可监控的参与者数量、数据准确性、数据完整性和数据及时性的问题，将TIM与TIM之前使用的最新系统进行比较。 Participants rated these on a 5-point scale with a neutral response option in the middle (ie, “the same”). We categorized “better” and “somewhat better” responses as “favorable,” and we categorized “somewhat worse” and “much worse” responses as “unfavorable.” The data collection period ran from November 28 to December 21, 2020. A copy of the survey questions is presented as 多媒体附件2．

定量数据在SAS 9.4 (SAS Institute Inc)中使用标准分析技术进行分析，包括基本描述性统计。分析的主要单位是应答者(即管理用户)。对于TIM使用的分析，我们报告机构作为分析单位，因为TIM的使用是一个机构级的决策。我们还试图辨别不同类型的机构和被监测的人群是否存在差异，因为这些信息可以用于改进应用程序，以更好地满足管理用户的需求。由于样本量低，使用粗频率和Fisher精确检验来确定机构类型或监测人口方面的统计差异。当差异有统计学意义时，我们报告统计检验的结果( P< . 05)。因为所有问题都是可选的，所以数据缺失。因此，分母因问题而异。

通过开放式问题收集的定性数据输入单独的数据集进行编码。研究小组的两名成员使用归纳方法对提取的定性数据的子样本(即约占所有提取内容的10%)开发了一组初始代码[ 19］．然后，两位编码员独立编码数据样本，每周开会两次，以协调编码内容，并更新他们的代码列表和定义[ 20.］．重复此过程，直到码间一致达到84% [ 19， 21］．从那里，一个编码器完成编码剩余的定性数据(即，大约三分之一的总样本)。然后两位编码员进行内容分析，以确定那些最突出的主题[ 22］．为了更好地理解主题的突出性，编码人员根据调查对象的数量和独特机构的数量，量化了数据集中主题提到的频率。我们还评估了模式是否因机构类型而异。

疾病预防控制中心确定数据收集是非研究;因此，没有根据适用的联邦法律和CDC政策进行人体受试者审查。《减少文书工作法案》适用，但获得了公共卫生紧急情况豁免。

关于知情同意，调查主页包括了关于数据收集原因、自愿参与、不可识别的调查结果报告、调查完成时间长短以及与TIM或调查联系的介绍性信息。没有同意的文件。

在2020年11月28日至12月21日的数据收集期间，18个州的67个机构积极使用TIM。目前共进行了180次监测运动，监测了10 414名参与者。

在1479名admin用户中，有100人(6.8%)做出了回应。在这100名受访者中，有2人(2.0%)因未成立宣传活动而不符合资格。我们还发现了1个(1.0%)完整调查的不完整副本。这3个(3.0%)记录被删除，结果是97个受访者的分析样本，代表43个不同的机构。在97名受访者中，11名(11%)没有具体说明他们的机构名称。具体来说，2名来自佛罗里达州的受访者被分配到单个“florid_unspecified”组，9名印第安人健康服务(IHS)受访者被分配到单个“IHS_Unspecified”组。

个人管理用户的回复率很低(100/ 1479,6.8%)，这可能是由于许多用户从未访问或使用该系统，或者由于地方一级公共卫生人员的频繁离职。我们无法通过平台开发人员提供的管理数据追溯确定特定时间的“活跃管理用户”。然而，我们能够确定一个机构级别的反应率，它更高。30.3%(43/142)曾经使用过TIM的机构的工作人员作出了回应，而在收集数据时积极使用TIM的机构中，64%(43/67)的工作人员作出了回应。

受访者代表了公共卫生机构的不同样本( 表1)．几乎所有受访者都是TIM的当前管理员用户，略超过三分之一的人表示使用该系统的时间为3个月或更短。使用TIM的平均月数为4.5个月(SD 2.55)，范围小于1 - 10个月。虽然只有39%(37/94)的受访者表示，他们是其机构内TIM的主要或次要联络人，但大多数人负责管理TIM的一个或多个功能(例如，活动、参与者、警报、用户功能以及数据和报告功能的管理)。

如 表2，受访者表示，采用该技术最常见的原因是能够监测大量人口，而且TIM是比电话筛查更好的选择。与来自州和地方机构的受访者相比，来自IHS和部落国家机构的受访者更频繁地表示，采用TIM的理由是面对面筛查的更好选择(20/ 40,50% vs 9/ 40,23%; P= .02点)。

我们按机构而非个别受访者报告TIM的使用情况( 表2)．我们发现了各种用途和被监测的人群。就监测的人群而言，各机构报告称，使用TIM专门监测工作人员、社区成员或两个群体的疾病。

各机构最常使用TIM监测社区成员中病例接触者的症状发展，其次是工作人员和病例接触者之间的症状发展。各机构还报告说，利用TIM监测工作人员和社区成员中COVID-19病例的症状恶化情况。另一个报告的用途是监测社区成员中病例接触者的症状发展。

联邦机构(3/ 3,100%)、IHS和部落国家机构(12/ 19,63%)最常使用TIM监测工作人员中症状的发展，而州和地方机构(18/ 21,386%)最常使用TIM监测病例的社区接触者以监测症状的发展。

在使用TIM进行症状监测的同时，各机构报告使用电子表格、机构或个人电话、亲自筛查、笔和纸、接触追踪软件、数据分析软件，而没有其他工具。

大多数受访者表示在TIM之前使用了另一种监控系统。这些系统包括亲自筛查和其他接触者追踪软件或症状监测应用程序( 表2)．如 图3，在使用过以前系统的受访者中，与他们使用的以前系统相比，大多数人对TIM的整体评价良好;11名受访者对所有问题都表示“我不知道”。TIM在数据的及时性、时间负担、工作人员负担和监测大型人口规模的能力方面，与以前的系统相比最为有利。与TIM相比，受访者表示，他们之前的系统需要更少的努力来招募参与者，并产生更准确的数据。

与IHS和部落国家机构相比，州和地方机构更倾向于认为TIM有利于监测更大的人口(19/ 23,83% vs 10/ 23,43%; P= . 01)。

如 表2，大多数受访者报告说，TIM确定了出现COVID-19症状的参与者和后来被确认为病例的参与者。受访者表示，TIM能够及时识别出有症状的参与者，要么“非常如此”，要么“很多”，要么“有些”。

受访者被问及一系列关于使用TIM的技术挑战和担忧的开放式问题。 图4显示内容分析期间出现的突出主题。报告中最常见的问题包括TIM界面缺乏所需的功能(34名受访者中有67人提到)，员工或时间负担(29名受访者中有43人提到)，以及不可靠的手机或服务，有时可能完全不可用(36名受访者中有43人提到，31名受访者中有40人提到)。

最需要的功能增强是能够自定义活动时区，通过电子邮件或短信接收症状警报，以及随时从活动中删除或移动参与者。参与者报告称，招募大量参与者的工作增加了时间或人员负担，并且难以在未响应警报产生的多页数据中进行排序或导航。在报告“不可靠的手机服务”的独特机构中，略超过一半(10/ 17,59%)是IHS或部落国家的附属机构。此外，在报告“手机不可靠或不可用”的独特机构中，超过一半(12/19,63%)是IHS或部落国家的附属机构。

一些主题在数据集中同时出现，表明报告的挑战之间存在潜在的关系。略少于一半(19/ 43,44%)的“时间或人员负担”与“界面缺乏所需的功能”同时出现。此外，近一半(7/ 16,44%)的“未收到或发送的短信”与其他主题同时出现，即不可靠的手机服务(4/ 7,57%)和不可靠或不可用的手机(2/ 7,29%)。

CDC提供了入职支持，包括发送欢迎电子邮件介绍TIM，进行TIM定向和演示，以及提供TIM用户指南和常见问题(FAQs)。疾控中心还配备了一个帮助台，在管理用户建立活动后为他们提供日常支持。在向TIM支持团队提交技术支持请求的受访者中，大多数受访者表示，他们对TIM支持团队及时回应他们的技术支持请求感到满意( 表2)．

调查还收集了受访者是否会向他人推荐TIM进行症状监测的数据。大多数受访者(76/ 85,89%)表示，他们会高度或一定程度上推荐TIM，而少数受访者表示中立(6/ 85,7%)或不鼓励其他人使用TIM(3/ 85,4%)。这没有因机构类型或监测的人口而异。

对紧急公共卫生应对活动的评估可以为应对人员和决策者提供关于成功和有待改进领域的及时和可采取行动的见解。在应对COVID-19的背景下，美国疾病控制与预防中心鼓励州和地方卫生部门实施和使用评估结果，从戴口罩到学校的COVID-19缓解策略。出于同样的目的，对TIM的评估有助于支持在当前COVID-19大流行期间扩大使用TIM，并为未来突发公共卫生事件期间使用TIM提供指导。评估还为确定特定系统增强的优先级以更好地支持TIM管理用户的实现提供了证据。

总之，回答调查的管理员用户代表了IHS、州卫生部门以及地方或县卫生部门。由调查受访者代表的机构使用TIM专门监测工作人员，监测社区成员，或两者兼而有。管理用户机构最常使用TIM监测社区成员中病例接触者的症状发展，其次是工作人员和病例接触者之间的症状发展。各机构还利用TIM监测COVID-19患者在工作人员和社区成员中的症状恶化情况。与之前的监测系统相比，大多数受访者对TIM的评价更高。大多数受访者认为TIM在时间负担、工作人员负担、数据的及时性和监测大量人口规模的能力方面是有利的。TIM与其他系统相比，在招募参与者的努力和数据的准确性方面具有负面影响。大多数人会强烈或某种程度上推荐TIM给其他人进行症状监测。

TIM旨在帮助及时发现、治疗和预防COVID-19等具有大流行潜力的病毒的传播。被动监测方法可能会遗漏感染，而其他主动监测策略，如面对面或电话筛查，可能非常耗费时间和资源。这项评估支持了在农业博览会猪流感爆发期间使用TIM的初步研究结果[ 17］．在该用例中，TIM成功地在4周内监测的392个人中确定了两个病例。Stewart等人[ 17报告称，他们发送了两种类型的短信:一种使用正式语言，另一种使用非正式语言。非正式版本与更多的工作人员随访时间有关，因为虚假警报和无法识别的文本回复。为COVID-19应对部署的TIM版本为管理用户提供了自定义TIM活动正式程度的灵活性，但也默认系统使用更正式和直接的语言，以避免像猪流感爆发期间那样遇到类似的监测挑战。在本次评估中，没有受访者表示参与者难以理解预期的文本回应。

像TIM这样基于短信文本的系统是需要大量公共卫生资源的大型疫情调查的重要工具，因为它们不仅可扩展，而且具有成本效益。这些系统比移动应用程序更容易使用，后者可能需要下载，更适合技术熟练的管理用户，并可能引发隐私问题。 23］．有趣的是，新的管理员用户通常会创建一个活动，并在获得平台访问权限的1到2周内开始将参与者纳入TIM(个人交流，CW)。受访者经常报告社区成员和工作人员的使用情况，反映了TIM的灵活性;事实上，一些管理用户机构为不同类型的参与者实施了多个并发活动。机构使用TIM监测参与者症状的发展，以及确诊COVID-19病例症状的恶化情况。TIM通常与其他支持工具和活动一起使用，也被集成到其他项目暴发应对行动中，例如接触者追踪。

根据受访者的说法，TIM不仅成功地识别了有症状的参与者(其中一些人后来被确定为COVID-19确诊病例)，而且还及时地识别了这些参与者。调查结果表明，管理用户普遍对TIM感到满意，与以前使用的系统相比，TIM更令人满意，特别是在成本、数据的及时性、数据完整性、员工负担、时间负担和监控大量人口的能力方面。这与澳大利亚在2013年家禽养殖场禽流感爆发期间实施的一个短信项目的评估结果相似，该项目旨在监测受感染个体的症状发展。研究发现，与电话跟进相比，透过短讯短信进行监察所需的时间较短，成本效益亦较高[ 9］．TIM在招募参与者的努力和数据准确性方面被评为不太有利。我们没有在测量仪器中定义“准确度”一词。然而，试点访谈反映出，一些管理用户担心，与通过电话与监控人员交谈相比，被监控的参与者可能不太可能通过短信准确地报告他们的症状。鉴于调查对象可能对“准确性”一词有不同的理解，我们无法得出结论。这可以通过当前TIM管理用户进行探索和验证。

TIM与其他基于COVID-19文本的系统类似，需要资源和工作人员的时间来监测每日报告，以进行后续跟进、监督和数据保护措施[ 14， 15］．我们的定性调查结果强调了受访者在TIM方面的特殊挑战，包括缺乏界面功能以及手机和服务接入。CDC对TIM所要求的最可行的接口增强的实现可能会减轻一些工作人员的时间负担。由于大多数提到“短信未收到或发送”的受访者还报告了手机和服务访问问题，因此消息中断可能来自TIM平台之外。

一些受访者表示，需要建立多个系统来确保100%的捕获(例如，使用电话来增加文本)。虽然这可能是全面参与的必要条件，但对大多数参与者来说，直接发短信可能是最理想的机制。对美国缅因州使用的COVID-19短信系统进行的评估发现，同意通过自动化系统进行监测的大多数参与者更喜欢直接短信(60.2%)，而不是短信weblink(21.15%)、电话(7.8%)或电子邮件weblink (7.3%) [ 15］．本次评估的绝大多数(89%)管理用户受访者表示他们对TIM总体满意，并报告说他们会推荐TIM用于管理症状监测活动。

调查还收集了有关管理用户对技术支持问题和请求的体验的数据。CDC TIM支持团队由一名全职技术主管、一名全职技术协调员、一名50%时间的数据分析师和一名25%时间的高级主管以及应用程序承包商组成。该小组大部分由应急行动中心应急人员组成，他们的人员流动率很高，需要定期培训。团队为新的、潜在的管理用户提供指导和入职帮助;更新和共享培训材料;主持TIM问答环节;每天回复技术支持请求。受访者绝大多数都对TIM支持团队提供的支持以及为入职提供的文件指导感到满意。这说明了在开发旨在供不同受众使用的SMS文本监控服务时，支持人员的本质。

基于这些发现，我们为TIM平台和其他考虑使用基于短信的工具进行症状监测的平台提供了一些建议。首先，为仪表板提供可替代的交付机制，例如用于查看症状警报的文本消息，可以通过消除管理员用户登录TIM以查看TIM仪表板上的警报数据的需要来改善用户体验。虽然TIM支持电子邮件警报，但此选项仅限于允许一个管理用户能够接收症状警报和无响应警报。

其次，通过突出调查受访者报告的TIM的比较优势，可以更好地向其他潜在的管理用户推广TIM。此外，CDC可以澄清TIM的可定制性目前的局限性，并在管理用户登录过程中提供指导，以评估该工具对某些人群的适当性。例如，在蜂窝网络覆盖较差的农村地区，或者人口缺乏移动电话的地区，管理员可能希望考虑部署解决这些情况的替代或补充系统。在一些突发公共卫生事件中，可能有理由向缺乏此类设备的个人提供移动电话，并且只需要在有限的时间内监测症状[ 24］．在更大的范围内，公共卫生当局开展日常公共卫生接触者追踪和症状监测的必要能力突出了包括扩大移动服务在内的农村基础设施的价值[ 25］．

未来对TIM的评估可以包括定量指标的比较，反映TIM与基于电话筛选或亲自访问的替代和现有系统之间的留存率、准确性和成本。我们还建议采用持续的项目评估实践来评估和应对实施差距。未来的评估也可以扩大到包括参与者使用TIM的经验。此外，TIM团队可以使用管理数据实时标记问题。例如，多个未响应警报可以表明与会者没有接收文本。此外，TIM团队可以对帮助台票据进行分类和标记，以优先考虑增加功能或培训的潜在领域。与此类似，这项评估和其他评估[ 16]强调了与TIM等工具的主要和次要用户接触以验证假设和理解用户观点的重要性。最后，不再使用系统的TIM管理用户群也可能是收集用户体验反馈和停用原因的重要受众。虽然这项研究确实试图招募这些人，但以前的管理用户很少有回应;因此，很可能需要有针对性的招聘工作。

这种评估有一些明显的局限性。虽然就机构级别的代表性而言，调查回复率较高，但所有当前和以前TIM管理用户的低回复率(6.8%)可能会引入偏见，因为调查受访者可能与非受访者分享不同的意见。反应率低可能是由于在第一个高峰期间加上假期期间，COVID-19应对工作人员的工作要求高，人员流动率高。此外，每个机构都有多个管理用户有资格回应调查，这可能会引入抽样偏差。然而，一个机构可能有多个正在进行的活动，每个活动都可能由该机构的不同TIM用户管理。本文中提供的数据并不适用于所有过去或现在的TIM管理用户。此外，该调查的横断面设计和单一数据收集点也排除了对COVID-19大流行期间各时间点的分析。

该调查是与所有当前和以前的TIM管理用户共享的，因此必须适应TIM实现的不同熟悉程度和专业知识。因此，很大比例的受访者(高达36%)报告了“我不知道”的回答，这些问题将TIM与以前使用的系统进行比较，并从分析中删除。目前还不清楚为什么这么多参与者对这些问题做出这样的回答，但一些潜在的原因包括负责TIM行政活动的有限方面;没有接受过系统特定功能方面的培训，或没有相关经验;并且缺乏对之前使用的系统或替代系统的了解。

大多数受访者是一家机构的单一调查受访者(n=27)。来自一个机构的多个受访者的大多数其他实例仅限于2、3、4、5和6个受访者(n分别为9、1、1、1和1)。然而，有3个机构具有较高的代表性:佛罗里达卫生部(n=17)，“IHS_Unspecified”(n=9)和疾病预防控制中心(n=9)。由于佛罗里达州在州一级管理县级卫生部门，我们怀疑来自佛罗里达州卫生部门的报告隶属于州的受访者实际上在县一级工作。在代表“IHS_Unspecified”的9名受访者中，有8人来自四个不同的地区。然而，来自同一机构的受访者有可能是相似的，从而导致结果偏差。由于样本量有限，我们无法进行类内相关。

此外，由于TIM管理用户协议禁止CDC访问这些数据，CDC无法获得一些重要的管理数据元素，这些数据元素本可以帮助我们更完整地了解症状和无响应警报率。TIM允许偶尔使用(即允许管理用户随时开始和停止使用)，这意味着许多注册的管理用户可以选择在短至几天或几周的时间内监测症状，可能永远不会再使用该平台。因此，一些管理员用户可能难以实现或观察到所研究的一些结果(例如，与其他系统的比较和COVID-19病例的识别)。

当病例数减少时，当更密集的接触者追踪工作恢复以使传播率降至零时，TIM可以继续在州和地方卫生部门的COVID-19应对工作中发挥宝贵作用。TIM有可能用于covid -19疫苗接种后的安全监测。它还可以应用于其他具有有限时间症状监测特征的大规模传染病暴发，如禽流感。除传染病暴发应对外，TIM的其他可能用例包括监测疫苗接种的不良反应、药物依从性以及某些慢性疾病或物质使用障碍患者的健康和症状。虽然TIM等工具的潜在用途是无限的，但评估对理解用户体验的作用仍然是确保其成功实现的关键。