WEDSS是一个安全的基于网络的系统，旨在促进传染病的报告、调查和监测，其中包括自2020年1月以来的COVID-19数据。WEDSS涵盖了整个威斯康星州，但这项研究是与麦迪逊和戴恩县公共卫生部门(PHMDC)合作进行的，后者是威斯康星州人口第二大县。我们从WEDSS中提取结构化和非结构化字段用于分析，包括来自县级数据的文本字段，其中包含来自病例访谈表格的相关接触者追踪字段。病例访谈表包含以下部分:(1)症状;(2)实验室和临床资料;(三)医疗条件;(4) COVID-19风险，包括旅行风险;(5)居住和职业设置;(六)潜在的病源;(七)隔离检疫措施; (8) facility intervention; (9) contact-tracing details; and (10) investigation notes. The text fields included addresses for businesses, facilities, and schools where the exposed individual may have entered or worked. The investigation note field was the longest text field with a median token count of 127 (IQR 67-233) and frequently included dates and names of places visited by the individual during their exposure period. For the pipeline development, 26 structured and unstructured text fields from WEDSS data extracts were concatenated into 1 document as input into our language model. There was 1 document per case, and model runs were at the case level. Postprocessing of the named entities included the removal of frequently occurring named entities (ie, “Wisconsin,” “GMT”) identified from 12 months of posttesting case interview forms and removal of duplicate named entities.

确诊病例是按照检测日期筛选的SARS-CoV-2 RNA分子或聚合酶链反应(PCR)检测结果为阳性的个体。根据美国疾病控制及预防中心(CDC)的个案定义[gydF4y2Ba 9gydF4y2Ba]，每次新感染COVID-19时(定义为之前感染COVID-19 90天或更长时间后检测呈阳性)，都会对检测呈阳性的个体进行计数。因此，人们可能被统计了不止一次，但这种情况发生在不到1%的病例中。疑似病例是指实验室确证性检测方法(PCR或分子检测)未呈阳性，但符合以下条件之一的病例:(1)抗原检测方法呈阳性，(2)有COVID-19症状并已知接触过COVID-19(即与COVID-19确诊患者有密切接触)，或(3)死亡证明上列有COVID-19或SARS-CoV-2。gydF4y2Ba

“群集”或“爆发”没有标准定义(这两个术语是可以互换的)，疾病预防控制中心指出，爆发的定义与当地情况有关[gydF4y2Ba 10gydF4y2Ba］．因此，我们遵循了集群的PHMDC定义，即大约在同一时间与相同位置、组或事件相关联的2个或更多的情况[gydF4y2Ba 11gydF4y2Ba]，我们在7天的间隔内进行了检查。从今以后，我们将术语“集群”用于从NER工具识别的集群，将“爆发”用于PHMDC COVID-19数据团队按照标准操作程序识别和验证并记录在WEDSS中的集群。gydF4y2Ba

我们使用了预训练的来自变压器(BERT)基础模型的双向编码器表示[gydF4y2Ba 12gydF4y2Ba]，并根据计算自然语言学习会议(CoNLL)-2003 NER共享任务的数据集进行微调[gydF4y2Ba 13gydF4y2Ba］．这个英语数据集仍然是NER公共领域最大的语料集之一，包含1393个路透社新闻故事，总共有35,089个注释标签(测试集中有5648个)，涵盖地点、组织、人员和其他类别。在Python transformer库中实现的预训练BERT模型维护在HuggingFace模型存储库[gydF4y2Ba 14gydF4y2Ba-gydF4y2Ba 16gydF4y2Ba］．该模型报告了gydF4y2Ba FgydF4y2Ba_1gydF4y2Ba在CoNLL-2003测试数据集上，得分为91.3，召回率为91.9，精密度为90.7。在本文发表时，该模型代表了NER的最新水平[gydF4y2Ba 15gydF4y2Ba］．我们使用了“开箱即用”模型，并没有试图进一步微调模型或调整超参数。gydF4y2Ba

对WEDSS中的文本字段进行预处理，以删除没有意义的实体，例如联系人跟踪器的名称。命名实体的后处理包括删除频繁出现的术语(例如，“Wisconsin”，“GMT”)，删除一个文档中重复的命名实体，删除模型偶尔标记的子词标记，以及删除不提供信息的模式。使用WordPiece标记器从每个文档构建最多512个标记的组，然后将它们输入模型。对于从提取的WEDSS数据中报告的具有相同命名实体的所有病例id，提供了平均预测概率作为将其识别为个人、组织、位置或其他类型的可能性的分数。gydF4y2Ba

通过模糊匹配确定了NER管道发现的与契约跟踪程序已经发现的爆发相关的实体。共享事件ID的NER工具中的已知爆发名称和实体也通过令牌排序比率进行匹配(要比较的每个字符串都按字母顺序进行标记和排序，然后相似性计算为相似性= [2 ×匹配字符数/字符总数]× 100)。令牌排序比为70或以上的实体和爆发被视为匹配。gydF4y2Ba

在开发NER管道期间，我们注意到许多命名实体包含在一个县内可能有多个位置的通用企业名称，例如“McDonald’s”或“Walmart”。因此，我们使用谷歌Places应用程序接口(API)在管道中开发了一个位置映射工具，以确定集群中靠近1个或多个case id的位置的可能匹配(gydF4y2Ba 图1gydF4y2Ba)．谷歌Places API要求搜索范围在最大半径为30公里的圆形区域内。示例搜索显示在gydF4y2Ba 图2gydF4y2Ba．允许多次连续的搜索，尽管每次搜索都会增加API的成本，并且在一个大的搜索区域中充满API调用既不是最优的，也不是有效的。在威斯康辛州的36个主要城市中，超过三分之二的企业的通勤距离在0到24英里之间[gydF4y2Ba 17gydF4y2Ba]，因此映射算法的1个假设是，命名实体将在个人的家庭住所的通勤距离内。因此，从WEDSS中提取聚类中每个案例ID的个人纬度/经度坐标，并应用k-means无监督方法从谷歌Places中识别特定命名实体的案例ID聚类的质心坐标。gydF4y2Ba

位置映射器为命名实体提供了最可能的地址。如果不能进行精确匹配，则使用模糊字符串匹配对前3个结果进行过滤。在任何一种情况下，都会提供每个企业地址匹配的预测概率，然后将这些结果合并到最终报告中，以提供与已命名实体关联的地址，用于联系人跟踪。在威斯康辛州、明尼苏达州、爱荷华州、密歇根州和伊利诺伊州，映射到城市名称的命名实体被过滤掉了，因为它们不够具体，无法确定精确的位置。gydF4y2Ba

为了遵守谷歌Places API服务条款，我们从WEDSS数据中所有与covid -19相关的表单的字段中提取了组织和地点名称，以创建命名实体的内部数据库，用于在NER工具和谷歌Places API结果之间进行映射。因此，没有缓存谷歌数据。搜索算法只使用谷歌Places API来搜索与我们的内部命名实体数据库相匹配的命名实体。中显示管道和报告系统的完整流程图gydF4y2Ba 图1gydF4y2Ba．gydF4y2Ba

流程图从WEDSS数据源开始，然后对威斯康星大学(UW)的内部健康保险可携带性和责任法案(HIPAA)安全计算环境进行提取、转换和加载(ETL)过程。案例报告访谈表单中的相关字段经过特征工程和WordPiece标记器，用于预训练的神经语言模型，以将命名实体分类为业务名称和设施。只有事件id为>2的集群中符合条件的命名实体才会被发送到位置映射工具。位置映射工具通过随机移动来识别集群的质心经度/纬度，以用于去识别目的。接下来，为转移的质心位置执行谷歌Places API，并针对来自NER工具的命名实体运行业务和设施名称的接近结果。如果在初始运行中没有返回地址，则处理扩展搜索半径。排名前三的结果显示在具有优先级分数的模糊匹配模式中，并共享在一份报告中，该报告被发送回威斯康星州卫生服务部(DHS)的基于web的报告系统。任何卫生部门的员工都可以通过基于网络的报告系统查看该报告。gydF4y2Ba

一些提交给位置映射工具的命名实体在30公里搜索半径之外，但它们可能仍然与识别新集群有关。对于搜索半径之外的已命名实体，我们开发了一种扩展搜索算法，覆盖更大的搜索半径，并定位企业或组织名称，这些名称将映射到最初30公里搜索半径内未找到的给定已命名实体。该算法创建并利用了一个互锁等边三角形网格。搜索网格首先从原始纬度/经度质心点向外延伸，然后围绕该质心点顺时针旋转，创建互锁三角形(gydF4y2Ba 图3gydF4y2Ba)．网格中每个三角形的每个顶点都将成为API调用的一个新的纬度/经度起点。gydF4y2Ba

地球的曲率意味着这个网格不会沿着直线，所以我们使用haversine公式的实现来在网格中创建具有弯曲形状的多边形[gydF4y2Ba 18gydF4y2Ba］．通过向外绘制来创建多边形必然意味着网格的每次旋转的结束可能不是旋转的开始，因此我们将每个API调用的搜索半径设置为重叠，以确保搜索的总覆盖范围，并考虑到旋转的起点和终点之间的距离误差。当发生以下情况之一时，扩展搜索停止:(1)API调用至少找到一个搜索结果，或(2)网格到达距离原始质心纬度/经度点250公里的最大范围。gydF4y2Ba

2020年7月1日至2021年6月30日期间戴恩县所有确诊和可能的个人病例都作为回顾性验证数据集。根据已确认的爆发设施/企业名称或与WEDSS数据库中记录的病例相关联的有效企业地址对NER工具进行了评估。NER工具生成的命名实体在1周内符合集群的标准(命名实体的>2个实例)，并且与WEDSS中确认的爆发相匹配，则标记为真阳性(TPs)。此外，在一周内具有>2个实例且在WEDSS中具有有效业务地址的命名实体也包含在TP组中，并表示新的集群。将已确认和未确认的病毒爆发(可能是新的群集)都包括到TP组的理由是，它们符合PHMDC对群集的定义，并且包含值得进行调查(未验证的病毒爆发)或避免重复调查(已验证的病毒爆发)的有效地址。在WEDSS中没有地址匹配的NER工具生成的命名实体被标记为误报(FPs)。假阴性(FNs)定义为WEDSS数据集中没有来自NER工具的相应命名实体的已确认疫情。评价指标报告为精密度= [TP/(TP + FP)]和召回率= [TP/(TP + FN)]。这些指标也分别被称为阳性预测值和敏感性。在为期12个月的研究期间，对NER工具进行了评估。 The precision and recall across the 12 months were reported to provide the largest sample size for reporting metrics. Monthly metrics were also reported to represent seasonal variation and various public health policies that affected case rates and prevalence, which would also affect precision [ 19gydF4y2Ba］．gydF4y2Ba

对于位置映射算法，报告了一组单独的精度和召回措施。TPs被定义为WEDDS地址内部数据库中的业务地址，映射到NER工具生成的命名实体的谷歌Places API地址。FP是没有映射到WEDSS地址数据库的谷歌Places API地址。FN被定义为来自NER工具的命名实体，它映射到我们的内部业务名称数据库，但当可以找到合理的API结果时，却不返回谷歌Places API地址。由于成本和计算资源的限制，对位置映射算法的验证只进行了1个月(2020年10月)。对于NER和位置映射验证，精度和召回度量都是使用引导的95% ci生成的。gydF4y2Ba

该管道的目标是根据在WEDSS中收集的任何时间间隔的接触者跟踪表单生成摘要报告，并确定潜在的群集。示例报告显示在gydF4y2Ba 表1gydF4y2Ba作为每周报告。报告中的每个聚类还包括相关的病例id，以指导COVID-19数据团队以及该聚类的预测概率。COVID-19数据小组已经确定或正在调查的已知疫情也从WEDSS中提取，并纳入报告，以防止有针对性的政策工作冗余。位置映射工具还提供了每个命名实体最可能的地址，以及预测的概率。gydF4y2Ba

威斯康星大学的机构审查委员会批准了这项研究，威斯康星国土安全部和威斯康星大学之间建立了数据使用协议。没有华盛顿大学和国土安全部的明确许可，没有数据在批准的华盛顿大学研究环境及其批准的用户之外共享。该管道目前可在威斯康星州的公共卫生报告系统中使用，源代码是开源的，可供公众使用[gydF4y2Ba 20.gydF4y2Ba］．gydF4y2Ba

在46,902例确诊和疑似病例中，只有1595例(3.40%)为疑似病例，其余为COVID-19确诊病例。在Dane县，非西班牙裔白人占确诊和疑似病例30,423例(64.87%)，中位年龄为30岁(IQR 20-47);看到gydF4y2Ba 表2gydF4y2Ba．最常报告的职业是学生，但在我们的WEDDS提取中，职业变量的缺失率高达75%以上。中显示了WEDSS数据集的其他人口统计数据gydF4y2Ba 表2gydF4y2Ba．戴恩县有病例和无病例的7天移动平均值显示在gydF4y2Ba 图4gydF4y2Ba并划定了2020年1月至2021年9月期间的口罩强制政策。灰色阴影区域表示12个月的验证期，在此期间我们分析了本研究的NER工具。gydF4y2Ba

验证数据集包括在联系访谈表单的自由文本字段中的4,183,273个总BERT令牌和15,051个唯一BERT令牌。最长的字段是“InvestigationNotes”，中位数token计数为126.5 (IQR 60.7 -232.5)。gydF4y2Ba

在12个月的验证中，召回率为0.67 (95% CI 0.66-0.68)，精密度为0.55 (95% CI 0.54-0.57)。值得注意的是，随着COVID-19的激增和减弱，精确度和召回分数逐月变化。最好的表现是在病例量高的高峰月份。在2020年10月至2021年1月期间，病例量分别为3300至7100例，召回率分别为0.69至0.72例。然而，在病例较少的月份，如2021年5月至2021年6月(病例数在149至410之间)，召回率分别降至0.33和0.29。为了精确起见，也观察到了类似的趋势，峰值为0.64，低谷为0.30 (gydF4y2Ba 表3gydF4y2Ba)．在所有月份中，NER工具识别出的潜在疫情比WEDSS确认的要多。gydF4y2Ba

在1个月的位置映射工具验证期内(2020年10月)gydF4y2Ba FgydF4y2Ba_1gydF4y2Ba评分为0.93，召回率为0.93 (95% CI 0.92-0.95)，精密度为0.93 (95% CI 0.92-0.95)。有355个命名实体没有返回Dane County搜索半径的结果，但扩展位置算法将其中202个(56.9%)命名实体的地址匹配到我们的内部命名实体数据库，以寻找潜在的新集群。gydF4y2Ba

我们开发了一种新的工具管道，能够提取大量监测数据并总结报告，以突出现有和潜在的疫情及其相关地址。摘要报告以每周为间隔，以县为单位，以系统的方法确定威斯康星州任何地区的疫情。我们以麦迪逊和戴恩县为重点，展示了我们的管道的性能，并表明我们的管道在高病例量时期表现最佳，此时可能最需要使用自动化方法进行接触追踪工作。此外，我们的管道有潜力识别传统方法无法识别的新型群集爆发。最终，对于需要构建关键字和手动扫描自由文本报告以查找潜在爆发位置的数据团队来说，我们的工具可能会克服现有的限制。gydF4y2Ba

在COVID-19大流行期间，已经出现了利用人工智能方法的工具，用于公共卫生应用[gydF4y2Ba 21gydF4y2Ba-gydF4y2Ba 23gydF4y2Ba]，并且随着更多工具的开发或可用，利用自然语言处理根据接触追踪数据进行有针对性的政策努力仍然是一个感兴趣的领域[gydF4y2Ba 24gydF4y2Ba，gydF4y2Ba 25gydF4y2Ba］．其他研究表明，使用非传统和非常规的公共卫生数据源(如推特提要)，预先训练的神经语言模型对COVID-19监测的好处。gydF4y2Ba 26gydF4y2Ba］．利用与公共卫生机构的已知联系方式开发了使用更传统方法的信息学工具[gydF4y2Ba 25gydF4y2Ba，gydF4y2Ba 27gydF4y2Ba];然而，这项研究并没有发现潜在的或新的疫情。我们展示了一种“开箱即用”的预训练神经语言模型，用于NER自动扫描COVID-19病例的接触访谈表格，并为接触追踪器提供现有和潜在疫情集群的简化和有组织的总结报告。我们的工具管道遵循CDC实施和使用数字工具的指南，以加强传统的接触追踪工作[gydF4y2Ba 24gydF4y2Ba］．随着PHMDC和威斯康辛州继续采用传统方法调查阳性病例并将其报告到其监测系统中，我们的工具可能有助于在大量病例期间集中和指导数据团队到集群。我们还分享了一种新颖的定位地图技术，该技术使用来自州监控系统的原始数据，并提供地址，以进一步减少从大型数据库中挖掘的工作量。gydF4y2Ba

这项工作的动机始于PHMDC的COVID-19数据团队联系华盛顿大学的数据科学团队，以帮助解决在联系访谈表单中挖掘许多自由文本字段时遇到的困难。与该地区其他州和县一样，戴恩县的召回率在秋冬季急剧上升，我们的工具显示，在这些时期召回率超过70%。尽管由于FPs的原因，精度值较低，但与手动扫描自由文本字段或为单个报告构建定制的基于规则的关键字算法相比，在我们的摘要报告中检查FPs对数据团队来说可能仍然不那么繁重。更重要的决定因素是通过可接受的召回来减少可能错过的爆发的fn。在病例量低于数百例的几个月里，我们工具的准确性会下降，但我们预计在这些时期，该工具的使用率可能会降低，因为工作人员有更多时间通过现有的标准操作程序来识别和调查疫情。目前，该报告的一个版本已被纳入全州范围的报告系统，用于在威斯康星州的任何县进行beta测试和应用(gydF4y2Ba 图1gydF4y2Ba)．首先，在华盛顿大学的hipaa安全计算环境中，通过ETL过程将来自WEDSS的数据输入NLP管道。结果被开发为平面文件输出，并在第二个ETL过程中返回到州卫生服务部卫生信息学办公室，进入全州报告系统，供县卫生部门的最终用户通过网络界面访问。我们的下一步是通过试点验证测试来检查我们的PHMDC卫生部门数据团队的接受度，并监测采用情况，类似于其他人所描述的[gydF4y2Ba 28gydF4y2Ba］．我们已经将我们的管道整合到现有的全州报告系统中。gydF4y2Ba

虽然像谷歌这样的私营企业在地理测绘技术领域处于领先地位，但我们利用他们的定位软件来支持我们独特的位置测绘工具。我们首先从我们的WEDSS数据库中建立了我们自己的所有潜在企业名称和组织的内部数据库，以遵守许可协议。这允许我们执行API调用并识别任何匹配，而不存储谷歌的任何数据，也不违反任何使用该工具的许可协议。我们注意到一些NER地点是连锁餐馆和商店，因此使用无监督的方法来识别集群中的质心经度/纬度，使我们能够预测从NER工具中识别出的业务最有可能的位置。我们在这部分系统中的准确性和召回率得分很高，可能会减少工作人员识别准确地址所需的时间。接触追踪访谈表格是在威斯康辛州的县级收集的，并记录到中央WEDSS数据库中，因此我们预计我们的工具可能会在全州范围内扩展，以捕捉更多的农村地区或覆盖跨越多个县的通勤距离。gydF4y2Ba

在我们的工作中出现了一些限制。首先，我们运行NER工具作为一个“开箱即用”的解决方案，没有任何进一步的调优。用于微调BERT-base-NER模型的训练数据集来自特定的时间跨度，可能不能很好地推广到我们的领域。然而，由于时间和资源的限制，我们不能投资于构建内部注释的数据集以进行微调。我们期望模型的性能可以通过领域适应继续提高，但是我们选择使用当前通用的最先进的工具来开发我们的管道。其次，我们假设集群家庭地址质心周围的半径从我们的位置映射工具中捕获了所有相关的位置。这还不包括从州外或离家更远的地方旅行的人。我们尝试用半径为250公里的扩展映射算法来缓解这个问题。最后，我们的工具可以灵活地处理跨越不同时间间隔的联系访谈表单，但ETL数据从威斯康星州报告系统传输到PHMDC政策制定者的延迟阻碍了该工具的实时警报系统。我们目前的系统可以每24-48小时刷新一次，从病例报告表单输入WEDSS开始，这对于在高负载期间积压病例的数据分析师来说仍然很有用。 Our data use agreement prevented the real-time, on-site application of the pipeline by PHMDC staff, but this remains a future direction in data access and software development for our tool. Lastly, future work will incorporate results on the potentially new clusters to verify their relevance for investigation and confirm an outbreak. Prospective evaluation of the tool was not possible, given existing staff demands from the pandemic.

我们的自动化管道从全州数据库中获取数据，并可能在各个县部署，以协助威斯康星州的其他卫生部门在疫情爆发期间制定有针对性的政策。该工具是开源的，是一种可互操作的资源，也可以被邻国使用。此外，我们的管道也可以应用于其他需要分析自由文本数据的传染病和监测工作。gydF4y2Ba