发现长COVID症状模式:社交媒体推文中的关联规则挖掘和情感分析

介绍

COVID-19是由SARS-CoV-2病毒引起的传染性疾病，已成为严重的公共卫生危机，对人们的健康和福祉产生负面影响。大多数COVID-19患者在几周内完全康复。然而，有些人在最初的康复后仍然会出现症状，即使是那些最初感染时症状轻微的人。其他人则出现与COVID-19疾病相关的新症状。这些人有时称自己为“长途搬运工”[1]．这种综合征被称为后COVID-19或“长COVID-19”[2]．识别这些症状是至关重要的，因为它们可能会对患有这种疾病的人的日常生活产生长期的负面影响。呼吸困难、疲劳和脑雾是长期COVID患者持续报告的3种最常见症状，通常是在COVID-19疾病发病数月后[3.，4]．

社交媒体已经成为我们生活的重要组成部分。人们用它与他人联系，分享他们对任何当前话题的想法、情感和经历，通常不会透露他们的身份。5]．因此，Twitter、Facebook、Instagram等社交媒体平台对社会产生了巨大的影响，得到了相当多的研究关注[6]．在这些平台上有关于长冠状病毒综合征(LCS)的广泛讨论链。因此，分析各种来源的长期covid - 19相关患者的社交媒体对话，为了解症状与其后果之间的关系提供了机会。

根据世界卫生组织临床病例定义[4]，“长期COVID-19病症发生在有可能或确诊的SARS CoV2感染史的个体中，通常在COVID-19发病后三个月，症状持续至少两个月。”与健康有关的组织，如梅奥诊所[7]、国民保健制度[8]，疾病控制和预防中心[9]和世界卫生组织[4]，已经确定了与长COVID相关的不同症状列表，并总结如下。最近在推特上使用自我报告的长时间COVID症状进行的研究结果[10]．这些症状是通过手动阅读2020年7月20日至2020年7月29日的165条推文来确定的。

然而，社交媒体上正在进行的非常活跃的讨论可以支持人们对这种疾病及其长期影响的日益了解。这些讨论为访问推特上多个个人的公开数据提供了机会，以分析长期的COVID症状。然而，手动在大量非结构化文本中发现知识越来越成问题。因此，引入了自动自然语言处理(NLP)方法来有效而准确地完成这项任务[11，12]．近年来，人们越来越认识到在健康科学中使用NLP方法的重要性[13]．尽管之前的研究已经确定了一系列症状，但将推文中讨论的症状提取并分组为类别，可以更容易地分析和找到最常见症状之间的关系。手动处理这项任务是具有挑战性的;因此，NLP工具提供了从非结构化Twitter文本数据中提取隐藏信息的机会。

关联规则被认为是一种有用的工具，因为它们提供了进行智能诊断、提取宝贵信息和快速自动构建重要知识的可能性，同时识别变量内部和变量之间的关系[14]．因此，我们使用关联规则挖掘(ARM)来根据从文本数据中揭示的症状发现长COVID症状之间的关系[15]．关联规则的挖掘过程需要设置最小置信度和支持度阈值来描述有意义的关联规则。因此，我们基于10%的最小置信阈值和0.1%的最小支持阈值来识别关联规则。

这项研究试图实现这两个目标。第一个目标是确定推特社交媒体平台上讨论的与COVID相关的症状和医疗条件。第二个目标是确定症状的模式及其关联。通过完成这些目标，这项工作将最终帮助医生识别长COIVID患者的行为。本文为症状挖掘提供了新的思路，揭示了症状及其应用价值之间的内在联系。因此，本研究具有理论和实践意义。

方法

数据收集

我们收集了2020年5月1日至2021年12月31日期间全球范围内与covid相关的长推文和英语推文，以创建约100万条推文的数据集。我们使用Snscrape模块(版本3.8;Python软件基金会)[16从匹配关键词“LongCovid”的推文中抓取基于网络的推文。从多语言推文中流化英语推文需要大量计算，因为大多数非英语母语国家在社交媒体上使用母语而不是英语来表达他们的感受;因此，如果我们想分析每条推文，就需要把它们翻译成英文。因此，我们将数据集限制为英语tweet。我们的数据集最有用的属性是ID (Number)、创建时间(DateTime)、原始文本(text)和语言(text)，我们用它们来过滤英语tweet。我们从数据集中删除了重复的tweet文本。这种处理必然会删除我们数据集中的任何转发，这与我们收集代表患者体验的数据集的目标是一致的。初始数据集的平均tweet长度为32.56 words。

我们通过将人口限制在COVID-19患者中，将数据集减少到127,848条推文。为此，我们改进了推文，以确保所有推文都反映了长期COVID的个人经历。我们首先考虑了包含代词“I”和“covid”的推文，因为我们想从患有covid -19或长covid的人那里提取推文。随后，我们删除了包含解释用户意见的文字的推文，因为许多人讨论长COVID而不一定患有COVID。我们考虑的单词或短语的集合列在表1使用包含特定单词的tweet的百分比。“我感觉”这个短语可能包括表达症状体验的推文;然而，为了消除意见的可能性，我们删除了这些推文。我们还观察到一些推文(3394/148,672,2.28%)讨论了类似的情况，尤其是慢性疲劳综合征。为了消除与慢性疲劳综合征相关的上下文，我们删除了包含关键字“cfs”的推文。我们的数据集进一步减少，仅确定讨论其症状经历的患者。首先，我们创建了一个在不同文献来源中讨论的长COVID症状列表，如下所示表2。然后，我们通过将它们与所示的预处理词语料库进行比较，发现了最常见的症状表3。

数据预处理

数据预处理主要是按照特定的步骤对原始数据进行清理，以获得更好的结果，便于进一步的评价。通过开发用户自定义的预处理函数，对初始数据进行预处理以确保质量自然语言工具包（NLTK;用于NLP的Python库)[15]．

预处理方案如下:首先，我们从文本中删除了标签符号及其内容(例如COVID-19、@users和url)，因为标签符号和url对文本分析没有帮助。我们还删除了所有非英语字符(非美国信息交换标准代码字符)，因为研究的重点是分析英语tweet。然后，我们删除重复的单词和由识别的停止词NLTK。数据集中的特殊字符、标点符号和数字也被删除，因为它们无助于检测带有亵渎的评论。我们进行了情绪分析，以衡量患者对长冠状病毒相关话题的感受，结果将在下一节中讨论。该研究的主要焦点是症状挖掘;因此，我们使用一组预定义的关键字为具有症状信息的患者创建了一个数据集。图1显示了字云的一组关键字占初始tweets提取。

词干提取法将屈折词还原为词干、词根或词根形式，而标记化则用于将每个句子分成单词的更小部分。图2展示了如何进行数据收集、清理和预处理步骤，以及如何获得包含30,327条tweet的最终数据集，以便在研究中进行分析。在执行清理和预处理步骤后，tweet的平均长度从32.56字减少到19.07字。最初获得的数据(原始数据)和研究考虑的数据(过滤后的数据)已绘制在同一时间序列图(图3）.过滤后的数据恰当地表示了原始数据。

‎ 查看此图

‎ 查看此图

‎ 查看此图

情绪分析

为了测量通过Twitter在long COVID上表达的情绪，我们使用了情绪分析、一种特定类型的NLP、计算语言学和文本分析[16，17]．对推文中的主观信息进行分析和提取，将文本分为正面、负面和中性3类。如果极性>0，则文本被归类为“正”，如果极性<0，则文本被归类为“负”。极性值为0的文本被归类为“中性”。饼状图表4显示了与长COVID相关的每个文本的情绪在2个阶段的分类-分别针对所有帖子和至少具有一个长COVID症状的帖子。如果只考虑有症状的推文，正面评价从53.1%(67,153/126,460)下降到49.8%(15,102/30,327)。

在这个阶段，我们计算了每个清理和预处理tweet的情感极性TextBlob图书馆。TextBlob是一个Python库，支持对文本数据的复杂分析和操作。它是建立在NLTK图书馆(15]并提供了一个简单的API来执行一些NLP任务，如情感分析、词性标注、名词短语提取、分类和翻译。

搭配

我们也知道症状通常在文本中出现不止一个词。因此，在这项研究中，仅用两个词就能找到有意义的症状是一项特殊的任务。许多有价值的文本分析是基于单词之间的关系，检查哪些单词倾向于立即跟随其他单词或共同出现。因此，我们分析了推文中每个双元组的两个单词之间的关系，并确定了哪些长COVID症状作为单词的组合出现。我们使用NLTKPython库[15]从文本中识别双字，并使用预先准备的症状列表对其进行过滤，以便只获得同时出现时可能是长COVID的有意义症状的双字。

为了识别有意义的双关语，我们使用搭配特征来揭示一个由多个单词组成的短语。尽管如此，这些词在给定的上下文中通常会同时出现，而不是单独出现。我们使用了几种重关联测量方法[18来过滤出最有意义的搭配。

1.point - twise mutual information (PMI): 2个单词的PMI得分，w¹和w²，如下:

主要的直觉是，它衡量单词共同出现的可能性比独立出现的可能性大多少。然而，这种方法的主要缺点是它对罕见的单词组合非常敏感。我们通过使用单词的频率过滤器来处理这个问题。

2.双尾t用频率滤波器测试:当导通a时t检验时，我们可以考虑用5%的显著性水平检验下面的假设。

H₀:单词(w¹w²)有概率发生µ：

与

H₁:单词(w¹w²)不会有概率地发生µ。

在哪里C表示每个单词和的计数N是语料库中单词的总数。

检验统计量如下:

在那里,为伯努利试验:

根据频率对双字进行过滤，避免了对罕见情况的敏感性。正态性假设是使用t测试。

3.卡方检验:卡方检验的零假设假设单词(w¹，w²)都是独立的，就像在t测试。卡方检验统计量计算如下:

观测到的频率(O_ij)及预期频率(E_ij)可使用双字母列联表计算表5和图4。

‎ 查看此图

关联规则挖掘

在许多应用程序中，自然会出现不同情况之间的含义。我们把这些暗示称为关联。可以使用关系知识发现和量化这些关联。“关系知识确定概念/实体如何相互关联，以及概念及其关系如何由模型定义或描述”[19]．例如，在推特症状分析中，可以确定一些症状规则，例如“2.7%的长冠状病毒丧失味觉的患者也会出现嗅觉丧失”或“肺部/呼吸问题和味觉丧失的患者可能会有77%的信心出现嗅觉丧失”。这些规则被称为关联规则，相关分析被称为关联挖掘。

臂(20.]已经成为数据挖掘领域的一个活跃研究领域，可以解决医疗保健领域的各种问题。近年来，人们提出了不同的增量算法来挖掘关联规则，以发现症状与疾病之间的隐藏关系。在这项分析中，ARM被用来通过展示推文中描述的症状之间的关系和模式来深入了解鲜为人知的LCS。我们使用基于Apriori规则的数据挖掘算法解决了在长COVID患者数据中自动识别新的和有用的症状模式的问题[16]．最近，其他基于规则的增量算法，如Eclat [21]，麦克克拉特[22]，直接哈希和剪枝[23]， AprioriTID [24]和MsApriori [25]，还引入了挖掘关联规则，以发现项目集之间的隐藏关系，并增强罕见频繁事件的收集。我们在本文中使用了Apriori算法，因为它是该类别中一个被很好地理解和使用的算法。使用Python进行了计算和相关实验。

通过描述这些症状之间的关系，我们可以帮助定义LCS，以用于未来的研究和患者护理。这些模式揭示了同时发生的症状的组合，因为它有助于了解一个症状或一组症状如何与其他症状相关联。一组症状X和一组症状Y之间的关联规则用X→Y的形式表示，解释为“有症状X的患者很可能有症状Y。”通常，发现的规则的有效性用支持度、信心度和提升度来衡量。

1.支持度:支持度表示项目集在数据集中出现的频率。

2.信心:信心是所有满足X又满足Y的交易的百分比。

3.Lift:如果Lift >1，我们就可以知道两个事件相互依赖的程度，从而使这些规则可能有助于预测未来数据集的结果。

因此，基于对COVID长症状的分析，我们可以挖掘症状之间的关联规则，并量化它们的特征，如置信度、支撑度和提升度。

结果

推特上讨论的与长冠肺炎相关的症状和医疗条件

共提取了1,084,398条推文的信息，其中34,022条报告了较长的COVID症状(图1）.上一节讨论的每种搭配方法得到的前5个结果如下所示表6。观察结果后，我们确定t用过滤方法测试得到可接受的结果。我们还必须手动选择具有测试统计量>5且只有当它们在一起时才具有唯一含义的有意义的双字。我们确定了20个这样的双音词，它们经常一起出现，即“脑雾”、“失去味道”、“失去气味”、“胸痛”、“不能走路”、“不能走路”、“挣扎着走路”、“不能走路”、“走楼梯”、“关节痛”、“肌肉痛”、“腿痛”、“减肥”、“体重减轻”、“体重增加”、“睡不着”、“喉咙痛”、“针和针”和“心悸”。

由于一些双关语有相似的医学意义，我们将相似的词分类进行分析(表3）.将症状分组后，待分析的症状总数从73个减少到44个。图5显示减少的症状集，词云的size参数表示每种症状在tweet中出现的频率。在30,327条推文中，脑雾(n=7812, 25.8%)是最常见的症状，其次是疲劳(n=5284, 17.4%)，呼吸/肺部问题(n=4750, 15.7%)，心脏问题(n=2900, 9.6%)，流感症状(n=2824, 9.3%)，抑郁(n=2256, 7.4%)，以及没有明确提到网站的疼痛(n=1786, 5.9%)。嗅觉和味觉丧失、感冒、咳嗽、胸痛、发烧、头痛和手臂疼痛各占1.6% (n=474;手臂疼痛)至5.3% (n=1616;失去嗅觉)的推特。1%的推文中报告了疼痛、虚弱、关节痛、行走困难、肌肉痛、创伤、过敏、症状恶化、耳鸣、失眠、鼻子相关问题、胃部和发冷等症状，而其余症状出现在不到1%的推文中(图6）.

图7显示每个症状随时间在讨论中出现的情况，该模式与中显示的tweet数量类似图3。因此，随着时间的推移，症状没有明显差异。

‎ 查看此图

‎ 查看此图

‎ 查看此图

症状的规则

我们的研究将每条推文视为来自单个个体的单个交易。我们将1条tweet视为1个事务，对症状数据应用ARM算法，识别症状规则。使用症状事务的ARM算法旨在构建至少具有用户指定阈值的频繁项集。因此，我们将“置信度”阈值设置为0.1或10%。我们为正相关规则设置了大于0.001的最小支持阈值和大于1的“提升”。我们发现了57条重要的数据规则，这些规则包括仅限症状的信息，并将它们呈现在表7。

采用基于最高置信水平的检测来确定最显著的规则。在置信度>0.3的前12个规则中，嗅觉丧失和味觉丧失是最常见的随之而来症状，其次是肺部/呼吸问题和疲劳。如果一个病人有肺部/呼吸问题并且失去了味觉，那么有77%的人相信他们失去了嗅觉。同样，疲劳和味觉丧失的患者也会随之出现嗅觉丧失的症状。前12条规则可视化在图8。下面是规则11的描述，用黄色节点中的R11表示。有3个症状节点——“疲劳”、“咳嗽”和“肺”，以绿色节点表示。这三个节点形成了一个规则，其中前词是“疲劳”和“咳嗽”，后词是“肺”。前面的两个节点都有指向R11节点的传出链接。同样，在R11中也有一个向外的连接，指向随后的“肺”结。

‎ 查看此图

讨论

主要研究结果

与LCS相关的症状仍然知之甚少。分析长冠相关患者的社交媒体对话，可以了解症状之间的频率和关系。基于大量与LCS相关的Twitter社交媒体数据，我们在本文中完成了以下两个任务。首先，我们确定了推特社交媒体平台上讨论的与COVID相关的症状和医疗条件。其次，我们确定了症状的模式及其关联。

脑雾、疲劳和呼吸/肺部问题是分析中发现的3种最常见的症状。文献资料证实了这些报告的症状[3.，4]．如果关系密切，味觉丧失和嗅觉丧失是最常见的后续症状。我们还为预定义的置信度和支持度阈值确定了大量有意义的症状规则。通过设置升力大于1，只考虑正相关关系。根据不同的最小阈值，可以改变强关联规则的个数。通过发现长COVID症状之间的关联，这项工作将帮助医生识别长COVID患者的行为。本文为症状挖掘提供了新的思路，揭示了症状及其应用价值之间的关系。因此，本研究具有重要的理论和实践意义。

我们使用了一种新的数据源，Twitter，以及多种NLP和机器学习技术来探索大量未分化人群所描述的症状。不同的NLP方法，如情感分析、关键字提取和词序化，用于从非结构化文本数据中提取信息和症状。随后，我们使用了ARM概念[20.以揭示长时间的COVID症状之间有意义的关系。这一概念证明了这些技术在描述症状频率和更常见症状之间关系方面的价值。

未来的研究可以建立在这种方法的临床数据来源，如电子医疗记录，增加个体协变量，如性别、年龄、地点和合并症。本研究还可以进一步扩展到使用单词流行度检测方法检测和预测一组给定症状的后果。

限制

本研究基于基于网络的Twitter数据，具有有限的患者水平变量。没有关于推文作者的人口统计信息。此外，我们只考虑了用英语与公众分享经验的患者，因为从多语言推文中过滤英语推文需要大量的计算。该研究的另一个局限性是，结果可能受到推特平台上的错误信息或虚假对话的影响。

当两个集合之间存在负相关时，ARM技术中的置信度度量有一个警告，例如，~X→Y。在大多数情况下，当检查负相关规则时，较低的支持和信心是首选的。阳性症状通常很明显;然而，阴性症状更微妙，更难以识别和诊断。因此，我们没有研究负相关规则。此外，算法发现的规则需要临床验证和验证。

结论

在我们的研究中，最常见的症状包括脑雾、疲劳、呼吸/肺部问题、心脏问题、流感症状和抑郁。1.6%至5.3%的长期COVID患者出现全身疼痛、嗅觉和味觉丧失、感冒、咳嗽、胸痛、发烧、头痛和手臂疼痛。此外，10%最小置信度和0.01%最小支持度的基于最高置信度的检测成功地证明了关联分析和Apriori算法在建立模式以探索长COVID症状之间57个有意义的关系规则方面的潜力。在本研究中，为了确定正相关症状，我们只考虑lift大于1的规则。结果显示，患有肺部/呼吸问题和味觉丧失的患者很可能有77%的信心失去嗅觉。