使用孟加拉语心理健康社交媒体帖子检测抑郁症严重程度:使用自然语言处理技术的研究gydF4y2Ba

简介gydF4y2Ba

重度抑郁症(MDD)是一种以慢性情绪低落或缺乏兴趣为特征的精神状况，并在两周内出现一系列其他令人担忧的症状。据估计，每年每15个成年人和年轻人中就有一人患有抑郁症[gydF4y2Ba1gydF4y2Ba]也是导致自杀的主要原因，而自杀是全球第二大死亡原因[gydF4y2Ba2gydF4y2Ba，gydF4y2Ba3.gydF4y2Ba］．在COVID-19封锁期间，抑郁症问题变得更加突出，加剧了个人的心理健康问题。它也是一种治疗起来相当复杂的疾病，因为患有抑郁症的人往往不愿报告这种症状，因为精神疾病在许多社会中仍然受到高度的歧视[gydF4y2Ba4gydF4y2Ba］．存在大量与心理健康相关的用户数据或线索，专家可以使用它们来解决这些慢性问题。gydF4y2Ba

心理健康中的数据挖掘是一个先进的研究领域，涉及使用机器学习、深度学习、语言和统计技术来发现数据中的模式。研究人员面临着从抑郁文本中生成语料库的一系列选择:标准学术文档或关于抑郁的文本、标签和用户帖子。Twitter、Facebook、Reddit和博客都是包含自然文本集合的平台。互联网用户描述心理健康症状、经历、想法和对话的文本数据分散在各个平台上。近年来，人们观察到，担心耻辱的个人更喜欢通过在Twitter、Reddit、TalkSpace、BeyondMeds等平台上匿名写作来寻求临床帮助，这些平台可以将用户与卫生专业人员、咨询师和其他有类似经历的用户联系起来。eRisk是一个专注于利用用户文本分析早期风险的专业平台;洛萨达等[gydF4y2Ba5gydF4y2Ba在网上讨论了早期发现抑郁症的方法。个人可以选择创建匿名帖子，就他们在特殊群体中的情况征求意见。这些帖子通常按照标签、主题甚至标签进行分组，例如gydF4y2Ba(# psychology_and_mind)gydF4y2Ba(#help_post)，或者在其他情况下，社交媒体群可能只专注于某个特定的心理健康话题。gydF4y2Ba

在精神病学中，受试者的症状通常使用预定义的量表进行分类。汉密尔顿抑郁评定量表[gydF4y2Ba6gydF4y2Ba是一种用于衡量抑郁症的工具。多年来，出现了各种评估症状的评分量表，以产生诊断或评分。互联网用户通过文字和小众平台表现出各种症状。提取这些与心理健康有关的文本数据并有意义地构建它们是具有挑战性的任务。语料库必须由领域专家生成，才能在精神病学评估领域保持有效性。为了训练深度学习架构，准确注释的语料库是必不可少的。gydF4y2Ba

埃伦多夫等[gydF4y2Ba7gydF4y2Ba]提出了PsyMine语料库，该语料库由领域专家生成，并给出了他们的一致分数。阿隆索等人[gydF4y2Ba8gydF4y2Ba]对心理健康领域的数据挖掘技术进行了全面综述。在此过程中，作者涵盖了抑郁症、躁郁症和精神分裂症。Reddit是一个标准的平台，它将精神健康的帖子划分为Reddit的子版块，比如自杀观察、躁郁症和焦虑。Reddit自我报告诊断数据集是由9000个Reddit用户的文本组成的语料库。语料库通过系统的用户选择生成，标注过程众包[gydF4y2Ba9gydF4y2Ba］．MacAveney等人[gydF4y2Ba10gydF4y2Ba]提出了RSDD-Time，这是一个自称诊断语句的时间语料库。对于每一种陈述，诊断的时间和是否存在某种疾病都被标记出来。此外，作者还探讨了几种分类方法。gydF4y2Ba

这项研究的基本目标是为孟加拉语生成一个等效的语料库，并分析数据集以检测抑郁症及其个体的严重程度。在我们的研究中，我们将自然语言处理(NLP)与机器学习和深度学习方法相结合。NLP领域的先前工作表明，机器学习和深度学习算法能够检测语言中与抑郁相关的线索[gydF4y2Ba11gydF4y2Ba，gydF4y2Ba12gydF4y2Ba];然而，迄今为止，这些努力都集中在对精神疾病的类别进行分类，而不是对其程度进行分类。在我们的研究中，我们采用了独特的方法来检测和估计抑郁症的严重程度，使我们能够在社交媒体上识别抑郁症患者，并保护其他人避免观看可能引发抑郁的书面内容。此外，先前的文献包括从英语、德语、俄语和其他语言的文本中识别或分类精神疾病。孟加拉语是第四大最广泛使用的语言。因此，我们整合了一个从孟加拉语文本中提取文本信息的过程，并进行了词汇和预测分析，以检测抑郁症的严重程度。gydF4y2Ba

使用基于词典的、机器学习和深度学习方法，在多类别情绪识别领域进行了一些研究。Mageed和Ungar提出的方法[gydF4y2Ba13gydF4y2Ba]使用门控循环神经网络(RNNs)将推文分为24个情感类别。产量超过80%gydF4y2BaFgydF4y2Ba_1gydF4y2Ba某些类别的分数。杨等[gydF4y2Ba14gydF4y2Ba]和艾弗等人[gydF4y2Ba15gydF4y2Ba]使用了一种带有一系列双向编码器的层次结构来对不同类别的心理健康主题进行分类。多年来，研究的重点已经转向检测社交媒体用户的抑郁症。科汉等[gydF4y2Ba16gydF4y2Ba]创建了一个自我报告的抑郁数据集，以分析抑郁用户的语言使用情况。他们构建了一个关键字种子列表，将其分配给数据集中的类别，并应用语言查询和单词计数(LIWC)方法来比较患有抑郁症和没有抑郁症的用户之间的语言使用情况。实验还涉及使用逻辑回归、极限梯度增强(XGBoost)和卷积神经网络(cnn)将用户帖子分类为精神障碍类别，即注意缺陷多动障碍(ADHD)、双相情感障碍、创伤后应激障碍(PTSD)和强迫症(OCD)。穆斯塔法等[gydF4y2Ba17gydF4y2Ba]提出了一种使用LIWC文本分析技术对英语抑郁文本进行分类的新方法。收集的帖子属于特定的Twitter标签，作者将抑郁帖子分为3个严重程度:高、中、低。与精神疾病相关的单词被赋予权重，支持向量机分类器[gydF4y2Ba18gydF4y2Ba]，随机森林和一维cnn在工作中使用。在最近的研究中，使用机器学习和深度学习技术来衡量一个条件或情况的水平是非常可行的。例如，Al - Garadi等人[gydF4y2Ba19gydF4y2Ba]在毒理学家的帮助下，使用变压器模型和cnn将英语中药物使用的提及分为4个等级。近年来，通过二元文本分类技术对孟加拉语抑郁文本的识别进行了探索。乌丁等[gydF4y2Ba20.gydF4y2Ba]使用rnn来区分抑郁和非抑郁文本。在这个过程中，他们微调了使用的LSTM层的数量。此外，Khan等人[gydF4y2Ba21gydF4y2Ba]从社交媒体和博客文章中收集孟加拉语文本数据，以组装一个包含积极和消极情绪表达的全面孟加拉语数据集。gydF4y2Ba

我们实现了几个基线模型，如核支持向量机、补naive Bayes (NB)、逻辑回归、随机森林和knn。接下来，对于深度学习方法，我们尝试了卷积块和层与rnn结合。在所有采用双向门控循环单元(BiGRUs)分类的样品中，81%的标签被正确识别。双向长短期记忆(BiLSTM)将77%的文章分类为正确的严重程度量表。我们还报告了指标的结果，如召回率和gydF4y2BaFgydF4y2Ba_1gydF4y2Ba分数。此外，我们还使用预训练的单语言XLM-RoBERTa语言模型进一步探索了来自变压器(BERT)模型的双向编码器表示[gydF4y2Ba22gydF4y2Ba并扩展了这些技术的发现。gydF4y2Ba

使用英语文本对抑郁症进行识别或分类的方法多种多样，如精神障碍的多标签分类和抑郁症严重程度的识别。然而，在孟加拉语的语境中，只考虑了二元分类方法，并且仅基于情绪的极性(即，快乐或悲伤)。这促使我们从文献中对抑郁症特征的等级阶段进行研究。在我们的研究中，我们从类似的微博或可访问的社交媒体群中收集了孟加拉语文本数据。一般来说，社交博客、论坛或群组都有一种机制，可以根据与心理健康有关的特定主题对帖子进行分类，而且这些标签通常是无所不包或广泛的。与心理健康有关的社交博客将受益于分级分类机制，用户帖子将由专业人士或有经验的个人根据紧急情况处理。我们的技术是独特的，因为它从一个新的孟加拉语语料库中对自我宣布的抑郁症状和情绪进行了消极情绪的分类。个别文本是使用网络抓取应用程序编程接口(API)从各种来源收集的，专家将其分为4个严重级别。我们的代码已公开[gydF4y2Ba23gydF4y2Ba］．gydF4y2Ba

方法gydF4y2Ba

研究设计gydF4y2Ba

我们的方法是双重的。首先，我们构建了一个新的孟加拉语文本语料库，由表现出与精神疾病相关的情绪或症状的帖子组成。我们研究了医学抑郁症评估和诊断的推荐手册，以设计一个数据注释方案。其次，我们训练机器学习和深度学习模型，根据我们的方案对孟加拉语帖子进行分类。gydF4y2Ba

数据集gydF4y2Ba

这些孟加拉语帖子来自社交媒体平台和博客。我们使用Python web抓取API Selenium来收集数据，这些数据最初由代码混合文本以及纯孟加拉语和英语文本组成。一些与我们的研究相关的微博和社交媒体群体包括Monojogimon和gydF4y2Ba(精神分裂症)以及许多其他疾病。我们自动化了我们的程序，以获得特定标签或主题下的帖子。这有助于我们排除属于完全不同主题的帖子。对于博客和微博，过滤过程包括将信息流分成不同的主题，比如gydF4y2Ba(抑郁症),gydF4y2Ba(MDD),gydF4y2Ba(绝望)，以及其他。在其他资源中，我们收集了来自Facebook群组的用户帖子，例如gydF4y2Ba(精神分裂症)gydF4y2Ba(心理和思想)。由于我们的研究重点是孟加拉语文学，我们从数据集中排除了所有非孟加拉语文本，最终包含大约5000个单独的帖子。gydF4y2Ba

第五版gydF4y2Ba

准确的诊断是正确治疗任何疾病和精神障碍的第一步。gydF4y2Ba24gydF4y2Ba］．DSM-5是定义和评估5种精神障碍的权威手册。我们研究了DSM-5(2020)的最新卷，以获取信息并提高我们对MDD的理解。根据DSM-5，抑郁症是一种情况，一个人在相同的两周内经历5种或更多的症状，情绪普遍低落或缺乏兴趣和快乐。症状是以下症状的子集:gydF4y2Ba

• 一天中的大部分时间，几乎每天都有情绪波动gydF4y2Ba
• 大大降低了对几乎所有日常活动的兴趣gydF4y2Ba
• 食欲变化，体重明显减轻或增加gydF4y2Ba
• 身体活动的减少和认知的减慢gydF4y2Ba
• 几乎每天都感到疲劳或缺乏精力gydF4y2Ba
• 每天都有一种毫无价值的感觉，或者过度的、不恰当的负罪感gydF4y2Ba
• 几乎每天都出现注意力不集中或优柔寡断的情况gydF4y2Ba
• 反复想到死亡，没有特定计划的持续自杀倾向，或有特定的自杀企图gydF4y2Ba

此外，DSM-5强调了抑郁症的相关特征，如愤怒、沉思、强迫性沉思，以及恐惧症、对身体健康的过度关注和疼痛的抱怨——所有这些都是我们的数据集中经常观察到的。手册讨论了重度抑郁症如何与共病和死亡率相关，其中大部分可归因于自杀。自杀意念在抑郁症患者中积极表现为“我想自杀”等言语，或消极表现为“我希望我可以直接睡觉，永远不要醒来”[gydF4y2Ba25gydF4y2Ba］．我们在语料库中发现了相同的孟加拉语文本。”gydF4y2Ba"和"gydF4y2Ba，作为自杀情绪的例子。gydF4y2Ba

最新版的DSM-5增加了2个指标，躁狂症状的存在和抑郁伴焦虑困扰，以进一步分类诊断。这有助于我们工作的精确和集中。gydF4y2Ba

标签计划gydF4y2Ba

通过分析数据集中的文本，我们发现抑郁症患者在不同阶段的语言模式与DSM-5的概述一致。我们设计了一种全面的标签技术，根据痛苦的持续时间、症状的数量、绝对词汇的使用、自杀意念、躁狂发作的提及、妄想的想法等因素，将文本分为4个不同的类别。鉴于这项研究的重点是抑郁症和心理健康，我们选择咨询心理健康专家，以确保我们的方法是合理的。为了核实，我们联系了Tasnuva Huque女士，她目前是孟加拉国布拉克大学咨询部门的心理咨询师。标记技术经过了修订，以严格遵守DSM-5标准，最后，Huque女士验证了数据集的标记方法。4级由我们的4级严重程度量表中最严重和最令人担忧的病例组成，后续级别的权重逐渐降低，直到1级，这代表了问题最少的情况。在第二阶段，我们被介绍给布拉克大学咨询部门的Syeda Tanzila Huque女士和Ayesha Seddiqa女士。gydF4y2Ba

布拉克大学专家的参与确保了良好的沟通和标签指南的制定。在分配标签时要仔细考虑一些因素。首先，4个严重程度被明确定义并得到专家的一致同意。本节的其余部分将详细介绍这些级别。gydF4y2Ba

当用户的短信中包含了过去的自杀企图或自杀倾向和想法，抑郁症导致的自残，或精神分裂症或边缘性人格障碍时，就可以诊断为4级抑郁症。严重性级别3是我们数据集中最广泛的类别。它包括需要咨询或药物治疗的文本，产后抑郁或妊娠期抑郁，与精神障碍相关的临床抑郁，功能受损和恐惧(即害怕死亡)，食欲不振，体重突然减轻或增加，妄想，持续的情绪波动，健忘，呼吸困难和其他身体健康问题。由于该类文本数据种类较多，且每种文本数据的出现次数较少，因此模型的学习相对复杂。严重程度2级包括一般抑郁、绝望感、孤独、持续的不稳定感和低自尊的书面迹象。最后，1级包括暗示用户偶尔感到不开心或包含与严重抑郁症状无关的杂项问题的一般帖子。每个类别的一些例子显示在gydF4y2Ba表1gydF4y2Ba．gydF4y2Ba

注释过程中的冲突是由于存在属于特定项目的多个严重级别的一系列症状而引起的。使用者可能会表现出绝望和高度的挫败感，并表示有自杀意念。在这种情况下，专家们会将职位的严重性定为最高级别。gydF4y2Ba

由于在不同语境下的过度使用，与特定表达相关联的主观观点和内涵成为了一个问题。个人倾向于做出类似于"gydF4y2Ba，翻译过来就是“活着的意义是什么?”这样的陈述很常见，被用来表达普遍的沮丧、绝望和哲学思考。根据批注准则，此类陈述应客观处理，不能视为随意陈述，因为它们摘自心理健康平台，由抑郁症患者撰写。另一个一般规则禁止从用户语句进行推断，并且不能根据推断分配标签。当出现复杂的意见分歧时，这些帖子会被标记，并通过讨论和多数投票解决分歧。标签生成过程包括以2或3人为一组的物理和在线会话。gydF4y2Ba

下一节将详细介绍在我们的数据集上进行的实验，并探索性能最佳的体系结构。我们总共测试了5个机器学习模型和11个深度学习模型。gydF4y2Ba

水平和例子(孟加拉语)gydF4y2Ba		例子(对应英文翻译)gydF4y2Ba
4级gydF4y2Ba
		活着的意义是什么?生不如死。gydF4y2Ba
		如果自杀不是罪，那我就自杀!因为，在这个世界上，有些人的生活中有一些问题是不要死也解决不了的!gydF4y2Ba
		我觉得自己是这个星球上最沮丧的人，我经常哭。有时我想用自己的手勒死自己，我想结束我的生命。但是我不能。非常痛苦。我不想活了。请帮帮我。gydF4y2Ba
		我很沮丧有一段时间了，似乎一切都不顺利，也许现在如果我自杀了会很好。gydF4y2Ba
		我总是心烦意乱。有时我想死，但就像我之前说的，挫折总是有的。gydF4y2Ba
3级gydF4y2Ba
		我怀孕6个月了，但我睡不着。我患有抑郁症。gydF4y2Ba
		我患有精神抑郁症，我该吃什么药?gydF4y2Ba
		我患抑郁症已经有很长时间了。我的精神和身体也很不舒服，我总是觉得头晕，我不能吃任何东西，每天都觉得恶心。gydF4y2Ba
		Assalamu Alaikum。我已经怀孕10周了。我很情绪化。我经常哭，这是对很痛的事情的反应。不管是什么主题?这对我的孩子会有问题吗?gydF4y2Ba
		通过剖腹产，我成为了第一个孩子的母亲。但我不能再像以前那样了。我患有抑郁症。我常常尖叫和哭泣。我妈妈、姐姐和我丈夫常常在外面为我哭泣。我只是觉得我要死了。gydF4y2Ba
2级gydF4y2Ba
		Facebook是如何让我们抑郁的?我很沮丧。gydF4y2Ba
		我的绝望一直在起作用，我处于极大的紧张状态。gydF4y2Ba
		我大部分时间都患有抑郁症。结果我有精神问题。补救办法是什么?gydF4y2Ba
		摆脱沮丧和沮丧的方法。如何变得自信?gydF4y2Ba
		我整天情绪低落，做事缺乏动力。我很沮丧。gydF4y2Ba
1级gydF4y2Ba
		我想去一个很远的地方。把一切都搁置几天gydF4y2Ba
		我几乎每天都感到沮丧，对任何事情都感觉不好gydF4y2Ba
		我一点也不舒服。我不能专注于任何事情。gydF4y2Ba
		我有时感到悲伤。gydF4y2Ba
		我觉得不舒服。我什么都不喜欢。gydF4y2Ba

预处理gydF4y2Ba

预处理阶段包括删除表情符号或表情符号、停止词、数字和其他外文字符，然后基于空白进行标记化。预训练模型FastText [gydF4y2Ba26gydF4y2Ba]，用于校正[gydF4y2Ba27gydF4y2Ba拼写错误的单词。每个帖子的长度从5到300字不等。为了解决数据集的不平衡性质，分配了阶级权重，以给予少数民族阶级更多的关注。gydF4y2Ba

机器学习模型gydF4y2Ba

文本特征提取采用词袋法(BoW)和词频-逆文档频率法(TF-IDF)。BoW是一种常用的，使用词频来简化句子的表示方式。这种模式不考虑语法或单词的顺序，同时保留了多样性。我们使用BoW将文本转换为特征向量。TF-IDF是一种统计模型，经常用作信息检索、文本挖掘和用户建模的加权因子。它评估一个词与文档集合中的一个帖子的相关性。使用该特征提取方案获得原始帖子的基于bigram字数的稀疏表示矩阵。gydF4y2Ba

我们将一组SVM和补NB (NB家族成员)分类器应用于BoW表示[gydF4y2Ba28gydF4y2Ba]和另一组随机森林、逻辑回归和KNN分类器到TF-IDF编码方案的稀疏矩阵。我们结合了网格搜索来为每个模型找到最佳的超参数集(即，C, gamma和支持向量机分类器的核;随机森林分类器的估计量数;和KNN的邻居数)。gydF4y2Ba

深度学习模型gydF4y2Ba

深度学习架构在多类分类方面取得了突破性的成果。我们使用了一些标准的深度学习架构和一些与神经网络分类器结合的一维卷积层的变体。gydF4y2Ba

词嵌入是用作底层输入表示的词的向量表示。它们通常在很大程度上提高了情绪分析任务的性能。FastText提供157种语言的单词嵌入，包括孟加拉语。FastText的一些额外好处包括它对Word2vec的Skip-gram算法的扩展，以创建单词的字符级表示。在我们的研究中，我们选择FastText字嵌入嵌入层。杨等[gydF4y2Ba29gydF4y2Ba]探讨了深度学习在文本分类中的发展趋势。下一节描述如何从文本中提取低级序列并捕获长期依赖项。它还讨论了在我们的实验中使用的标准深度学习架构。gydF4y2Ba

图1gydF4y2Ba而且gydF4y2Ba2gydF4y2Ba展示我们实验中使用的一些通用架构。实验设计使用了1或这些架构的组合。gydF4y2Ba

‎gydF4y2Ba 查看此图gydF4y2Ba

‎gydF4y2Ba 查看此图gydF4y2Ba

BiLSTMgydF4y2Ba

一个BiLSTM从相反的方向连接两个层，这使得体系结构能够在两个方向上传播过去或未来的信息。LSTM的引入可以追溯到Hochreiter和Schmidhuber的工作[gydF4y2Ba30.gydF4y2Ba］．遗忘、输入和输出门用于捕获依赖项并更新当前的存储单元。下式表示单向LSTM架构的操作:gydF4y2Ba

我gydF4y2Ba_tgydF4y2Ba=σ(WgydF4y2Ba_我gydF4y2Ba×[hgydF4y2Ba_{t - 1gydF4y2Ba}, xgydF4y2Ba_tgydF4y2Ba+ bgydF4y2Ba_我gydF4y2Ba）gydF4y2Ba

fgydF4y2Ba_tgydF4y2Ba=σ(WgydF4y2Ba_fgydF4y2Ba×[hgydF4y2Ba_{t - 1gydF4y2Ba}, xgydF4y2Ba_tgydF4y2Ba+ bgydF4y2Ba_fgydF4y2Ba）gydF4y2Ba

问gydF4y2Ba_tgydF4y2Ba=双曲正切(WgydF4y2Ba_问gydF4y2Ba×[hgydF4y2Ba_{t - 1gydF4y2Ba}, xgydF4y2Ba_tgydF4y2Ba+ bgydF4y2Ba_问gydF4y2Ba）gydF4y2Ba

ogydF4y2Ba_tgydF4y2Ba= σ(Wo × [hgydF4y2Ba_{t - 1gydF4y2Ba}, xgydF4y2Ba_tgydF4y2Ba+ bo)gydF4y2Ba

cgydF4y2Ba_tgydF4y2Ba= fgydF4y2Ba_tgydF4y2Ba⊙cgydF4y2Ba_{t - 1gydF4y2Ba}+我gydF4y2Ba_tgydF4y2Ba⊙问gydF4y2Ba_tgydF4y2Ba

hgydF4y2Ba_tgydF4y2Ba= ogydF4y2Ba_tgydF4y2Ba⊙双曲正切(cgydF4y2Ba_tgydF4y2Ba）gydF4y2Ba

当前时刻的输入、遗忘门和输出门用x表示gydF4y2Ba_tgydF4y2BafgydF4y2Ba_tgydF4y2Ba，和ogydF4y2Ba_tgydF4y2Ba,分别。这些门的输出更新内存单元cgydF4y2Ba_tgydF4y2Ba和当前的隐藏状态hgydF4y2Ba_tgydF4y2Ba．σ表示的sigmoid函数的定义域为(0,1)。双曲正切函数的输出位于(- 1,1)之间。fgydF4y2Ba_tgydF4y2Ba函数控制要保留多少信息，输入门存储相关信息。gydF4y2Ba

BiLSTM和自我关注gydF4y2Ba

自我注意层将序列作为输入，输出聚合注意分数以找出需要关注的序列。在我们的方法中，双向层之后是Self-Attention层和GlobalMaxPooling层。巴达瑙等[gydF4y2Ba31gydF4y2Ba]提出了最先进的注意力架构，通过对输入向量和隐藏单元进行加权求和来生成上下文向量。与传统的BiLSTM不同的是，它对输入句子中的所有单词都进行了同等的强调。在下面的公式中，上下文向量用c表示gydF4y2Ba_我gydF4y2Ba和αgydF4y2Ba_ijgydF4y2Ba指通过反向传播计算的权重。hgydF4y2Ba_jgydF4y2Ba指输入序列中的第j个单词。gydF4y2Ba

CgydF4y2Ba_我gydF4y2Ba=ΣαgydF4y2Ba_ijgydF4y2BahgydF4y2Ba_jgydF4y2Ba

计算t的加权和gydF4y2Ba_xgydF4y2Ba注释。此外，权值为αgydF4y2Ba_ijgydF4y2Ba采用softmax函数进行计算。一些研究人员已经将注意力机制应用于文本分类，并报告说结果已经超过了那些更简单的架构[gydF4y2Ba32gydF4y2Ba，gydF4y2Ba33gydF4y2Ba］．gydF4y2Ba

CNN深处gydF4y2Ba

cnn使用在张量上滑动核的概念来创建特征映射。这些特征图捕捉了整个文本的重要特征，以获得对文本的一些理解。特征向量在单通道上的滑动核操作可以用以下公式总结:gydF4y2Ba

C = f(wgydF4y2Ba^TgydF4y2Ba×xgydF4y2Ba_{我:h + 1gydF4y2Ba}+ b)gydF4y2Ba

康诺等[gydF4y2Ba34gydF4y2Ba]探索了深度cnn，并得出结论，性能随着深度的增加而增加。他们的架构包括卷积块，每个卷积块有2个卷积层以及批处理归一层和ReLU非线性。全连接层位于K-Max Pooling层之后。我们的体系结构包括3个具有3×3内核大小的一维卷积层和512个密集层单元。所使用的3个池化层的池大小分别为3、5和14。该模型训练20个epoch，批大小为32个。gydF4y2Ba

深CNN-BiLSTMgydF4y2Ba

哈桑和马哈茂德[gydF4y2Ba35gydF4y2Ba]提出了一种用于句子分类的卷积循环结构。他们修改了标准的CNN-LSTM架构，排除了池化层。在我们的实验中，我们修改了标准架构，将池化层放置在每个卷积层之后，如图所示gydF4y2Ba图2gydF4y2Ba．许多作者将CNN-LSTM架构与独立的cnn、lstm - cnn和其他变体进行了比较[gydF4y2Ba36gydF4y2Ba，gydF4y2Ba37gydF4y2Ba］．在我们的例子中，我们将深度卷积块与池化层一起放置。接下来，具有最小维度的池化输出被传递给一个LSTM，该LSTM学习所提取的局部特征的顺序。gydF4y2Ba

通过增加自我注意层或改变编码器来修改上述架构，进一步进行了实验。实验模型包括深度CNN-BiGRU、带有自我注意的深度CNN-BiLSTM、带有自我注意的深度CNN-BiGRU和深度CNN-Self-Attention。gydF4y2Ba

天鹤座gydF4y2Ba

这种结构排除了输出门，并且具有较少的参数。它由两个门组成，复位门和更新门。重置门处理架构的短期内存。gydF4y2Ba

rgydF4y2Ba_tgydF4y2Ba=σ(xgydF4y2Ba_tgydF4y2Ba×UgydF4y2Ba_rgydF4y2Ba+ HgydF4y2Ba_{t - 1gydF4y2Ba}×WgydF4y2Ba_rgydF4y2Ba）gydF4y2Ba

ugydF4y2Ba_tgydF4y2Ba=σ(xgydF4y2Ba_tgydF4y2Ba×UgydF4y2Ba_ugydF4y2Ba+ HgydF4y2Ba_{t - 1gydF4y2Ba}×WgydF4y2Ba_ugydF4y2Ba）gydF4y2Ba

该模型的第一步涉及到候选隐藏状态的计算，这是由之前时间戳的隐藏状态决定的，并乘以复位门输出。tanh激活函数的结果输出是候选隐藏状态。gydF4y2Ba

ĤgydF4y2Ba_tgydF4y2Ba=双曲正切(xgydF4y2Ba_tgydF4y2Ba×UgydF4y2Ba_ggydF4y2Ba+ (rgydF4y2Ba_tgydF4y2BaᵒHgydF4y2Ba_{t - 1gydF4y2Ba}) × wgydF4y2Ba_ggydF4y2Ba

候选门可以容纳的信息范围由复位门决定。然后使用候选隐藏状态来计算当前隐藏状态。gru单独使用或作为其他混合架构的一部分已被证明是成功的[gydF4y2Ba38gydF4y2Ba，gydF4y2Ba39gydF4y2Ba］．gydF4y2Ba

预训练语言模型gydF4y2Ba

拥抱脸转换器库提供了各种预训练的语言模型[gydF4y2Ba40gydF4y2Ba］．戴夫林等[gydF4y2Ba41gydF4y2Ba]提出了一种新的语言表示模型，称为BERT。该模型在大量文本数据上进行训练，以学习双向表示，并且该体系结构为特定于任务的微调提供了空间。训练的第一部分涉及实现一个屏蔽语言模型。一小部分单词被替换为一个固定的标记来掩盖它们。该模型被训练为基于上下文预测掩码标记。为了使BERT模型适合于分类，在第一句话的开头插入了一个分类标记，在最后放置了一个分隔标记。此外，标记被分配一个句子和位置嵌入。在变压器模型之后放置一个分类层，用于情感检测或情感分析任务。gydF4y2Ba

XLM-RoBERTagydF4y2Ba

该模型是在BERT基础上开发的，使用更丰富的词汇对多语言语料库进行预训练[gydF4y2Ba42gydF4y2Ba，gydF4y2Ba43gydF4y2Ba］．在我们的实验中使用的XLM-RoBERTa架构包括一个在~ 3gb单语孟加拉语料库上训练的预训练模型[gydF4y2Ba22gydF4y2Ba］．gydF4y2Ba

评估gydF4y2Ba

对于我们的不平衡分类问题，我们使用类加权评价指标，如加权gydF4y2BaFgydF4y2Ba_1gydF4y2Ba评分、加权精度和召回率。对于加权的gydF4y2BaFgydF4y2Ba_1gydF4y2Ba分数，我们调整了gydF4y2BaFgydF4y2Ba_1gydF4y2Ba每一类的分数根据样本在该类的比例。宏,gydF4y2BaFgydF4y2Ba_1gydF4y2Ba分数返回平均值gydF4y2BaFgydF4y2Ba_1gydF4y2Ba评分时不考虑每个类别标签的样本数量。因此，它对阶级失衡不敏感。gydF4y2Ba

FgydF4y2Ba _1gydF4y2Ba得分= 2 ×(精度×召回率)/(精度+召回率)gydF4y2Ba

加权gydF4y2BaFgydF4y2Ba _1gydF4y2Ba分数= [NgydF4y2Ba_1gydF4y2Ba×类gydF4y2Ba_{1 _gydF4y2Ba FgydF4y2Ba 1gydF4y2Ba}) + (ngydF4y2Ba_2gydF4y2Ba×类gydF4y2Ba_{2 _gydF4y2Ba FgydF4y2Ba 1gydF4y2Ba}) + (ngydF4y2Ba_3.gydF4y2Ba×类gydF4y2Ba_{3 _gydF4y2Ba FgydF4y2Ba 1gydF4y2Ba}) + (ngydF4y2Ba_4gydF4y2Ba×类gydF4y2Ba_{4 _gydF4y2Ba FgydF4y2Ba 1gydF4y2Ba}) / (NgydF4y2Ba_1gydF4y2Ba+ NgydF4y2Ba_2gydF4y2Ba+ NgydF4y2Ba_3.gydF4y2Ba+ NgydF4y2Ba_4gydF4y2Ba）gydF4y2Ba

结果gydF4y2Ba

传统模型gydF4y2Ba

我们将纯孟加拉语文本的真实标签与模型预测进行了比较，并总结了传统的机器学习模型gydF4y2Ba表2gydF4y2Ba而且gydF4y2Ba3.gydF4y2Ba)．具有线性核的SVM在TF-IDF向量表示上实现了最高的泛化能力，准确率为78%。此外，该结果略好于在具有径向基函数(rbf)核的相同表示上训练的SVM模型，这意味着表示在某种程度上是线性可分的。以下是通过网格搜索得到的超参数值:gydF4y2Ba

弓:gydF4y2Ba

• 内核:rbfgydF4y2Ba
• C: 55gydF4y2Ba
• γ:0.008gydF4y2Ba

TF-IDF:gydF4y2Ba

• 内核:线性gydF4y2Ba
• C: 1gydF4y2Ba

此外，随机森林模型使用25,000个估计器进行训练，并相应地分配类别权重以考虑类别不平衡，达到了75%的准确率。gydF4y2Ba

深度学习架构gydF4y2Ba

我们还报告了加权gydF4y2BaFgydF4y2Ba_1gydF4y2Ba分数,macroaveragegydF4y2BaFgydF4y2Ba_1gydF4y2Ba分数，以及纯孟加拉语文本的深度学习架构的准确性。我们的循环模型有以下设置:嵌入层，然后是1D空间dropout，循环单元堆栈和密集层。一维空间dropout删除整个特征图;换句话说，它通过将一个特征的激活设置为0来丢弃一个特征及其相关的邻居。空间失落率在0.1 ~ 0.4之间变化。gydF4y2Ba

此外，在使用cnn进行特征提取时，将深度卷积块放置在嵌入层之后，然后进行1D空间dropout。所有模型的训练批次大小分别为32和64。LSTM单元的权重最高gydF4y2BaFgydF4y2Ba_1gydF4y2Ba得分和准确度为0.78。以下gydF4y2Ba表4gydF4y2Ba详细说明我们最终的深度学习架构的结果。BiGRU达到了一个加权gydF4y2BaFgydF4y2Ba_1gydF4y2Ba得分为0.81，而附加层能够较好地区分类别。BERT架构调整为批处理大小为8，学习率为1 × 10gydF4y2Ba^4gydF4y2Ba，以及由4096个单元组成的全连接层，L1和L2正则化单元设置为0.01。该模型在NVIDIA RTX 3060 GPU上训练了400个epoch。gydF4y2Ba

表5gydF4y2Ba详细介绍了BiGRU在各个严重级别上的性能。它能够区分严重程度为4级的帖子，准确率为81%。此外，严重程度1级和2级帖子的检测准确率分别为86%和82%。同样重要的是要注意，基于cnn的循环模型在4级严重程度检测的情况下实现了更高的准确性。特别是深度CNN-BiGRU的准确率达到了83%，深度CNN-BiLSTM的准确率达到了82%。gydF4y2Ba

我们研究的目的是最大化回忆作为一个指标，因为假阴性病例可能会对有自杀倾向的人寻求帮助造成阻碍。BiGRU达到了88%的精度，所以如果度量最大化，它可能会过滤掉大多数严重的情况。gydF4y2Ba

讨论gydF4y2Ba

主要研究结果gydF4y2Ba

本文讨论了一项基于孟加拉语文本数据的实证研究，该研究确定了抑郁症的严重程度。在分类之前，对1到4类的不同案例进行了深入研究。研究结果表明，通过结合机器学习和深度学习方法，可以在复杂心理任务(如抑郁症分析)的语言学数据集上获得相当大的准确性。gydF4y2Ba

分析gydF4y2Ba

在我们的环境中，由于几个原因，独立rnn的性能超出了预期。首先，BERT等复合模型倾向于用小型多标签数据集产生平均结果[gydF4y2Ba44gydF4y2Ba］．其次，在我们的数据集中，词语的顺序对于总结一个人的精神状态的性质很重要。独立的RNN模型从输入句子中捕获短到中范围的依赖关系。例如，在从数据集中提取的连续句子中gydF4y2Ba，匿名者写道，“我会死的，”或者“gydF4y2Ba“在接下来的句子中，他们对这个问题和国家不再是被动的，”gydF4y2Ba，或者“我觉得有一天我可能会自杀”，表明未来可能会自杀。卷积层和池化层往往会破坏关于单词的局部顺序的信息，而这些信息必须被捕获才能进行适当的分类。最后，在大多数情况下，我们的标签标准强调绝对词，如“gydF4y2Ba(情绪),gydF4y2Ba(强迫症),gydF4y2Ba(超)gydF4y2Ba(精神问题)”和“gydF4y2Ba(总觉得心烦)gydF4y2Ba“注意力模型将注意力权重分配给输入表示，它需要一个大得多的语料库来准确计算哪个单词标记将被分配更高的权重。gydF4y2Ba

以前对抑郁英语文本进行语言分析的研究主要集中在识别特定的情绪或心理健康问题上。在此过程中，作者对从Reddit收集的语料库进行了多标签分类。纳入孟加拉语文本数据的研究在很大程度上仅限于抑郁和非抑郁文本的分类。因此，这项研究的意义在于证明了深度学习分类器不仅可以识别特定的情绪或状况，还可以对严重程度进行分类。第二，继续对孟加拉语NLP的研究，包括层次抑郁标签的分类。gydF4y2Ba

从研究中收集的证据表明，顺序深度学习架构可以产生高质量的结果。由于孟加拉语资源的不可用性，一部分混合架构受到了限制。许多最先进的技术受益于属于一系列社会主题的大量文本数据。然而，对于低资源语言中的小众社会主题的分类，RNN模型在不需要大型语料库和高计算能力的情况下可以更好地泛化。gydF4y2Ba

限制gydF4y2Ba

缺乏纯正的孟加拉文是我们工作的一个限制。说孟加拉语的人用罗马化的孟加拉语书写文本，这是孟加拉语在英语脚本中的表现形式。我们无法使用最初收集到的一小部分数据，因为有些文本是代码混合的，或者是用罗马化的孟加拉语编写的。此外，孟加拉语是一种低资源语言，语料库中的用户帖子属于专门的社会话题。gydF4y2Ba

结论gydF4y2Ba

未来的研究也可能侧重于设计使用罗马化孟加拉语文本的实验。尽管这项研究存在局限性，但我们的模型的整体表现和研究结果表明，机器学习和深度学习模型是相当稳健的，适用于识别心理健康状况的严重程度。gydF4y2Ba