新闻文章可靠性的数据挖掘与分类:深度学习研究gydF4y2Ba

简介gydF4y2Ba

COVID-19大流行的爆发给世界带来了更多的战斗。在“信息大流行”期间，世界面临着大量虚假信息，“信息大流行”的定义是在大流行期间传播大量包括误导性或虚假信息在内的信息[gydF4y2Ba1gydF4y2Ba,gydF4y2Ba2gydF4y2Ba］．由于隔离和越来越多的限制，信息通过社交媒体和新闻来源被贩运给公众;因此，虚假信息以更大的规模和更快的速度传播。尽管有公共卫生指南，但网上仍然存在大量虚假和误导性信息，约占主要社交媒体网站(如Twitter)文章的20% [gydF4y2Ba3.gydF4y2Ba］．虽然分享虚假信息的比例低于循证指南，但虚假信息的传播速度更快，因为它包含了煽动性的信息[gydF4y2Ba4gydF4y2Ba,gydF4y2Ba5gydF4y2Ba］．此外，资讯疫症管理是维持公众对科学指导信任的重要方面[gydF4y2Ba1gydF4y2Ba］．因此，我们需要构建遏制网络虚假信息传播的方法，并识别虚假新闻的潜在来源。gydF4y2Ba

网上大量的虚假新闻可能是虚假信息，内容往往缺乏可靠性和可信度。gydF4y2Ba6gydF4y2Ba-gydF4y2Ba8gydF4y2Ba］．Disinformation的定义是故意传播虚假信息，misinformation的定义是疏忽分享虚假信息[gydF4y2Ba6gydF4y2Ba］．下面，我们将不区分虚假信息和错误信息，我们将把它们合称为虚假信息。虚假新闻可分为6类:宣传、广告、操纵、讽刺、戏仿和捏造[gydF4y2Ba6gydF4y2Ba］．虽然新闻机构和社交媒体公司已经实施了标记和删除虚假新闻的措施，但人工检测虚假新闻的速度还不足以与它在社交媒体上的快速传播相竞争[gydF4y2Ba9gydF4y2Ba,gydF4y2Ba10gydF4y2Ba］．大约62%的美国成年人从社交媒体网站获取新闻;因此，更快的事实核查对于确保减少虚假信息的传播至关重要。gydF4y2Ba11gydF4y2Ba］．因此，虚假新闻的传播导致了公众的混乱，这可能与反病毒和疫苗的言论有关[gydF4y2Ba10gydF4y2Ba］．目前，在线检测虚假新闻的最常见方法之一是通过人工策划的事实核查网站(如Snopes)标记虚假信息。gydF4y2Ba12gydF4y2Ba］．尽管这种方法可能是准确的，但由于COVID-19大流行期间产生了大量虚假新闻，因此效率很低[gydF4y2Ba10gydF4y2Ba］．因此，需要对新闻稿件进行可靠性自动检测。gydF4y2Ba

目前，利用机器学习(ML)在社交媒体上进行虚假新闻检测已经得到了广泛的研究。新闻页面的各种文本特征被用来预测文章的可靠性。利用多特征来预测虚假信息的存在是当前虚假信息检测研究的共同主题。使用多个特性可以提高ML模型的性能。例如，Reis等[gydF4y2Ba13gydF4y2Ba]使用文本特征(如语义和词汇特征)和新闻来源特征(如新闻组织的可信度)作为ML模型的输入。使用传统的分类器，如随机森林和极端梯度增强(XGBoost)，其性能分别为0.85和0.86的曲线下面积(AUC) [gydF4y2Ba13gydF4y2Ba］．Elhadad等[gydF4y2Ba14gydF4y2Ba]除了特征工程外，还使用了投票集成方法来进行情感和词性标记。Singhania等[gydF4y2Ba15gydF4y2Ba他使用来自单词、句子和新闻文章标题级别的输入创建了一个3级HAN模型。类似的研究提出了其他词汇特征，如n-grams，术语频率逆文档频率(TF-IDF)和概率上下文无关语法(PCFG)也被用作使用深度学习进行错误信息预测的特征[gydF4y2Ba16gydF4y2Ba］．因此，特性工程提供了更高的性能指标以及更好的可解释性。这些特征使模型能够专注于重要的元素，从而实现可靠性预测，特别是在新闻文章中，尽管样本之间存在很高的异质性和噪声。为了建立在其他虚假信息研究发现的基础上，以及确定有助于虚假信息检测的重要新因素，我们使用ReCOVery数据集创建了一个最终的集成模型[gydF4y2Ba17gydF4y2Ba］．gydF4y2Ba

采用集成方法进一步提高新闻文章中的错误信息检测性能。集成模型的使用可以通过提高对模型未经过训练的数据的泛化能力来提高模型性能[gydF4y2Ba18gydF4y2Ba］．库马尔等[gydF4y2Ba19gydF4y2Ba]在使用集成模型后表现出了性能的提高，其中使用集成深度学习模型与卷积神经网络(CNN)和双向长短期记忆(BiLSTM)能够获得比单独使用CNN或长短期记忆(LSTM)模型更高的性能，其性能精度分别为88.78%，而CNN和LSTM分别为73.29%和80.62%。由于新闻文章的大小，选择了一个双向门控循环单元(BiGRU)作为集成中的第一个模型[gydF4y2Ba20.gydF4y2Ba］．该模型是一种循环神经网络(RNN)，可以很好地处理顺序文本数据。BiGRU解决了消失梯度问题，模型在长新闻文章上进行训练，并“忘记”文章开头的信息。这个模型由许多神经元或细胞组成，每个神经元或细胞都有一个更新门来控制每个单词添加什么新信息，还有一个重置门来控制保留多少旧信息。BiGRU的双向特性允许它从文章的开头和结尾处理每个示例。与其他最先进的自然语言处理(NLP)模型(如LSTM)相比，门控循环单元(GRU)具有更低的参数，使其更快地训练和使用[gydF4y2Ba21gydF4y2Ba,gydF4y2Ba22gydF4y2Ba］．一个更快的模式很重要，因为每天都有大量的新闻文章发布;因此，虚假信息检测模型需要既准确又快速，以跟上新文章的数量。XGBoost是集成模型中包含的另一个模型。XGboost的一个优势是它从表格数据中学习的出色能力[gydF4y2Ba23gydF4y2Ba,gydF4y2Ba24gydF4y2Ba］．作为一种梯度增强树模型，它比神经网络更快，并且在特征提取后的第一个模型的低维输出上工作得更好。此外，XGBoost已被证明优于表格数据的深度学习模型，因为超参数搜索更短[gydF4y2Ba24gydF4y2Ba］．此外，XGBoost在集成模型中与深度学习模型相结合的结果比具有多个深度学习模型或经典ML模型的集成模型的结果更好[gydF4y2Ba24gydF4y2Ba］．gydF4y2Ba

本研究旨在通过集成深度学习模型，利用恢复数据集对新闻文章的可靠性进行分类，为多方面的虚假信息问题提供一种潜在的解决方案。我们假设新闻文章中的情感、可读性、词汇类别和其他文本特征可以共同作为提高新闻可靠性分类的输入。我们还探讨了可靠信息和不可靠信息在情感或语气上的差异，可以用来对文本的可靠性进行分类。我们的研究结果可能会促进新闻可靠性分类，并帮助研究人员和公众在日常生活中识别不可靠的新闻文章。gydF4y2Ba

方法gydF4y2Ba

工作流gydF4y2Ba

首先，使用ReCOVery数据集完成数据预处理，其中包括删除停止词、链接和通用资源定位器(url)以及重复的文章(gydF4y2Ba图1gydF4y2Ba)．缩写和数字到单词的转换也在预处理步骤中完成。在对数据进行预处理之后，我们执行了特征工程来创建可读性和情感评分，并从文本中提取词汇类别(gydF4y2Ba图1gydF4y2Ba)．预处理数据被分成训练集、验证集和测试集。在训练集和验证集上进行单词标记化和嵌入。标记化和嵌入完成后，在验证集上训练和评估9个不同的ML模型，以确定表现最佳的模型。我们将朴素贝叶斯(NB)、k -最近邻(KNNs)和逻辑回归(LR)称为传统的ML模型，因为它们不是深度学习模型。性能最好的模型是包含双向GRU和XGBoost集成“新模型”的集成模型，如中蓝色突出显示的那样gydF4y2Ba图1gydF4y2Ba．gydF4y2Ba

‎gydF4y2Ba 查看此图gydF4y2Ba

数据描述gydF4y2Ba

ReCOVery数据集是我们连接到Twitter帖子的新闻文章的主要数据来源[gydF4y2Ba17gydF4y2Ba］．它关注来自广泛新闻来源的新闻文章的可靠性，包含来自不同国家的约2000家不同新闻媒体的2029篇与COVID-19新闻有关的文章(过滤时间为2020年1月至5月)[gydF4y2Ba17gydF4y2Ba］．根据NewsGuard的评分，每篇文章都被标记为0(不可靠)或1(可靠)[gydF4y2Ba17gydF4y2Ba］．NewsGuard评分由记者开发，用于标记在线文章的可靠性。NewGuard采用0-100分的评分标准，对新闻实践可信、透明的文章进行评分。得分在60分以上的在线文章被标记为“绿色”可靠来源，得分低于60分的在线文章被标记为“红色”不可靠来源。gydF4y2Ba17gydF4y2Ba,gydF4y2Ba25gydF4y2Ba］．除了NewsGuard评分，ReCOVery还使用了Media Bias/Fact Check，根据文章的主观性来检查新闻来源的正确性，并根据事实报道将文章从“非常高”到“非常低”进行排名[gydF4y2Ba17gydF4y2Ba,gydF4y2Ba26gydF4y2Ba］．可靠的文章在NewsGuard的评分高于90分，在媒体偏见/事实检查中评分为“非常高”或“高”。不可靠的文章在NewsGuard的评分低于30分，在媒体偏见/事实检查中，事实评级为“混合”、“低”或“非常低”[gydF4y2Ba17gydF4y2Ba］．ReCOVery数据集结合了NewsGuard和媒体偏见/事实检查得分，创建了最终的新闻文章可靠性得分。gydF4y2Ba

预处理gydF4y2Ba

在数据分析之前，文章文本和推文数据经过多个预处理步骤。预处理的目的是清理数据，使深度学习模型能够更有效地检测数据中的模式。预处理文章文本的步骤包括删除重复的文章或推文;常见的停顿词，如“the”和“a”;以及所有链接和非英语字符。除将首字母缩略词转换为全称外，还完成了该条文本的词元化。gydF4y2Ba

预处理是使用Python库进行的，例如Pandas和Natural Language Toolkit [gydF4y2Ba27gydF4y2Ba,gydF4y2Ba28gydF4y2Ba］．模型训练使用可靠文章1346篇，不可靠文章648篇。此外，有34篇文章因字数不足100字而被删除，这限制了信度分析的有效性。预处理后，从新闻文章中提取文本特征、可读性和情感等特征进行分析，并将其作为深度学习模型的输入。gydF4y2Ba

情绪分析gydF4y2Ba

对可靠文章和不可靠文章的正文进行情感分析。这是通过价感字典和情感推理器(VADER)和TextBlob实现的，这是用于确定主要情感、极性和主观性的开源工具[gydF4y2Ba29gydF4y2Ba,gydF4y2Ba30.gydF4y2Ba］．分析依赖于词典分析，将每篇文章的文本特征映射到情感、极性和强度方面的不同分数。在情感方面，文章在0到1之间有一个连续的分数，包括两个端点，1表示文章包含指定的情感作为主要情感。例如，如果一篇文章的积极情绪为1，这意味着这篇文章包含了最高可能的积极情绪。VADER和TextBlob被导入到Python中，并应用于数据集中的文章正文。通过VADER和TextBlob中的库函数确定积极、消极和中性情绪的文章的总比例。gydF4y2Ba

文本分析gydF4y2Ba

预处理后，对文章正文进行分析。确定了可靠文章和不可靠文章中最常见的单词。它们以频率柱状图显示，以说明不可靠和可靠产品之间的主要区别(gydF4y2Ba图2gydF4y2Ba而且gydF4y2Ba3.gydF4y2Ba分别)。深度学习模型中包含的另一个功能是报纸文章的文本长度和可读性。文章的长度是用文章句子的字符长度和文章的整体长度来评估的。可读性的评估使用了来自by - readable -metrics库的6种不同的可读性指标:Flesch-Kincaid等级水平、Gunning fog指数、Coleman-Liau指数、Dale-Chall指数、自动可读性指数(ARI)和Linsear Write指数[gydF4y2Ba31gydF4y2Ba］．上述可读性指标是根据句子长度和单词长度来确定理解书面文件所需的等级[gydF4y2Ba32gydF4y2Ba］．gydF4y2Ba

Flesch-Kincaid阅读难度指数是根据Flesch-Kincaid阅读难度指数修改的，该指数比较了每句话的单词比例和每个单词的音节比例[gydF4y2Ba33gydF4y2Ba］．该量表的值线性地表明了文本的估计美国等级水平。例如，10-12分表示目标读者处于高中水平，而高于12分则是研究生水平的文章[gydF4y2Ba33gydF4y2Ba］．类似地，Coleman-Liau指数和ARI都评估字符和词频，以接近美国阅读文本所需的年级水平[gydF4y2Ba34gydF4y2Ba］．Gunning fog指数用于评估文本中难词的出现频率，在0到20之间呈线性变化:16-20分为研究生水平。gydF4y2Ba35gydF4y2Ba］．类似地，Dale-Chall指数评估了难词的出现频率，但进行了缩放，因此9-10分代表大学研究生水平的文本。gydF4y2Ba31gydF4y2Ba,gydF4y2Ba36gydF4y2Ba-gydF4y2Ba38gydF4y2Ba］．最后，Linsear Write指数用于评估技术文本的可读性，其得分代表理解文本所需的正规美国教育年限，与之前的指数类似[gydF4y2Ba39gydF4y2Ba］．gydF4y2Ba

主题分析使用Empath，一种基于神经网络的词典[gydF4y2Ba40gydF4y2Ba］．神使能够确定某句话是否具有政治、宗教、满足等词汇类别，以及大约200种以上的类别。gydF4y2Ba40gydF4y2Ba］．通过使用Empath处理文本，我们导出了194个词汇类别，这些类别被用作附加特征，在最终的深度学习模型中与之前的文本、情感和可读性特征相连接。从Empath提取的词汇类别增加了深度学习模型为每篇文章训练的信息量，并允许更好的可解释性，因为主题频率的差异也可以评估。对于每个词汇类别，导出了可靠和不可靠文章的平均计数，以及gydF4y2BatgydF4y2Ba测试和gydF4y2BaPgydF4y2Ba值(gydF4y2Ba表1gydF4y2Ba)．gydF4y2Ba

‎gydF4y2Ba 查看此图gydF4y2Ba

‎gydF4y2Ba 查看此图gydF4y2Ba

标记gydF4y2Ba

由于ML模型只接受数值输入，因此文本数据必须被标记化。这个过程涉及到一个单词索引字典，其中数据集中的每个单词都被转换为一个数值或索引，该数值或索引对应于字典中的单词。例如，像“冠状病毒”这样的单词可以作为值1234呈现给ML模型。由于每个唯一的单词创建一个唯一的索引号，数据集中的“词汇量”或唯一单词的总数可能是一个问题，特别是在数据集很大的情况下，因为在数据集中出现一到两次的单词通常对模型的有效性没有贡献。我们将训练数据中38663个独特单词的词汇量限制在20000个(51.73%)。这排除了在数据集中只使用过一次的单词，因为这些单词对模型没有用处——齐夫定律重申，词汇量越大，回报越小，因为我们经常使用的词汇量只占总词汇量的一小部分[gydF4y2Ba41gydF4y2Ba,gydF4y2Ba42gydF4y2Ba］．此外，对于一个以英语为母语的人的平均词汇量，有各种各样的估计，其中20,000左右是词汇量的合理估计。gydF4y2Ba43gydF4y2Ba,gydF4y2Ba44gydF4y2Ba］．文章也进行了0填充，大小为3500字，这是最长的文章大小，以保证模型输入的一致性。gydF4y2Ba

字嵌入gydF4y2Ba

在标记化之后，使用单词嵌入(一种无监督ML)对数据进行处理。单词嵌入将单个单词的数据点放置到高维的嵌入空间中。在这个嵌入空间中，每个单词都表示为一个向量，其中彼此相似的单词位于靠近的位置。因此，词嵌入允许相似词之间的隐藏关系被量化，用于ML分析。虽然可以在我们的数据集上训练并拟合一个新的单词嵌入层，但存在更有效使用的预训练单词嵌入模型。对于文章文本数据，我们利用了单词表示的全局向量(GloVE)，这是一种常用的单词嵌入模型，在数十万个维基百科文章上进行了训练，这些文章的嵌入空间为100维[gydF4y2Ba45gydF4y2Ba］．gydF4y2Ba

机器学习分类gydF4y2Ba

数据被随机分为深度学习的训练、测试和验证子集。这些子集的比例分别为8:1:1。1994年的文章中，1595篇(79.99%)属于训练子集，199篇(9.98%)属于验证子集，200篇(10.03%)属于测试子集。使用训练数据和验证数据构建模型，对可靠文章和不可靠文章进行分类，而测试数据用于评估模型的性能。对数据进行拆分，然后进行模型训练和评价，重复10次，使每篇文章都能被纳入训练集。在每一次折叠训练中获得的性能指标之间取平均值。我们评估了多个ML模型在数据集(NB, KNNs, LR, LSTM, GRU, BiLSTM, BiGRU和CNN)上的性能，以确定可靠性检测的最佳模型。这些设置或超参数是通过实验或使用Gridsearch进行优化的，Gridsearch为前面提到的每个ML模型测试超参数的所有组合。gydF4y2Ba

最后，我们开发了一个集成模型，使用经过轻度训练的BiGRU生成初始可靠性预测，然后将其与文本特征、可读性、情感和移情分类词汇类别相结合。然后，这被用于训练XGBoost模型，并进行10次交叉验证。gydF4y2Ba

本文使用了几个依赖于混淆矩阵结果的评估指标。这些指标来自模型的正确预测，如真阳性(TP)和真阴性(TN)，以及不正确的预测，如假阳性(FP)和假阴性(FN)。准确性是正确预测的总比例，但当存在类别不平衡时，这个评估指标就不那么有效了。敏感性是指正确预测不可靠文章的比例，特异性是指正确预测可靠文章的比例。AUC评分显示了模型在不同TP和FP速率下的性能[gydF4y2Ba46gydF4y2Ba］．gydF4y2Ba

灵敏度(召回率)= TP/(TP + FN)gydF4y2Ba

特异性= TN/(TN + FP)gydF4y2Ba

精度= (TP + TN)/(TP + TN + FP + FN)gydF4y2Ba

道德的考虑gydF4y2Ba

本文中使用的数据不需要伦理批准，因为它们是通过开放访问恢复数据集GitHub访问的，引用Zhou等人[gydF4y2Ba17gydF4y2Ba］．gydF4y2Ba

结果gydF4y2Ba

数据探索gydF4y2Ba

执行数据探索，并将可读性、情感和词汇类别等特征与完整的新闻文章文本数据相结合，以训练集成模型。利用1346篇可靠文章和648篇不可靠文章创建了一种使用BiGRU和XGBoost的集成方法。gydF4y2Ba

在数据挖掘过程中，我们发现不可靠文章的平均字长和句子长度比可靠文章的平均文本长度要长(gydF4y2Ba表2gydF4y2Ba)．Flesch-Kincaid等级水平、Dale-Chall指数、ARI、Coleman-Liau指数、Gunning fog指数和Linsear Write指数表明，可靠的文章比不可靠的文章更容易阅读(gydF4y2Ba表2gydF4y2Ba)．从194个共情词类的平均频次来看，110个(56.7%)在可靠文章和不可靠文章之间存在显著差异(gydF4y2Ba多媒体附件1gydF4y2Ba)．不可靠和可靠文章中出现频率最高的单词也被可视化(gydF4y2Ba图2gydF4y2Ba而且gydF4y2Ba3.gydF4y2Ba分别)。不可靠的文章有较高的负面情绪比率，而可靠的文章有较高的中性情绪比率(gydF4y2Ba表3gydF4y2Ba)．确定了各种训练过的ML模型以及新的集成模型的性能指标(gydF4y2Ba表3gydF4y2Ba)．gydF4y2Ba

文本分析gydF4y2Ba

在剔除停顿词后，研究了可靠文章和不可靠文章中出现频率最高的单词。不可靠和可靠文章的最高词频以频率柱状图(gydF4y2Ba图2gydF4y2Ba而且gydF4y2Ba3.gydF4y2Ba)．可靠新闻和不可靠新闻的常用词汇是“冠状病毒”、“病毒”、“大流行”等与covid -19相关的关键词。这些差异与政治含义有关，比如“特朗普”和“政府”。此外，Empath词汇工具应用于文本以产生词汇类别。每个词汇类别的平均计数被确定为可靠和不可靠的文本。然后比较平均值的差异gydF4y2BatgydF4y2Ba测试。在可靠文本和不可靠文本之间，共有194个词汇类别在频率上存在显著差异(gydF4y2Ba多媒体附件1gydF4y2Ba而且gydF4y2Ba表1gydF4y2Ba)．在gydF4y2Ba表1gydF4y2Ba，我们列出了排名前10的词汇类别gydF4y2BaPgydF4y2Ba价值。类别包括“魔法”、“权力”、“商业”、“工作”、“满足感”、“办公室”、“纠纷”、“早晨”、“传奇”和“蓝领工作”。在“商业”、“工作”、“满足感”、“办公室”、“早晨”和“蓝领工作”这几个词汇类别中，可靠文章的平均得分高于不可靠文章。在“魔法”、“权力”、“传说”和“争议”这几个词汇类别中，可靠文章的平均数量低于不可靠文章。在文本特征方面，可靠新闻文章与不可靠新闻文章的平均句子长度存在显著差异，可靠新闻文章的句子较短，为23.67 (SD 5.17)个/句，而不可靠新闻文章的句子较短，为26.38 (SD 7.06)个/句(gydF4y2Ba表2gydF4y2Ba)．此外，可靠文章和不可靠文章的平均字长分别为6.14 (SD 0.27)和6.32 (SD 1.66)。除了文本长度，我们还分析了可靠文章和不可靠文章在可读性上的差异。使用的可读性指标有Flesch-Kincaid等级、Dale-Chall指数、ARI、Coleman-Liau指数、Gunning fog指数和Linsear Write指数。如gydF4y2Ba表2gydF4y2Ba，不可靠文章的可读性较差，6个可读性指标均显示不可靠文章的可读性较差。由于这些文本特征对于区分可靠和不可靠的新闻文章非常重要，因此它们被输入到我们最终的深度学习模型中。gydF4y2Ba

情绪分析gydF4y2Ba

使用VADER，文章中的句子被分为积极的、中性的和消极的情绪。情绪评分范围从0到1,1表示强烈表达感兴趣的情绪。对于可靠的文章，消极、中立和积极情绪得分的平均值分别为0.066 (SD 0.042)、0.850 (SD 0.054)和0.084 (SD 0.035) (gydF4y2Ba表3gydF4y2Ba)．对于不可靠的文章，负面、中性和正面情绪得分的平均值分别为0.076 (SD 0.039)、0.840 (SD 0.050)和0.084 (SD 0.035)。gydF4y2Ba

机器学习分析gydF4y2Ba

报纸文章数据经过GloVE word embedding传递后，对文本数据进行10倍分割进行交叉验证。传统的ML模型包括LR、knn和NB。AUC值(gydF4y2Ba图4gydF4y2Ba)，除灵敏度和召回值(gydF4y2Ba表4gydF4y2Ba)．gydF4y2Ba

接下来，对深度学习模型进行拟合。每个模型都包含训练前的GloVE词嵌入。深度学习模型的超参数优化使用ML Python scikit-learn库中的GridSearchCV完成。优化的超参数有批量大小、周期、退出率、神经元数量、优化器类型、学习率和激活函数类型。每个模型都有产生最佳结果的不同超参数。gydF4y2Ba

评估的深度学习模型有LSTM、GRU、BiLSTM、BiGRU和CNN。与传统ML模型类似，AUC、特异性和召回率被确定为性能指标(gydF4y2Ba表4gydF4y2Ba)．gydF4y2Ba

最后，利用BiGRU和XGBoost开发集成模型。我们的新模型首先在恢复测试子集上进行评估。生成了新模型的混淆矩阵，如图所示gydF4y2Ba图5gydF4y2Ba．我们的新深度学习模型的AUC、特异性和敏感性分别为0.906、0.835和0.945 (gydF4y2Ba表4gydF4y2Ba)．gydF4y2Ba

‎gydF4y2Ba 查看此图gydF4y2Ba

‎gydF4y2Ba 查看此图gydF4y2Ba

讨论gydF4y2Ba

主要研究结果gydF4y2Ba

本研究采用BiGRU和XGBoost集成模型，使用ReCOVery数据集进行文本可靠性分类，其特异性、敏感性和AUC分别为0.835、0.945和0.906 [gydF4y2Ba17gydF4y2Ba］．通过我们的数据分析，我们证明了不可靠的新闻文章可读性较低，句子长度较高。与可靠的文章相比，它们还包含更多的负面情绪和较少的中性情绪，并包含更多两极分化的词汇类别。gydF4y2Ba

数据使用gydF4y2Ba

使用新闻文章建立分类模型，一个重要的考虑是模型的可泛化性。为了确保模型是可泛化的，用于训练模型的数据在本质上必须是多样化的。许多深度学习错误信息检测研究的一个缺点是专注于从狭窄的新闻来源或地点检测错误信息[gydF4y2Ba17gydF4y2Ba,gydF4y2Ba47gydF4y2Ba］．由于用于训练这些模型的数据集具有同质性，许多错误信息检测模型的可泛化性可能较差[gydF4y2Ba47gydF4y2Ba］．CoAID就是一个例子，这是一个数据集，由2019年12月1日至2020年9月1日与covid -19相关的新闻文章和社交媒体帖子构建而成。CoAID数据集的一个缺点是数据集使用的新闻来源数量较少，因为在数据收集过程中包含了9个可靠的新闻来源[gydF4y2Ba48gydF4y2Ba］．CoVerifi是一项使用CoAID数据集创建基于网络的工具来检查在线新闻文章是否可信的研究[gydF4y2Ba49gydF4y2Ba］．另一个值得注意的数据集是COVID-19-FAKES数据集，其中包含61711条有错误信息的推文和2,985,399条没有错误信息的推文[gydF4y2Ba50gydF4y2Ba,gydF4y2Ba51gydF4y2Ba］．Silva等[gydF4y2Ba51gydF4y2Ba]使用COVID-19-FAKES数据集，深入了解推文中存在错误信息的预测特征，以及有错误信息和没有错误信息的推文参与度的差异[gydF4y2Ba51gydF4y2Ba］．因此，对于新闻文章的多样性，我们使用了ReCOVery数据集，因为它们的范围从来自不同国家的约2000个不同的新闻媒体[gydF4y2Ba17gydF4y2Ba］．gydF4y2Ba

情绪分析gydF4y2Ba

由于VADER具有较高的准确性，因此被用于基于词汇的水平上评估情绪gydF4y2BaFgydF4y2Ba1分类精度0.96，计算经济性[gydF4y2Ba29gydF4y2Ba］．尽管VADER已经成为NLP中用于情感分析的主要工具，但需要考虑的2个主要缺点是它无法识别讽刺/讽刺，以及在处理3类分析(消极、中性和积极)时准确性降低[gydF4y2Ba52gydF4y2Ba］．gydF4y2Ba

从可靠新闻文章与不可靠新闻文章的分布来看，可靠新闻文章的负面情绪含量较不可靠新闻文章低，因为它们的负面情绪极性得分较低(gydF4y2Ba表3gydF4y2Ba)．这与文献中对新闻内容的观察相一致，如Arif等[gydF4y2Ba53gydF4y2Ba)讨论了人们在互联网上搜索负面词汇会导致更有偏见的文章。为了强调情绪在区分假新闻和真实新闻中的重要性，Paschen [gydF4y2Ba54gydF4y2Ba得出的结论是，与真实新闻文章相比，假新闻文章的标题和正文包含更多的负面内容，如愤怒和厌恶。假新闻更有可能表现出负面情绪，以推动特定的叙事来获利，这支持了我们的发现，即消极的不可靠来源比中性或积极的不可靠来源更多。gydF4y2Ba

我们观察到中性可靠文章和中性不可靠文章的数量存在差异，与不可靠文章相比，可靠文章中有更多的中性情绪(gydF4y2Ba表3gydF4y2Ba)．对可靠数据来源的中性情绪评分意味着在讨论主题时的公正性和客观性[gydF4y2Ba55gydF4y2Ba］．gydF4y2Ba

由于上述原因，可靠和不可靠文本之间的情感效价不同，许多ML研究将情感作为一种特征来预测在线各种书面信息中的错误信息[gydF4y2Ba56gydF4y2Ba］．由于可靠性不同的文本之间的情感本质不同，情感分析被用于过滤社交媒体上的负面信息，垃圾邮件过滤等应用[gydF4y2Ba56gydF4y2Ba］．与我们的发现一致，Ajao等[gydF4y2Ba57gydF4y2Ba研究发现，与可靠的推文相比，不可靠的推文通常包含更多的负面情绪，因为不可靠的推文的作者会利用负面情绪更好地传播他们的信息。他们还表明，情感的使用可以提高支持向量机(SVM)的准确性，当情感被考虑到文本特征之外[gydF4y2Ba57gydF4y2Ba］．因此，情绪是我们模型选择的一个特征。gydF4y2Ba

文本分析gydF4y2Ba

据观察，这两组人的词汇本身非常相似，因为可靠来源和不可靠来源的主题都是相同的:COVID-19。此外，许多最频繁出现的词只是过渡词，可能在大多数英语文学作品中都能找到。gydF4y2Ba

有趣的是，在可靠资料中出现频率最高的词是“说”(gydF4y2Ba图3gydF4y2Ba)．这可能是因为“said”被用来引用政治人物和科学领域的领导人的话。在这种情况下，文章的可靠性是文章引用可靠的信息来源的结果。另一个明显的趋势是，在不可靠的文章中发现的带有政治色彩的词汇越来越多。“国家”、“政府”和“特朗普”等词是指不可靠的消息来源，而不是指可靠的文章(gydF4y2Ba图2gydF4y2Ba)．这传达了一种不可靠来源的政治评论模式[gydF4y2Ba58gydF4y2Ba］．我们可以预见，在COVID-19背景下讨论政治内容的文章可能对宣传议程感兴趣，因此不可靠。例如，Chen等[gydF4y2Ba59gydF4y2Ba发现COVID-19虚假信息传播与2020年美国总统选举在口罩使用和邮寄选票方面存在相互作用。具体而言，卫生信息已被政治化，以推动政治议程和攻击政治对手。除了经常出现的单词之外，从Empath和类似模型中提取的词汇类别还允许我们评估可靠和不可靠新闻文章之间的主题频率差异[gydF4y2Ba40gydF4y2Ba］．与仅使用原始文本数据相比，使用从Empath和类似模型中提取的词汇类别可以提高模型性能[gydF4y2Ba60gydF4y2Ba-gydF4y2Ba63gydF4y2Ba］．gydF4y2Ba

我们决定在最终的深度学习模型中探索并包含的另一个特性是新闻文章的可读性和长度。可读性已被证明是错误信息的预测。在Santos等人的研究中[gydF4y2Ba64gydF4y2Ba]，仅使用文章可读性分数和支持向量机算法就可以区分来自假新闻频繁来源的文章，准确率为92% [gydF4y2Ba64gydF4y2Ba］．同样，在Zhou等人的一项研究中[gydF4y2Ba65gydF4y2Ba，基于他们对可靠和不可靠新闻文章进行分类的能力，研究了各种指标。使用随机森林确定，就对模型的贡献而言，可读性与情绪[gydF4y2Ba65gydF4y2Ba］．gydF4y2Ba

机器学习分类gydF4y2Ba

在最初的ReCOVery研究中，Zhou等人[gydF4y2Ba17gydF4y2Ba]创建了新闻文章可靠性的基线预测性能，发现可靠和不可靠新闻文章的精度分别为0.721-0.836和0.421-0.667。可靠新闻和不可靠新闻的召回率分别为0.705-0.829和0.441-0.667 [gydF4y2Ba17gydF4y2Ba］．基线模型中使用的特征包括文本词汇类别、修辞结构和新闻文章中的视觉信息。周等[gydF4y2Ba17gydF4y2Ba]还在传统的ML模型(如svm)或深度学习算法(如具有单峰和多峰特征的cnn)上测试了该模型。其他研究也探索了使用恢复数据集进行虚假信息分类。其中一项研究是由Raj和Meel [gydF4y2Ba66gydF4y2Ba，在那里，一种新颖的深度学习模型，联合循环和卷积神经网络(ARCNN)，使用新闻文章中的图像和文本特征来检测错误信息。使用6个COVID-19假新闻数据集测试ARCNN的性能，其中ReCOVery为1个数据集，实现了准确性、精密度、召回率和召回率gydF4y2BaFgydF4y2Ba1分分别为80.98%、53.85%、58.33%、56.00% [gydF4y2Ba66gydF4y2Ba］．另一项使用ReCOVery数据集进行模型开发的研究探索了使用多种语言进行假新闻检测以提高模型性能[gydF4y2Ba67gydF4y2Ba］．最后，Wahle等人[gydF4y2Ba68gydF4y2Ba]使用恢复数据集作为6个COVID-19错误信息数据集之一，评估15个基于变压器的ML模型的性能，以确定不同变压器模型的泛化性。与上述研究不同的是，我们能够证明可读性、文本特征、情绪和词汇类别的使用可以在原始恢复数据集基线模型的基础上得到改善[gydF4y2Ba17gydF4y2Ba］．因此，我们证明了上述文本特征对提高新闻文章可靠性预测的重要性。此外，我们还表明，在NLP环境下，多个输入的组合和所选模型的考虑可以提高ML模型的精度。gydF4y2Ba

在我们最终提出的模型中，带有XGBoost和特征工程的BiGRU是性能最好的模型。BiGRU擅长捕捉长序列中的时间数据，因为双向模型可以更好地捕捉文本的上下文[gydF4y2Ba46gydF4y2Ba］．在这些模型在ReCOVery数据上的实验过程中，我们发现所有的深度学习模型都优于传统的ML模型，因为深度学习模型能够更好地处理更复杂的数据[gydF4y2Ba46gydF4y2Ba,gydF4y2Ba69gydF4y2Ba］．此外，除了LSTM算法之外，我们还选择了GRU算法，这是循环神经网络的一种变体，因为与LSTM相比，它在较长文本上的性能有所提高[gydF4y2Ba21gydF4y2Ba］．为了进一步提高我们的模型的性能，我们建立了一个集成模型，因为结合多个预测可以产生更准确的预测[gydF4y2Ba70gydF4y2Ba］．gydF4y2Ba

的优势gydF4y2Ba

我们调查的一个优势在于，它不仅有创建可靠性预测的深度学习模型的主要目标，而且还确定了可靠和不可靠新闻文章的文本和情绪的重要趋势。仅关注深度学习模型的调查存在一个“黑箱”问题，其中深度学习模型使用的机制是不可见的，并且包含在其许多复杂的隐藏层中[gydF4y2Ba71gydF4y2Ba］．因此，数据探索方法与深度学习模型相结合，能够更好地可视化和描绘文章可靠性分类。此外，我们的论文研究了新闻文章，与推特和社交媒体相比，新闻文章的文本更规范，因为每篇文章都是用专业的方法撰写的。因此，在预处理期间由于语法或拼写错误而删除的数据较少。使用新闻文章作为数据还避免了Twitter错误信息数据集在Twitter删除推文时所遭受的低水合性问题。gydF4y2Ba

局限性和未来发展方向gydF4y2Ba

有许多方法可以进一步完善我们的项目。首先，扩大可用数据总数将是有价值的，因为可靠来源的数据几乎是不可靠来源的数据的两倍。此外，能够从网上搜罗Facebook帖子和Reddit帖子将允许我们扩大我们的访问范围，并评估其他高流量的信息来源。结合聚类模型还将增加我们搜索的特异性，并创建一个更准确的模型，在确定可靠性时可以考虑正在讨论COVID-19的哪个方面。正如结果所示，由于我们的模型具有很高的准确性，我们的模型可以作为一个web应用程序商业化，允许用户高度自信地评估他们正在阅读的文章的可靠性。此外，它还可以用来确定一篇文章的情感评分，以确定他们是否想要从事该特定的文献。gydF4y2Ba

尽管该模型专门识别与covid -19相关的信息，但它也可以用于其他类型的错误信息。如前所述，目前打击网上虚假信息的大多数方法都是通过使用人工调节的事实核查网站。例如推特的观鸟项目，独立用户可以标记他们认为不值得信任的帖子。gydF4y2Ba72gydF4y2Ba］．使用的其他方法还包括脸书的事实核查服务，该服务会手动将包含错误信息的帖子或网站标记为不值得信任的，并将其从公众视野中删除。gydF4y2Ba73gydF4y2Ba］．此外，在包含COVID-19信息的帖子下方会放置警告，提醒读者注意帖子中包含的潜在错误信息[gydF4y2Ba73gydF4y2Ba］．尽管有许多事实核查的实例，但出现的主要问题是人工事实核查的效率低下[gydF4y2Ba74gydF4y2Ba］．因此，新的事实核查方法旨在实现事实核查过程的自动化。事实核查网站的第一个例子是Bot Sentinel自动Twitter事实核查软件，用户可以安装该软件来监控垃圾邮件账户[gydF4y2Ba75gydF4y2Ba］．Bot Sentinel使用ML技术将帖子或个人资料分类为可靠或不可靠，准确率达95% [gydF4y2Ba75gydF4y2Ba］．gydF4y2Ba

结论gydF4y2Ba

总之，我们证明了可读性、情绪、文本特征和词汇类别对于区分可靠和不可靠的新闻文章很重要，因为不可靠的文章可读性较差，有更多的负面情绪，有更多的政治词汇类别。使用我们的新集成深度学习模型，使用上述特征在原始恢复数据集中实现高于基线的性能，特异性、灵敏度和AUC分别为0.835、0.945和0.906。因此，使用我们的新模型应用可读性、情感和词汇类别可以帮助确定新闻文章的可靠性，并更好地改进不使用这些功能的现有模型。gydF4y2Ba

COVID-19揭示了为新闻文章开发自动化可靠性评估器的重要性，因为人工调节的事实核查方法可能效率低下。由于可读性、情感和词汇类别可以用于改进现有的可靠性分类模型，因此我们表明自动化可靠性检测可能是未来确定新文章可靠性的另一种方法，这将帮助新闻读者识别包含潜在不可靠信息的文章。gydF4y2Ba