在线新闻文章为预测流行性疾病(如流感)提供了丰富的机会。然而，仅根据“流感”代币的存在提取的新闻文章并不能捕捉到新闻中隐藏的见解。出现这种情况的主要原因是存在噪音令牌，例如与流感无关的广告内容。为了反映数据的特征，在关键词选择之前，我们使用了一个有效的嵌入阶段来捕捉单词之间的潜在关系。此外，为了在选定的关键词中优先使用与流感爆发最相关的关键词，我们根据流感实际爆发情况和含有该关键词的新闻文章比例，根据PCC对其进行排序。并对提取的关键词进行分类模型训练。

在本节中，我们将介绍整个方法，包括4个主要部分:(1)标记化和词嵌入，(2)通过余弦相似度选择流感相关关键词，(3)提取流感相关新闻并将其转换为时间序列数据，以及(4)训练和分类。 图1描述模型的以下4个组件。

为了确定最合适的词嵌入来选择与流感相关的关键词，我们使用5个词嵌入模型:Word2Vec CBOW、Word2Vec skip-gram、GloVe、FastText CBOW和FastText skip-gram选择了100个与流感高度相关的关键词。谘询委员会[ 34]对提取的关键字进行排序，使只有高度相关的关键字输入LSTM模型进行训练。使用PCC和RMSE评估每个模型的预测精度[ 41］．

我们训练每个词嵌入模型来评估其性能。根据最近的趋势，许多研究通过使用预先训练的向量跳过嵌入阶段。虽然预训练的向量是从一个大数据集中获得的，但它们包含许多令牌，并在最近的各种研究中表现出良好的性能。然而，对于英语以外的语言，很难获得有效的预训练嵌入。因此，从2017年9月11日到2019年9月15日，我们收集了大约200万篇新闻文章，收集的数据大小约为761 MB，包含约14万字，如图所示 表1． 表2显示了训练词嵌入和LSTM模型时使用的超参数。Epoch表示重复训练的次数;词嵌入的维数表示表示单词的向量的维数，在LSTM模型中，它表示层的大小。词嵌入的窗口大小是指用于训练的周围单词的数量，最小计数是指用于学习的单词的最小出现次数。LSTM模型的时间步长是指使用多少周的数据进行预测。

图2图6表示从每个词嵌入中选择100个关键词的预测模型的准确性。每个图中的黑色虚线描述了不选择关键字，只使用“流感”，并使用与“流感”一词相关的所有时间序列数据作为输入的情况。此外，对于每个嵌入模式，图中显示了仅使用“流感”一词的时间序列数据的预测模型的PCC和RMSE。在图中，“排序”意味着词嵌入选择的关键字是基于pcc进行排序的，也就是说，关键字是按照它们与流感爆发的相关性进行排序的。“Unsorted”表示关键字没有排序。我们预期排序和未排序方法的准确率都会上升到一定水平，然后随着关键词数量的进一步增加而下降。排序后的结果比未排序的结果具有更好的精度。

图2显示了当使用Word2Vec CBOW为所选关键字添加1到100个时间序列训练数据时，使用PCC和RMSE的LSTM模型的准确性。随着关键词数量的增加，排序方法和未排序方法的准确率都有一定程度的提高，然后随着关键词数量的增加准确率有所下降。排序后的结果比未排序的结果具有更好的精度。在排序方法中，使用22个关键词时，PCC的最大值为0.8951，使用相同数量的关键词时，RMSE的最小值为0.0082。在未排序的情况下，最大PCC为0.8784，有59个关键词，最小RMSE值为0.0095，有19个关键词。排序方法在关键词较少的情况下，准确率较高。当使用与流感爆发高度相关的关键字时，随着关键字数量的增加，准确性显著下降。然而，准确性的下降是使用不太相关的关键字的自然结果。经判断，按照排序顺序加入的训练数据对提高准确率的效果更为积极。

图3显示了当使用Word2Vec skip-gram为所选关键字添加1到100个时间序列训练数据时，使用PCC和RMSE的LSTM模型的准确性。Word2Vec skip-gram的排序方法和未排序方法的准确率都随着关键词的增加而反复升高和降低。这意味着使用Word2Vec skip-gram选择的关键字与流感爆发的相关性略低于使用Word2Vec CBOW选择的关键字。而在排序方法中，虽然重复增减量较大，但随着关键词数量的进一步增加，有增加到一定程度后再减少的趋势。对于排序后的关键字，8个关键字时PCC最大为0.8942，相同关键字数量时RMSE最小为0.008。在未排序的情况下，PCC最大值为0.8942，关键词为8个，RMSE最小值为0.0089，关键词为9个。

图4显示了当使用GloVe添加1到100个关键字时，使用PCC和RMSE的LSTM模型的准确性。使用GloVe的预测模型精度与使用Word2Vec CBOW的预测模型相似。随着关键词数量的增加，未排序和排序方法的准确性都暂时有所提高。然而，随着关键词数量的进一步增加，准确率逐渐下降。总体而言，该排序方法具有较高的精度。但是，如图所示，当添加的关键字数量很大时，未排序方法和排序方法的准确率是相似的。在排序方法中，最大PCC为0.8783，有29个关键词;最小RMSE为0.009，有22个关键词。在未排序的情况下，14个关键词的最大PCC为0.8467，相同数量关键词的最小RMSE为0.0095。

在使用FastText CBOW为选定的关键字添加1到100个时间序列训练数据时，使用PCC和RMSE的LSTM模型的准确性描述在 图5．与使用之前词嵌入的预测模型的准确性相似，排序方法优于未排序方法。该排序方法在34个关键词的情况下，最大PCC为0.8986，在相同数量的关键词下，RMSE最小为0.009。该方法对42个关键词的PCC最大为0.8467，对11个关键词的RMSE最小为0.0095。

图6描述了当使用FastText skip-gram为选定的关键字添加1到100个时间序列训练数据时，使用PCC和RMSE的LSTM模型的准确性。未排序和排序方法的总体精度低于迄今为止所涵盖的其他词嵌入方法。这意味着使用FastText跳过图选择的关键字的时间序列数据与实际流感爆发呈负相关。在排序方法中，10个关键词时PCC最大为0.8679，相同关键词数量时RMSE最小为0.009。然而，使用更多关键字的模型比精度最高的模型精度急剧下降。准确率低于仅使用“流感”作为关键字的模型。在未排序的情况下，86个关键词的最大PCC为0.8676,87个关键词的最小RMSE为0.0095。然而，与排序方法相似，精度急剧提高，但显著下降。

在本研究中，我们的目标是在关键词选择后，应用基于pcc的排序来获得最优的词嵌入。我们将使用每种类型的词嵌入训练的LSTM模型的最佳准确性与使用PCC和RMSE选择的关键字的数量进行了比较。我们考虑了两种情况:是否应用基于pc的排序。 表3显示了使用不同的词嵌入技术和每次使用的关键词数量的LSTM预测模型的最高准确性。我们发现，排序方法使用更少的关键字，但平均表现更好。这意味着通过排序方法使用与流感爆发高度相关的数据，有效地选择了训练数据，提高了预测模型的平均精度。此外，我们发现在词嵌入技术中，FastText CBOW在PCC方面表现最好，Word2Vec skip-gram在RMSE方面表现最好。使用上下文单词的训练过程是相同的，除了FastText使用子单词信息生成单词向量，而Word2Vec考虑使用完整单词的向量。因此，Word2Vec和FastText在性能上有细微的差异，但可以确认的是它们非常相似。GloVe使用整个文档的统计数据，表现出比其他嵌入技术更低的性能。

图7分别为仅使用“流感”时间序列数据(基本LSTM)和使用FastText CBOW的未排序和排序方法的模型预测结果，其PCCs最高( 表3)．在 图7，第18-37周垂直绘制的黑色虚线左侧为使用训练数据集的预测结果，右侧为使用测试数据集的预测结果。使用韩国疾病控制和预防中心ILI数据和仅“流感”的时间序列数据的预测模型很难预测测试数据集中19-5周的流感高峰期。然而，与仅使用单词“influenza”的模型相比，使用FastText CBOW选择的其他关键词的时间序列数据训练的预测模型大大提高了预测精度。此外，FastText CBOW基于PCC对选取的关键词进行排序，并添加时间序列数据的方法优于未排序方法。使用FastText CBOW的未排序和排序方法都预测了训练数据集中包括的第18-1周的流感高峰。然而，这两种方法都不能准确预测测试数据集中第18-52周和第19-5周的流感高峰。这是因为在第二个峰值(18-52)和第三个峰值(19-5)含有“流感”一词的新闻文章比例比第一个峰值(18-1)有所下降，这影响了所有预测模型的性能。

准确和及时地预测流感爆发最近得到了重要的研究关注。许多研究依赖于传统统计方法。高效的方法使用机器学习和来自互联网和社交网络的云数据。

Eysenbach [ 2他发现流感流行病学数据与谷歌的关键字触发链接点击量密切相关，这是基于许多人使用互联网查找健康信息这一事实。当周点击次数和下周流感病例的PCC为0.91，这比哨点医生报告的ILIs更能预测流感。Eysenbach [ 2并将“信息流行病学”或“信息流行病学”定义为在互联网上追踪健康信息趋势、传播人们健康信息等一套研究方法。信息流行病学数据的优点是可以实时收集和分析。

金斯伯格等人[ 10]利用谷歌搜索引擎的搜索查询和美国CDC提供的ILI数据，提出了一个线性回归模型来预测流感。这项研究背后的基本原理是，任何与流感相关的搜索查询的搜索频率都与流感的发生相关。该研究通过计算所有搜索查询的时间序列形式与CDC的ILI值之间的相关性，建立了用于回归模型的候选查询组列表。因此，这些相关搜索查询中的前100个被选择用于训练模型。模型的性能随着高度相关查询的数量的增加而提高。100次查询的准确率有所提高，但45次查询的准确率没有提高。

阿克雷卡等人[ 19提出了基于社交网络的流感趋势框架，用于监测流感趋势。该研究开发了一个基于自回归和外源性输入的模型，该模型使用推文预测流感警报和ILI的发生。关键词为“流感”、“H1N1”和“猪流感”的推文被定义为与流感相关的推文。支持向量机[ 42用来排除无意义的推文。该研究得出结论，Twitter数据与ILI率高度相关。

李和卡迪[ 25)开发了一个使用Twitter和基于马尔可夫网络的概率图形贝叶斯方法预测流感的模型。该方法将流感的发展分为4个阶段:非流行、流行上升、流行静止和流行下降。包含“流感”、“H5N1”、“H5N9”、“猪流感”和“禽流感”等关键词的推文被定义为与流感相关的推文，并使用支持向量机删除不必要的推文。

张等[ 27]实施了FluOutlook，这是一个在线系统，使用统计回归分析和全球流行和流动模型预测7个国家的流感疫情[ 43， 44］．该模型基于Influweb [ 45一个自愿参与的信息收集系统和Twitter。FluOutlook收集了包含40-50个定义的关键字的推文，并根据每个关键字对应的时间序列数据与实际流感发生之间的相关性分配了优先级标志。有限的关键字数量有助于减轻收集的原始推文中包含的噪声的影响。

这些最近的流感预测研究使用搜索查询和微博(如Twitter)进行实时预测。但是，搜索引擎(如谷歌)提供的搜索查询不能用于实时预测，因为很难推断出准确的搜索趋势。此外，如前所述，Twitter和其他社交平台容易产生噪音。另一方面，基于网络的新闻数据对噪声的脆弱性较小，最近已被一些预测研究采用[ 46- 48］．这些新闻数据的优势在于实时在线可访问性和严格的专业编辑。

在从互联网上提取训练数据时要考虑的一个关键方面是关键字的选择。各种研究计算了所有单词的相关性，或使用直接表明流感或主观选择的关键词。计算每个代币的相关系数被认为是最好的方法。但是，它需要大量的计算资源和训练时间。直接或主观选择流感相关关键字不能推广到各个数据集，因为提取数据集的固有特征具有挑战性。因此，在选择关键字时，通过反映数据的潜在特征来选择相关关键字的方法对模型进行了很大的改进。

各种研究还将词嵌入作为一种特征提取方法，通过建立每个标记的分布式表示来从文本中捕获语义和上下文方面。

Mikolov等[ 29， 30.]提出了word2vec模型，该模型使用浅神经网络通过计算同现概率为每个单词分配分布式向量。利用分配假设[ 49]，概率的计算使得意义相近的单词或可能在某个上下文窗口中一起出现的单词在向量空间中是相近的。该模型由两种不同的学习范式组成:跳跃式学习和CBOW学习。为了构建分布式向量，skip-gram从目标词中学习上下文词出现的概率，而CBOW从上下文词中学习目标词出现的概率。

Word2Vec忽略全局信息，在上下文中的单词之间使用局部信息(上下文窗口)。因此，Pennington等人[ 31手套，它通过使用目标单词在整个文档中与其他单词一起出现的比例，为每个单词分配一个向量。

Word2Vec的另一个关键限制是它忽略了单词的内部形态，无法捕获稀有单词的适当向量。为了解决这一限制，Joulin等人[ 32]提出了FastText，它考虑每个单词的子词。FastText没有将单个单词输入神经网络，而是将它们分解为n-gram，并使用skip-gram来学习每个子单词的分布式表示。一个不同单词的最终表示形式是这些n-gram的和。

在从新闻文章中预测流感时，我们使用词嵌入来寻找与流感相关的单词，并根据它们与实际流感爆发的关联对它们进行排序，有效地提取训练数据，提高预测的准确性。然而，我们的研究存在以下局限性，需要进一步的研究。首先，我们需要检查我们的方法是否适用于新闻文章以外的新数据集。最近，人们利用各种数据研究流感预测[ 38， 50- 53］．因此，有必要研究我们的方法在应用于最近最先进的研究中使用的不同数据集时是否能提高性能。在这项研究中，我们专注于改进训练数据的表示，而不是学习方案。因此，我们使用了标准的、未经修改的LSTM模型，该模型广泛用于现有的流感预测研究[ 6， 38， 39］．然而，目前正在进行研究，以改变最先进的流感预测中的标准LSTM模型[ 54， 55]或应用在其他领域表现更好的预测模型[ 56， 57］．因此，有必要研究我们的方法在应用于标准LSTM模型以外的预测模型时是否能带来性能的提高。第三，我们使用词嵌入来提取用于训练数据提取的候选关键字，但我们需要看看即使使用其他关键字提取方法，我们的排序过程是否可以提高性能。

本文提出了一种有效的训练数据提取方法，以提高从新闻文章中预测流感的能力。通过提取方法选择的输入数据对与流感相关的关键词之间的关系进行编码。随后，根据这些数据与实际流感爆发的关系对其进行筛选。这一过程是通过基于PCCs对所选关键字进行排序来确保的，这些关键字在实际流感爆发和包含这些关键字的新闻文章的比例之间进行排序。仅使用“流感”一词对提取数据进行训练的预测模型不能反映所收集数据的特征;因此，它表现出令人不满意的性能。但是，由于在通过本文方法提取的数据上训练的预测模型反映了数据的特征，因此证实了性能的极大提高。我们还将预测模型的性能与5种流行的词嵌入技术进行了比较。实验结果表明，FastText CBOW算法在未排序和已排序关键词的嵌入中均优于其他算法。