台湾台北市三科综合医院于2015年6月1日至2017年1月31日期间提供经鉴定的自由文本出院通知书。研究伦理经机构伦理委员会和三科综合医院病历办公室批准，可在直接收集数据的地点未经个人同意收集数据。三科综合医院位于台北市内湖区，以国防医疗中心的名义，为军人、家属和平民提供医疗服务。被台湾卫生福利部评为医疗中心级一流教学医院。医院约有1700张病床，每月有6000名住院病人，大多数住院病人是平民。我们共收集了103,390份出院通知书，并使用Hunspell版本2.3包更正了拼写错误[gydF4y2Ba 16gydF4y2Ba]和一本使用英文维基百科和Gigaword编写的字典[gydF4y2Ba 17gydF4y2Ba］．gydF4y2Ba ICD-10-CMgydF4y2Ba为了要求医疗保险费用，在这些出院单上使用了代码，病历部门负责这些代码的正确性。台湾国家健康保险管理局会定期抽取一定数量的出院通知单进行核实，如果出院通知单标注错误，将被处以10至20倍的罚款。出院单上通常会标注多个gydF4y2Ba ICD-10-CMgydF4y2Ba代码等等gydF4y2Ba ICD-10-CMgydF4y2Ba代码被截断为1个字符级别。2017年版共有21个奖项。gydF4y2Ba 表1gydF4y2Ba显示1字符级代码的频率分布。肿瘤和循环系统疾病最常见gydF4y2Ba ICD-10-CMgydF4y2Ba我们医院的规章制度gydF4y2Ba

我们使用了2个测试程序来评估模型的性能。首先，我们进行了5倍交叉验证测试。其次，我们通过按日期(2016年7月1日)分割样本来创建训练集和测试集，因为这更现实。分类器只能使用现实世界中的回顾性数据进行训练，并将其用于对未来的数据进行分类;第二个测试过程复制了这个过程。所有计算均在富士通RX2540M1 48核CPU、768 GB RAM服务器(富士通有限公司，日本东京)上进行，全闪存阵列为AccelStor NeoSapphire NS3505 (AccelStor, Inc，台湾台北市)，采用5 TB串行先进技术连接接口固态硬盘，连接速度为56 GB/秒FDR InfiniBand Quad小尺寸可插拔(Fiberon Technologies, Inc, Westborough, MA, USA)。gydF4y2Ba

传统的分类技术通常结合NLP管道和分类器来执行自由文本医学写作的分类任务。我们利用NLP管道从排放记录中提取详细特征;然后gydF4y2Ba ICD-10-CMgydF4y2Ba代码由人类专家分配给每个出院记录。我们使用标记的特征来训练分类器，我们使用训练良好的模型来预测未标记的测试数据。gydF4y2Ba

在本研究中，我们使用了一个两部分的NLP管道来提取放电音符特征。首先，直接从自由文本描述中提取基于词的特征，由RWeka 0.4-30版本包生成n-gram短语(n range 2-5) [gydF4y2Ba 18gydF4y2Ba］．为了降低数据的复杂性，我们只包含了计数为>10的n-gram短语。其次，我们使用SNOMED CT国际版20170131版本的类别来集成同义词。我们使用词袋模型向量化提取的特征(每个出院音符1个向量)，并使用tm版本0.7包将这些特征向量转换为文档术语矩阵[gydF4y2Ba 19gydF4y2Ba］．然后将这个矩阵输入到下面的机器学习模型中。gydF4y2Ba

传统的NLP管道受到其预先存在的字典的限制，需要构建复杂的处理流。在此，我们提出了一种结合词嵌入模型和CNN的方法。词嵌入技术对于集成同义词很有用，我们使用预先训练好的GloVe模型(英语维基百科加Gigaword)来向量化单词。由于计算时间的限制，我们选择了一个50维的40万字模型。然而，我们认为这已经足够了，因为我们的103,390份出院记录中只有19,064个单词。我们将每个出院记录转换为n×50矩阵用于后续分类(其中n是出院记录中的字数)，并使用这些标记的矩阵训练CNN。gydF4y2Ba

虽然已经开发了各种结构的CNN，但我们重点研究了一个1层的CNN，其过滤区域大小为1-5(对应于1-5个n-gram短语)，以增加与传统机器学习技术的可比性。事实上，这些简单的模型最近已经取得了非常强大的性能[gydF4y2Ba 15gydF4y2Ba，gydF4y2Ba 27gydF4y2Ba，gydF4y2Ba 28gydF4y2Ba］．gydF4y2Ba 图1gydF4y2Ba显示了所提议的模型的体系结构。我们设置了5个卷积通道，其卷积层数如下:(1)40个卷积滤波器，区域大小为1×50，用于识别重要单词;(2) 30个区域大小为2×50的卷积滤波器，用于识别重要的2克短语;(3) 15个3×50区域大小的卷积滤波器，用于识别重要的3克短语;(4) 10个区域大小为4×50的卷积滤波器，用于识别重要的4克短语;以及(5)5个5×50区域大小的卷积滤波器，以识别重要的5克短语。这些卷积层被连接到一个整流的线性单元层，以增强网络的非线性。然后我们在特征图上应用一个最大池化层，并取最大值。上述步骤与关键字识别过程类似，从每张出院病历中提取100个特征。为了避免过拟合的风险，我们在卷积通道后使用了一个掉落率为50%的掉落层[gydF4y2Ba 29gydF4y2Ba］．最后，我们使用逻辑回归来连接特征，并在损失层中使用交叉熵损失函数来训练CNN。gydF4y2Ba

我们使用MXNet 0.8.0版本包[gydF4y2Ba 30.gydF4y2Ba]来实现上述架构。训练模型的设置如下:(1)小批量梯度下降，阶梯尺寸为1000进行优化;(2)学习率=.05;动量系数=.9;(4) L2正则化系数=.00001;(5)每100次迭代的早停公差=.0001。gydF4y2Ba 多媒体附件1gydF4y2Ba显示了实现单词嵌入和CNNs的示例代码，用于自由文本放电笔记分类。gydF4y2Ba

我们进行过采样处理，以充分考虑积极的情况，但不会因压倒性的消极情况而偏斜[gydF4y2Ba 31gydF4y2Ba，gydF4y2Ba 32gydF4y2Ba］．所有的模型都返回一个连续的值来评估模型的性能。svm相关模型提供了二元分类器的决策值;RF和GBM模型提供了决策树中概率的平均值;cnn提供由logistic函数计算出的概率。我们使用接受者工作特征曲线作为评估指标，曲线下面积(AUC)提供了有效性的整体衡量指标。此外，我们还提供了f测度，其计算公式如下:gydF4y2Ba 精度gydF4y2Ba＝gydF4y2Ba TruePositivesgydF4y2Ba/ (gydF4y2Ba TruePositivesgydF4y2Ba+gydF4y2Ba FalsePositivesgydF4y2Ba）;gydF4y2Ba 回忆gydF4y2Ba＝gydF4y2Ba TruePositivesgydF4y2Ba/ (gydF4y2Ba TruePositivesgydF4y2Ba+gydF4y2Ba FalseNegativesgydF4y2Ba）;gydF4y2Ba F-measuregydF4y2Ba= (2 ×gydF4y2Ba 精度gydF4y2Ba×gydF4y2Ba 回忆gydF4y2Ba) / (gydF4y2Ba 精度gydF4y2Ba+gydF4y2Ba 回忆gydF4y2Ba）.gydF4y2Ba

表2gydF4y2Ba显示了5倍交叉验证测试中训练和测试auc的全局和最低5个均值。所提出的词嵌入+ CNN方法提供了最高的AUC(平均测试AUC = 0.9696;最低的5个aus的平均值= 0.9135)和最高的f -测度(平均检验f -测度= 0.9086;最低5个F-measures的平均值= 0.7651)。值得注意的是，采用线性核技巧的SVM在所有传统方法中具有最高的平均检验AUC(平均检验AUC = 0.9571;最低5个aus的平均值= 0.8891)。RF、GBM和线性支持向量机模型的性能相似(平均检验auc分别为0.9570、0.9544和0.9571)。然而，RF和GBM模型在某些任务中效率非常低gydF4y2Ba 多媒体附件2gydF4y2Ba显示)。由于V00-Y99的影响，RF和GBM模型的平均测试AUC较低gydF4y2Ba ICD-10-CMgydF4y2Ba代码识别任务;因此，线性支持向量机是一个相对稳定的模型。gydF4y2Ba

表3gydF4y2Ba显示了在实际测试中训练和测试auc的全局和最低5个均值，其中测试样本按日期分割。该试验的结果与交叉验证试验的结果相似。实际测试中的测试AUC低于交叉验证测试，这可能是因为在实际测试中，由于循环疾病较多，训练样本与测试样本之间的异质性更高。然而，我们提出的方法在测试集上仍然具有最高的性能(平均测试AUC = 0.9645;平均检验F-measure = 0.9003;最低5个aus的平均值= 0.8952;最低5项F-measures的平均值= 0.7204)，在几乎所有任务中都取得了最好的结果。gydF4y2Ba 多媒体gydF4y2Ba显示了详细的训练和测试auc。在Q00-Q99代码识别任务中，所提方法的测试AUC仅明显低于传统方法。此外，在V00-Y99代码识别任务中，所有方法的性能都较差。gydF4y2Ba

我们将为真实世界测试选择的3个卷积滤波器可视化为gydF4y2Ba 图2gydF4y2Ba所示。肿瘤是最常见的gydF4y2Ba ICD-10-CMgydF4y2Ba在我们医院的代码中，我们为这些选择了最高信息增益的过滤器。信息增益估计为IG(gydF4y2Ba CgydF4y2Ba，gydF4y2Ba FgydF4y2Ba) = h (gydF4y2Ba CgydF4y2Ba)−h (gydF4y2Ba CgydF4y2Ba|gydF4y2Ba FgydF4y2Ba),gydF4y2Ba CgydF4y2Ba类(是特定的gydF4y2Ba ICD-10-CMgydF4y2Ba代码),gydF4y2Ba FgydF4y2Ba为卷积滤波器提取的特征，H为信息熵函数。这个过滤器是一个单词过滤器，当使用训练数据(gydF4y2Ba 图2gydF4y2Ba，面板A)。不出所料，模糊匹配技术识别出了这些概念相似的词语。此外，测试数据中的相同单词通过卷积滤波器(gydF4y2Ba 图2gydF4y2Ba面板B)。gydF4y2Ba 图2gydF4y2Ba，图C显示了一个2克的用于某些传染病和寄生虫疾病的卷积滤波器，它可以识别许多病原体。值得一提的是，一些训练数据中没有的病原体在测试数据中通过该过滤器被识别出来(gydF4y2Ba 图2gydF4y2Ba， D).在所有的方法中，确定发病的外因是最困难的任务，并且gydF4y2Ba 图2gydF4y2Ba，面板E显示了该任务最重要的过滤器。我们发现了一些与事故相关的词语，如骨折和受伤，但这些词语在我们的出院记录中被广泛使用。包含这些词的出院纸条总数为7855张，但在训练集中只有791张出院纸条被编码为V00-Y99。这导致测试集的信息增益非常低(gydF4y2Ba 图2gydF4y2Ba，面板F)。gydF4y2Ba

图3gydF4y2Ba显示了每个任务中卷积滤波器的信息增益分布，展示了它们之间的巨大差异。最高效的分类任务通常使用卷积滤波器提取高信息增益特征。当训练集与测试集之间的信息增益比的几何平均值大于80%时，测试AUC大于0.98。值得注意的是，Q00-Q99和V00-Y99的信息增益比非常低(分别为19.9%和0.9%)。这可能解释了在这些任务中表现较低的原因。gydF4y2Ba

该方法将词嵌入与CNN相结合，无论在何种情况下，都比所有传统的基于nlp的方法具有更高的测试精度。进一步分析表明，卷积滤波器具有模糊匹配能力，大大降低了最终分类任务的数据维数。此外，传统方法的训练auc非常接近于1。这意味着没有改进的可能性，训练集和测试集性能之间的较大差异意味着过拟合。gydF4y2Ba

任意的自由文本医学叙述包括许多单词组合，并且没有使用当前NLP管道集成类似术语的好方法。先前的研究强调了这一问题，并提出通过更有效地处理临床子语言的特质是有可能改善的。gydF4y2Ba 7gydF4y2Ba］．我们认为，我们的建议在这方面有优势。所使用的模糊匹配技术为降低过拟合风险提供了真正的机会。这并不奇怪，因为cnn在一些文本挖掘任务中已经取得了很好的结果[gydF4y2Ba 13gydF4y2Ba-gydF4y2Ba 15gydF4y2Ba，gydF4y2Ba 22gydF4y2Ba，gydF4y2Ba 27gydF4y2Ba，gydF4y2Ba 28gydF4y2Ba］．本研究也展示了使用cnn进行自由文本医学叙事分类的优势。gydF4y2Ba

与传统方法相比，该方法不仅提高了精度，而且避免了繁琐的数据预处理。我们避免麻烦的数据预处理的解决方案是基于词嵌入，它可以从外部资源学习语义。词汇表被映射到实数向量，类似概念的词向量也很接近。在我们的工作中，出院记录被转换为n×50矩阵，其中n是字数，CNN根据我们设计的卷积滤波器对这个矩阵进行分类。因为相似概念的词向量在术语上也很接近，所以卷积层有效地在卷积过滤器中识别了大量的关键字(数据见gydF4y2Ba 图2gydF4y2Ba)。最后，利用这些卷积滤波器提取的文档特征进行识别gydF4y2Ba ICD-10-CMgydF4y2Ba诊断代码。这种简单的思想有效地处理了临床子语言的特性，因此所提出的方法不需要外部字典进行数据预处理。gydF4y2Ba

本研究中使用的所有分类器在V00-Y99(发病外因)编码任务中表现不佳，这可能归因于稀疏的测试数据(0.2%)。之前的一项研究发现，分类器在常见癌症上的表现优于在罕见癌症上的表现[gydF4y2Ba 2gydF4y2Ba］．但是，该方法的性能明显优于传统方法。Q00-Q99(先天性畸形、变形和染色体异常)编码任务是下一个重点，因为我们的方法在这些任务中明显不如传统方法。经过进一步分析，我们发现最常见的二级gydF4y2Ba ICD-10-CMgydF4y2BaQ00-Q99的诊断代码为Q80-Q89(其他先天性畸形)，这些出院记录中使用的词语非常复杂。这意味着我们的CNN可能需要更多的卷积滤波器来处理这个问题。在我们将滤波器数量增加一倍并重新训练CNN后，测试AUC大大提高(交叉验证测试和实际测试的AUC分别为0.9203和0.9235)。因此，尽管一个简单的1层CNN在我们的实验中已经表现出了出色的性能，但我们认为有很多机会可以提高所提模型的性能。gydF4y2Ba

所有传统的基于术语的分类器都面临着新出现疾病无法正确分类的问题。例如，H1N1流感不可能在2000年至2007年的临床叙述中被记录，因此基于术语的分类器不可能意识到2009年的H1N1大流行[gydF4y2Ba 3.gydF4y2Ba］．我们的方法可以利用模糊匹配技术来解决这一问题。尽管从2000年到2007年的出院记录中没有记录H1N1，但有足够的信息让机器了解H1N1是一种流感亚型。在我们预训练的GloVe模型中，H1N1与一些与流感相关的术语非常接近，如“猪”、“流感”、“流感”和“H5N1”(余弦相似度分别为0.835、0.832、0.831和0.716)。因此，我们认为卷积滤波器仍然可以正确地识别H1N1并将相关的出院记录分类为A00-B99(某些传染病和寄生虫病)，但更精确的编码将是困难的。因此，重新训练或增量更新分类器仍然是必要的;否则，新出现的疾病将被合并为相似的疾病类别。然而，这仍然是自由文本医学写作分类任务的一个重要突破。gydF4y2Ba

以前的研究描述了人类专家使用的分类方法，一些基于规则的方法已经证明了优越的性能[gydF4y2Ba 3.gydF4y2Ba，gydF4y2Ba 33gydF4y2Ba］．基于规则的方法的唯一问题是，增加新的疾病需要开发新的模型和规则。射频模型使用决策树的集合，其中每个内部节点基于其中的一个项进行区分。我们认为射频和基于规则的方法之间的相似性高于所提出的CNN。机器必须模仿人类的行为模式来提高其正确性。在大多数识别任务中，射频模型表现出比传统分类器更好的性能(交叉验证测试和真实世界测试的平均测试秩分别为3.000和3.190)，这可能是由于射频模型具有与人类专家相似的识别过程。所提出的CNN架构使用逻辑函数进行输出，类似于线性SVM，尽管非线性SVM显示出较低的训练AUC，这可能是由于对特征和结果之间关系的错误假设。这一证据表明，提取的特征和结果之间存在线性关系的假设优于非线性假设，而我们的CNN架构在最后一层也遵循了这一线性假设。然而，基于规则的方法更倾向于使用积极的术语而不是消极的术语[gydF4y2Ba 3.gydF4y2Ba，gydF4y2Ba 33gydF4y2Ba]，因此RF或GBM的体系结构优于线性分类器。提出的CNN的准确率最高;成功的关键不是我们的网络架构，而是模糊术语匹配技术。模糊项匹配降低了过拟合的风险，RF和GBM模型的平均训练auc高于其他模型，这可能表明RF和GBM模型的过拟合风险更大。综上所述，我们认为更深入的CNN可以提供更准确的预测能力。进一步的研究需要考虑这一点，以提高词嵌入与CNN结合的性能。gydF4y2Ba

如不立即采取公共卫生行动，蓄意和自然传染病的爆发可导致大量人员伤亡[gydF4y2Ba 34gydF4y2Ba］．因此，许多国家一直在建立传染病实时监测系统，如疫情和疾病实时监测系统[gydF4y2Ba 35gydF4y2Ba］．疫情与疾病实时监测系统的实现原理是结构化的gydF4y2Ba ICDgydF4y2Ba代码，需要急诊医生实时手动识别。然而，由于需要大量资源，这一系统不能推广到所有疾病。除传染病外，其他慢性病也需要实时监测[gydF4y2Ba 36gydF4y2Ba］．政府卫生行政人员需要及时的信息，以便迅速评估疾病预防和健康保护的优先事项。需要一种及时的自动疾病分类算法。我们提出的方法为实施所有疾病的疾病监测系统提供了可行的途径。它不仅提高了分类性能，而且避免了传统方法固有的局限性。后续研究可以利用该算法进一步开发全自动疾病监测系统。gydF4y2Ba

应该承认本研究的几个潜在局限性。首先，我们只使用50维GloVe模型来处理数据，以减少计算时间。然而，即使是50维模型也比传统方法有更好的性能。因此，我们认为这不会影响我们的结果，并且我们的建议是执行自由文本医疗叙事编码任务的更好解决方案。其次，这项研究只包括了一家医院的出院证明，所以我们不能确定它在多大程度上可以推广到其他数据源。虽然这项研究只是提供了一个可行性评估外推随着时间的推移，我们相信它仍然证明了我们的方法的优越性。第三，本研究仅在出院记录中进行分类任务。出院记录只描述疾病的存在，但不包括负面陈述。我们的CNN架构包括3到5克的短语标识符，但仍需要进一步的研究来将这种方法应用于患者的病程记录，以证明其能力。gydF4y2Ba

我们的研究表明，将cnn与词嵌入相结合是一种可行的分析管道，用于从自由文本医学叙述中进行疾病分类。与使用机器学习分类器的传统自然语言处理相比，该方法表现出了优异的性能，可以避免麻烦的数据预处理。更复杂的cnn可以用来进一步提高预测性能，未来的研究将不受不完整字典的限制。由于我们的数据来自单一中心，进一步的研究可以在其他医院实施该算法。我们希望我们的实验将导致一系列研究，以开发更有效的自动分类方法，并从自由文本医学写作中提取大量非结构化信息。我们开发了一个Web应用程序来演示我们的工作[gydF4y2Ba 37gydF4y2Ba］．公共卫生监测系统将变得更加有效，政府卫生行政人员将能够及时采取正确行动预防疾病和保护健康。当使用这种自动化的方法对以前没有标记的临床记录进行标记时，我们可以获得更多数据驱动的线索，以帮助促进医学的进步。届时，医疗领域将真正进入大数据时代。gydF4y2Ba