自杀是美国人死亡的主要原因之一。平均每天有100多人死于自杀，每年造成的医疗和工作损失合计约800亿美元[gydF4y2Ba 1gydF4y2Ba，gydF4y2Ba 2gydF4y2Ba］．许多导致自杀的危险因素已经被确定并进行了深入研究。例如，自杀在男性、美国印第安人和阿拉斯加原住民、非西班牙裔和有精神疾病(如抑郁、焦虑、药物滥用)、以前受过创伤、沟通困难、决策冲动和攻击性的个体中更为常见[gydF4y2Ba 3.gydF4y2Ba，gydF4y2Ba 4gydF4y2Ba］．以前有过故意自残行为或自杀企图的人也有更高的风险[gydF4y2Ba 5gydF4y2Ba，gydF4y2Ba 6gydF4y2Ba］．尽管对各种风险因素进行了广泛的研究，但前瞻性自杀预测仍然很困难，因为传统研究的风险因素仅能预测26%的自杀企图[gydF4y2Ba 5gydF4y2Ba］．gydF4y2Ba

目前确立的自杀风险评估指南包括由合格医疗保健提供者进行的临床访谈和问卷调查[gydF4y2Ba 7gydF4y2Ba，gydF4y2Ba 8gydF4y2Ba］．然而，研究表明，这些方法在预测未来的故意自残行为或自杀方面表现不佳[gydF4y2Ba 9gydF4y2Ba-gydF4y2Ba 11gydF4y2Ba］．在故意自残和企图自杀的病人中，只有不到三分之一的人透露了这样做的想法。gydF4y2Ba 12gydF4y2Ba］．因此，目前识别高危患者的方法既困难又耗时。最近的大量研究都集中在使用先进的分析工具，如自然语言处理(NLP)和机器学习来解决这些限制。gydF4y2Ba 13gydF4y2Ba］．使用自然语言处理方法的研究主要使用基于电子健康记录的[gydF4y2Ba 14gydF4y2Ba-gydF4y2Ba 16gydF4y2Ba]以及NLP和语言驱动的预测模型[gydF4y2Ba 12gydF4y2Ba，gydF4y2Ba 17gydF4y2Ba-gydF4y2Ba 19gydF4y2Ba］．使用机器学习从住院或急诊科患者的EHR数据中预测自杀和故意自残行为的研究已经证明了不同的准确性(例如，65%-95%)[gydF4y2Ba 20.gydF4y2Ba-gydF4y2Ba 24gydF4y2Ba］．gydF4y2Ba

使用深度卷积网络进行临床文本分类对于具有特定临床体征和症状的患者在EHR中识别特定表型非常有用[gydF4y2Ba 25gydF4y2Ba，gydF4y2Ba 26gydF4y2Ba］．近年来，深度学习方法取得了重大进展，如卷积神经网络(cnn)，用于各种应用，包括文本处理和分类，计算机视觉和语音识别[gydF4y2Ba 27gydF4y2Ba］．在文本处理领域，语言模型已经有了重要的研究，这些模型经过预训练，然后用于帮助自动理解未标记数据的文本[gydF4y2Ba 28gydF4y2Ba，gydF4y2Ba 29gydF4y2Ba］．这些由此产生的习得的词向量可以反过来用于临床文本分类任务[gydF4y2Ba 25gydF4y2Ba，gydF4y2Ba 26gydF4y2Ba，gydF4y2Ba 30.gydF4y2Ba］．使用这些方法的预训练模型提供了在多维向量空间中表达的语法和语义单词相似性，具有改进基于神经网络的分类和降低计算成本的潜力[gydF4y2Ba 28gydF4y2Ba］．使用先进的分析方法，如深度学习，可以扩展这项工作，并在预测未来的故意自残，自杀企图和自杀方面提供独特的优势。gydF4y2Ba

深度学习方法已被用于使用公开数据集解决与自杀有关的主题。例如，Shing等人[gydF4y2Ba 31gydF4y2Ba]比较了不同的机器学习方法，包括支持向量机(SVM)和基于cnn的基于网络帖子的自杀风险评估模型。尽管他们展示了深度学习的实用性，但对于这个特定的用例，SVM模型的表现优于CNN模型。相反，Du等[gydF4y2Ba 32gydF4y2Ba]证明了深度学习模型在识别社交媒体数据中与自杀相关的推文方面优于传统模型(包括支持向量机)。尽管有这些例子，文献中还没有关于深度学习方法用于识别与自杀相关的临床记录(例如，用于监视目的)或使用来自电子病历的临床文本预测自杀行为的效用的报告。提高表型和预测算法的召回率和准确性，特别是通过深度学习分析技术，可以使临床医生更好地跟踪和护理有故意自残、自杀企图、自杀或任何组合风险的患者。在这项研究中，我们探索了一种深度学习方法，用于(1)与国际疾病分类(ICD)代码同步的临床文本中故意自残事件的自动检测，即表型和(2)基于ICD标记的EHR中的遭遇预测未来的自杀企图或故意自残。gydF4y2Ba

我们使用R版本3.6.1 (R基础统计计算)[gydF4y2Ba 33gydF4y2Ba]用于处理数据和临床文本，并为深度学习模型构建机器学习管道和Keras和TensorFlow v1.13(谷歌的开源深度神经网络框架)。gydF4y2Ba

这项研究由南卡罗来纳医科大学(MUSC)人体研究机构审查委员会(IRB)批准，协议号为Pro00087416。临床记录从Epic (Epic Systems Corporation) EHR系统中提取[gydF4y2Ba 34gydF4y2Ba]使用MUSC研究数据仓库(RDW)，作为研究项目的EHR数据存储库。研究人员可在获得适当的IRB批准和数据治理监督的情况下，向RDW请求数据[gydF4y2Ba 35gydF4y2Ba］．我们从美国疾病控制与预防中心(CDC)的《国家卫生统计报告》(NHSR)中定义的、年龄在20至90岁、带有自杀企图或故意自残ICD代码的成年患者的临床文本笔记中提取[gydF4y2Ba 36gydF4y2Ba］．NHSR特别包括了故意自残事件的代码(例如，T42.4X2;苯二氮卓类药物中毒，故意自残)，不包括非故意自残事件的代码(例如，T42.4X1;苯二氮卓类药物中毒，意外)。对于研究组中的每位患者，我们选择了研究期间(即2012-2019年)图表中记录的第一次故意自残。我们过滤了故意自残的24小时内的笔记。我们还提取了2012年至2019年在我们的EHR中从未有任何故意自残ICD代码的对照病例的临床文本笔记。对照组是在年龄、性别、种族和民族匹配后，从RDW中随机选择的。在处理临床记录的过程中，我们根据记录类型的比例(例如，病程记录的百分比)和记录的字数长度，将对照组与研究病例进行匹配。使用R[中的MatchIt包中的最近邻方法进行匹配。gydF4y2Ba 37gydF4y2Ba］．最终的患者群体包括835例故意自残病例和1670例对照组。gydF4y2Ba

手工审查了来自测试集(2018-2019年)的200条记录样本，以提供金标准标签，以便与ICD代码标签(基于CDC的NHSR)进行比较。每条记录都反映了EHR中患者同期就诊的临床记录。我们从研究组中随机选择了100人(故意自残icd)和100个对照组。此样本的并发注释中的连接字符串被导入到REDCap(研究电子数据捕获)[gydF4y2Ba 38gydF4y2Ba我们的研究团队包括3名临床心理学家、一名精神科住院医生、一名医科学生和一名儿科医生，他们可以对这些信息进行审查和标注。如果与同期就诊相关的任何临床记录中有自杀企图或故意自残，评审员被指示将笔记标记为故意自残。自杀意念本身不被认为是故意自残。100个注释的子样本由2个标签员独立标记，以估计评分者之间的信度。gydF4y2Ba

我们使用训练数据测试了几种机器学习算法，包括使用词嵌入(WEs)的基于深度学习的分类器和传统的基于词袋(BOW)的模型。我们对这两种类型的文本执行了必要的预处理。我们使用了量子R包[gydF4y2Ba 39gydF4y2Ba]和R中用于文本处理管道的正则表达式函数。对于传统的BOW模型，文本处理包括较低的大小写;删除标点符号、停顿词和数字;单词阻止;和标记。对于WE模型，文本处理包括小写字母、句子分割、删除标点符号、使用正则表达式用标记替换大数字和日期，以及标记化。gydF4y2Ba

在运行机器学习算法之前，我们检查了与故意自残事件同时发生的临床记录和故意自残事件之前超过30天的记录中词频的差异，与对照人群的临床记录进行了比较。我们进行了卡方分析，以评估在文本语料库中过度代表的关键词[gydF4y2Ba 40gydF4y2Ba］．gydF4y2Ba

对于BOW模型，使用词频作为特征，并使用词频-文档频率逆进行归一化[gydF4y2Ba 41gydF4y2Ba］．传统的文本分类模型包括naïve Bayes [gydF4y2Ba 42gydF4y2Ba];决策树分类器[gydF4y2Ba 43gydF4y2Ba]，最大深度为20;随机森林(RF) [gydF4y2Ba 44gydF4y2Ba]使用201棵树和每次分裂随机抽样作为候选变量的数量(mtry=150);支持向量机(gydF4y2Ba 45gydF4y2Ba]具有径向基核的第1类[gydF4y2Ba 46gydF4y2Ba];以及一种简单的多层感知器(MLP)人工神经网络，其输入层为64节点，隐藏层为64节点，输出节点为单节点。我们在输入层和隐藏层都使用了整流线性单元(ReLU)激活函数，并对二进制输出节点使用了sigmoid激活。MLP使用1×10的学习率进行训练gydF4y2Ba^{−4gydF4y2Ba}，批大小为32,20%的验证分为30个阶段。gydF4y2Ba

我们使用Keras [gydF4y2Ba 47gydF4y2Ba]和TensorFlow版本1.13 [gydF4y2Ba 48gydF4y2Ba]用于构建和训练深度学习模型。在WE的准备工作中，将文本字符串转换为令牌序列。为了构建深度学习模型的特征，序列被预先添加了零，以匹配训练集中最长字符串的长度。我们使用Word2vec (W2V)生成预训练模型[gydF4y2Ba 28gydF4y2Ba］．W2V权重是通过对来自我们EHR数据集的80多万份临床记录样本进行预训练得出的，每个单词使用200个维度，每个方向的跳过窗口大小为5个单词，负抽样为5个。为了探索和可视化预训练的W2V模型的结果，我们使用t分布随机邻居嵌入(t-SNE)将多维词向量映射到2D空间[gydF4y2Ba 49gydF4y2Ba］．每个深度学习分类器的性能分别通过随机初始化嵌入或w2v初始化嵌入进行评估。gydF4y2Ba

我们研究了2种不同的深度神经网络(DNN)架构:一个CNN架构类似于之前发表的模型[gydF4y2Ba 26gydF4y2Ba]和长短期记忆(LSTM)模型[gydF4y2Ba 50gydF4y2Ba］．这两种架构都使用Keras中随机初始化的WE权重进行测试，或者使用预训练的W2V中的权重进行WE初始化。gydF4y2Ba

两种模型都有每个单词200维的WE。输入层的维度大小略超过令牌输入序列的最大长度，并发音符为8352个令牌，预测音符为11000个令牌。CNN体系结构包括输入层;包含一个掉落率为0.2的WE层;一个卷积层，有多个过滤器大小(3,4,5)并行，每个层有200个节点，ReLU激活，一个步幅，全局最大池化;一个合并张量，然后是一个完全连接的200节点隐藏层，ReLU激活，下降率为0.2;输出层只有一个带有sigmoid激活函数的二进制节点。LSTM体系结构包括输入层;掉落率为0.1的WE层;64节点的LSTM层; both global average pooling and global max-pooling layers with a merge tensor of the 2; a fully connected 100-node hidden layer with ReLU activation and a drop rate of 0.1; and a single sigmoid binary output node.

DNN模型使用自适应矩估计梯度下降算法[gydF4y2Ba 51gydF4y2Ba]从4×10开始，学习率逐渐下降gydF4y2Ba^{−4gydF4y2Ba}，批大小为32，验证分裂为15%，耐心为5的验证数据根据损失函数提前停止。gydF4y2Ba

在人工审查期间，评分者之间的信度显示科恩kappa为0.96。以人工复查的标签为金标准，并发就诊的故意自残ICD代码的准确性为0.92，精度为0.84，召回率为1.0。因此，根据人工审查，在100例被指定为故意自残ICD代码的病例中，有16例没有表现出故意自残的病史。然而，16个中只有2个gydF4y2Ba 假阳性gydF4y2Ba在他们的临床记录中提到了故意自残。在这2人中，1人怀疑是故意自残，另一人之前承认有自杀意念，可能是故意自残。gydF4y2Ba

分析结果表明，关键词在与故意自残事件同时发生的临床记录中以及在故意自残事件发生前的临床记录中均有过高的代表性(gydF4y2Ba 表1gydF4y2Ba)．例如，单词gydF4y2Ba 自杀gydF4y2Ba而且gydF4y2Ba 尝试gydF4y2Ba在并发笔记中名列前茅;但是，在之前的笔记中，它们并没有进入前10名。相反，这些词gydF4y2Ba 障碍gydF4y2Ba而且gydF4y2Ba 如果gydF4y2Ba(自杀意念的缩写)在故意自残之前的笔记中名列前茅。gydF4y2Ba

W2V模型成功地聚类了似乎具有相似语义上下文的单词。gydF4y2Ba 图1gydF4y2Ba显示了使用t-SNE算法简化为2维的相关单词样本的可视化。gydF4y2Ba 表2gydF4y2Ba显示语义相似的前10个单词gydF4y2Ba 尝试gydF4y2Ba与之相似的前10个词gydF4y2Ba 意念gydF4y2Ba还有它们的余弦相似度。例如，之间的余弦相似度gydF4y2Ba 尝试gydF4y2Ba而且gydF4y2Ba 自杀gydF4y2BaWE向量为0.730和之间gydF4y2Ba 意念gydF4y2Ba而且gydF4y2Ba 自杀gydF4y2Ba是0.872。该列表还显示了几个拼写错误的单词与拼写正确的单词在相似的维度空间中。gydF4y2Ba

基于以往临床记录预测未来故意自残事件的结果显示在gydF4y2Ba 表5gydF4y2Ba．这些值是每个模型经过50个训练和测试周期后不同指标的平均值。gydF4y2Ba 图3gydF4y2Ba显示了不同模型之间的性能差异。CNNr模型表现最佳，平均AUC为0.882，标准差为0.006 (gydF4y2Ba PgydF4y2Ba<.001)，而CNNw的表现又优于LSTM模型(gydF4y2Ba PgydF4y2Ba<措施)。LSTMr与LSTMw之间无显著差异。LSTM模型的性能差异明显大于CNN模型。gydF4y2Ba 多媒体gydF4y2Ba显示每个模型的ROC曲线，突出显示平均AUC。虽然使用W2V的预训练在性能方面没有增加价值，但它确实减少了训练期间所需的epoch数，CNN平均减少了32%，LSTM减少了12%。gydF4y2Ba

词频分析确定了与故意自残就诊相关的临床记录中过度代表的关键词。如在gydF4y2Ba 表1gydF4y2Ba，例如gydF4y2Ba 尝试gydF4y2Ba而且gydF4y2Ba 过量gydF4y2Ba与对照组相比，在与故意自残事件同时发生的临床记录中比例过高。相反，自杀意念(用速记词表示)gydF4y2Ba 如果gydF4y2Ba)经常出现在故意自残的笔记中。这与有关构思的文献一致，构思是自杀企图和自杀完成的一个突出风险因素[gydF4y2Ba 54gydF4y2Ba］．gydF4y2Ba

W2V对我们临床记录的完整数据集进行预训练，成功地将相关单词聚在一起。它还演示了上面确定的一些重要单词的单词相似性。例如，单词gydF4y2Ba 尝试gydF4y2Ba，gydF4y2Ba 自杀gydF4y2Ba,gydF4y2Ba 过量gydF4y2Ba与高余弦相似度密切相关。该模型在将拼写错误的单词与拼写正确的单词聚类时也很有用，这可能有助于减少临床记录中拼写错误造成的噪音。gydF4y2Ba

在使用2012年至2017年的数据集进行训练和测试时，深度学习模型在识别故意自残方面优于BOW模型。考虑到这一结果，我们在2012年至2017年的完整数据集上训练深度学习模型，然后使用2018年至2019年的数据集作为坚持测试集。这种数据的时间划分旨在复制真实世界的场景，在这个场景中，模型可以在历史数据上进行训练，以识别新记录中的故意自残。结果表明，我们可以准确地检测出与故意自残ICD代码同步的临床记录中的故意自残事件。更具体地说，我们表明，即使尚未提供或分配ICD代码，在与给定故意自残就诊相关的汇总临床文本上训练的模型也可用于识别并发的故意自残事件。换句话说，临床文献本身在准确识别故意自残表型方面是有用的。gydF4y2Ba

虽然关于NLP和机器学习方法在故意自残表型上的表现的文献有限，但我们的DNN分类器对带有故意自残ICD代码的并发笔记的精度高达99%，对金标准故意自残事件的精度高达86%，与以前的报道相比，特别是考虑到模型是用ICD代码作为标签进行训练的。使用混合机器学习和基于规则的NLP方法，Fernandes等[gydF4y2Ba 19gydF4y2Ba]在识别自杀企图方面的准确率达到了82.8%。另一项研究比较了ICD编码和NLP提取的自杀概念的准确性，仅使用NLP的准确率为60%，使用ICD-9编码和NLP的准确率为97%;然而，这项研究并没有区分自杀意念和故意自残[gydF4y2Ba 16gydF4y2Ba］．gydF4y2Ba

尽管基于cnn的模型在表型任务上似乎略优于基于lstm的模型，但由于所有dnn在该任务中的性能接近上限，且数据集相对较小，因此很难显示使用任何一种模型或使用W2V预训练的优势。gydF4y2Ba

尽管如此，使用这种方法训练的DNN模型可能对监视目的有用，并且可以很好地补充使用ICD代码的监视。使用故意自残ICD码作为积极标签来训练这种模型依赖于ICD码的可靠分配。幸运的是，我们机构对故意自残的ICD代码是准确的，正如人工复查图表所示，尽管假阳性率相对较高。最后，故意自残事件的准确表型为未来识别其他表型的方向铺平了道路，例如，那些有自杀意念的人与故意自残或非故意自残的人，可能有也可能没有准确的ICD代码。鉴于死亡率数据的可用性，这种精确或深入的表型是预测死亡风险的重要一步。gydF4y2Ba

结果还显示，在指数访问前1至6个月的临床记录汇总预测了未来的故意自残事件，AUC为0.882gydF4y2Ba 表现最好gydF4y2BaCNN模型。这些结果与有关自杀企图预测模型的文献相比较有利。Walsh等人使用结构化EHR数据(包括人口统计数据、诊断代码和基于人口普查的社会经济状况)和通过NLP提取的药物数据的复杂组合[gydF4y2Ba 20.gydF4y2Ba]的最大AUC为0.84。此外，该AUC仅基于7天前的数据。随着预测窗口扩大至指数访问前6个月，AUC逐渐下降至0.81。gydF4y2Ba

在比较两种DNN架构之间的性能时，我们注意到两种CNN模型与基于lstm的模型相比具有一致且统计上显著的性能优势(gydF4y2Ba 图3gydF4y2Ba)．此外，LSTM在50次训练运行中具有相对较高的方差和不一致的性能，可以从ci中注意到。我们还注意到LSTM比CNN的计算成本更高(几乎是每epoch训练所需时间的两倍)。除了较高的计算成本外，循环神经网络在一般文本分类任务中显示出较小的优势[gydF4y2Ba 55gydF4y2Ba，gydF4y2Ba 56gydF4y2Ba］．至少在像我们这样的小数据集上，cnn被发现收敛得更平滑，并提供更好的性能。gydF4y2Ba

虽然W2V预训练聚集了相似的单词，但用W2V权重初始化WE层并没有给任何预测模型增加任何值。虽然CNNr (AUC=0.882)仅略好于CNNw (AUC=0.869)，但差异具有统计学意义。然而，LSTMr和LSTMw之间没有差异。考虑到预训练的WE在识别拼写错误和单词相似性方面的优势，这些结果是出乎意料的，并强调了检查更新、更复杂的语言模型的必要性，例如谷歌(Alphabet Inc .)来自transformer的双向编码器表示[gydF4y2Ba 29gydF4y2Ba］．gydF4y2Ba

不管模型架构如何，这些结果都是有希望的。这种预测模型可能有助于将住院患者划分为风险类别，这可能有助于出院计划。在出院后使用技术(电话、电子邮件或短信)进行随访已被证明可以降低未来企图自杀的风险[gydF4y2Ba 57gydF4y2Ba］．此外，患者可以预防性地安排一名社会工作者;被引导到可获得精神卫生服务的合作初级保健诊所;或接受心理健康转诊、远程医疗预约或家庭健康访问[gydF4y2Ba 58gydF4y2Ba］．预测模型的适当改进甚至可以使患者分层到出院后所需的护理水平，而不仅仅是简单的二元风险分类。gydF4y2Ba

为了在给定的访问期间识别有意自残的患者，我们用ICD代码训练模型。因此，它们只能执行ICD代码指定。如前所述，在手动标记过程中，有几名患者在主诉或诊断中有故意自残史，而不是自杀未遂或自残史。一个可能的解决方案是训练模型引入多个标签，包括当前和过去的故意自残，通过人工审查。然而，这将需要手动审查数百张图表，这超出了最初试点工作的范围。gydF4y2Ba

此外，虽然我们可以清楚地识别故意自残，但这仍然没有具体说明gydF4y2Ba 意图死亡gydF4y2Ba．这突出表明有必要获得自杀死亡人数的数据。有多种形式的自伤(例如，火器、尖锐物体、从高处跳下来)，ICD代码没有附带伤害自己意图的分类。因此，在这些意图不明的情况下，自伤可能反映了多种动机:传达痛苦、低杀伤力的自杀姿态、非自杀性自伤(NSSI)或死亡[gydF4y2Ba 59gydF4y2Ba］．现有的预测自伤行为的文献得出了三个值得注意的危险因素类别:自伤史、B类人格和绝望[gydF4y2Ba 60gydF4y2Ba］．在本研究中，识别自伤具有重要的预后价值，并没有将其与死亡意图区分开来。gydF4y2Ba

本研究的另一个局限性是我们的模型目前只涉及临床文献中的特征。其他临床信息可以添加到模型中，如相关的人口统计学、共病和风险因素(例如，抑郁症或药物使用的代码)。此外，就自杀预测而言，仅靠电子病历数据可能无法提供全貌。理想情况下，我们的数据应该与全州死因数据相关联，这应该会产生更好的预测能力。gydF4y2Ba

虽然深度学习模型更强大，但它们的可解释性不如一些BOW模型。例如，当使用射频模型时，可变重要性分析的结果可能会产生对重要单词的洞察。事实上，在心理健康应用中使用这两种类型的预测模型可能是有益的。这将充分利用深度学习模型的力量以及可解释模型的优势。未来的工作还应包括探索基于注意力的深度学习模型，并深入了解可解释性[gydF4y2Ba 61gydF4y2Ba]，这可能会解决这些模型在现实世界临床决策支持和临床医生采用中的效用。gydF4y2Ba

最后，本文给出的结果是基于来自一个学术医疗中心的单个EHR系统的数据，因此很难在其他环境中对我们的模型的高水平性能进行概括。未来的工作应包括与其他机构合作，以确定这些模型在其他环境中的性能。gydF4y2Ba

大多数模型在同步临床记录(即表型任务)中检测故意自残事件时表现相对较好。这很可能是由于并发笔记中的强烈信号，并与ICD代码中故意自残的高保真度有关，至少在我们的机构中是这样。当应用于基于先前临床记录的患者图表中有意自残代码分配的未来发生预测时，AUC降至0.882，召回率和精度适中。尽管如此，我们的结果与文献中报道的其他模型的结果具有竞争力。提高这些算法的精度可以使精神卫生专业人员对未来有自杀企图风险的患者进行更好的随访和预防性护理。gydF4y2Ba