李彦杰，邱永斌，邹林虎，邱丽萍，许虎阳，王洛，邱晓华，潘丽萍- 2022 DA - 2022/10/20 TI -基于句法依赖特征的多头部注意模型的生物医学文本关系提取建模研究JO - JMIR Med Inform SP - e41136 VL - 10 IS - 10 KW -生物医学关系提取KW -深度学习KW -特征组合KW -多头注意KW -加性注意KW -句法依赖特征KW -句法依赖图KW -最短依赖路径AB -背景:随着生物医学文献的迅速扩大，生物医学信息提取越来越受到研究者的关注。特别是两个实体之间的关系提取是一个长期的研究课题。目的:本研究旨在完成生物医学自然语言处理研讨会2019开放共享任务的2个多类关系提取任务:细菌-生物群落关系提取(BB-rel)任务和植物种子发育二元关系提取(SeeDev-binary)任务。从本质上讲，这两个任务都是为了从生物医学文本中提取标注实体对之间的关系，这是一个具有挑战性的问题。方法:传统的研究方法采用基于特征或核的方法，取得了较好的效果。针对这些任务，我们提出了一种基于多个分布式特征的深度学习模型，如特定领域的词嵌入、词性嵌入、实体类型嵌入、距离嵌入和位置嵌入。采用多头注意机制提取整个句子的整体语义特征。同时，我们在句法依赖图中引入了依赖类型特征和连接2个候选实体的最短依赖路径，丰富了特征表示。结果:实验表明，我们提出的模型在生物医学关系提取方面具有优异的性能，在BB-rel和seedev -二元任务的测试集上F1得分分别为65.56%和38.04%。 Especially in the SeeDev-binary task, the F1 score of our model is superior to that of other existing models and achieves state-of-the-art performance. Conclusions: We demonstrated that the multi-head attention mechanism can learn relevant syntactic and semantic features in different representation subspaces and different positions to extract comprehensive feature representation. Moreover, syntactic dependency features can improve the performance of the model by learning dependency relation between the entities in biomedical texts. SN - 2291-9694 UR - https://medinform.www.mybigtv.com/2022/10/e41136 UR - https://doi.org/10.2196/41136 UR - http://www.ncbi.nlm.nih.gov/pubmed/36264604 DO - 10.2196/41136 ID - info:doi/10.2196/41136 ER -