遗传性疾病患者全外显子组测序数据中单核苷酸变异的诊断:使用人工智能变量优先排序的机器学习研究

简介

背景

现代下基因组测序技术使一天内快速完成人类基因组测序成为可能[1，2］．与传统的Sanger测序方法相比，由于其速度快，成本低[3.]， NGS正迅速被引入临床和公共卫生实验室实践，特别是用于诊断遗传性疾病。

尽管NGS具有极高的通量，可以在短时间内生成大量的基因组数据，但解释这些数据并从数千个变异中找到致病候选基因仍然是一个挑战。为了确定患有遗传疾病的患者的真正病因变异，医生通常需要手动查看每个变异的大量特征，并在不同的数据库中搜索文献，以了解遗传变异的影响。另一个挑战是寻找与患者表现型密切相关的基因变异。医生经常手动从病人的电子病历(EMRs)中选择有用的关键词，在几个基因数据库中搜索文章，如在线人类孟德尔遗传(OMIM) [4和通用视图[5来确定一个变异是否与一种遗传疾病相关。因此，对医生来说，逐案处理这些费时费力的过程是一种负担，特别是在过去十年中，每年发表的与遗传疾病相关的种系突变的数量呈指数增长的情况下[6］．

如今，许多研究使用机器学习方法来解决基因组学和遗传学中的许多问题。机器学习领域有望使计算机帮助人类理解庞大而复杂的数据集。在变体注释之后，会有一个包含数百列的变体列表，人类无法逐一解释这些列。由于机器学习大大超过了人类水平的性能，特别是在结构化数据的情况下，我们考虑使用机器学习方法来分析来自NGS的变体并找到目标基因。

为了解决这些问题，有一种高性能的方法从NGS结果中筛选候选变异，并立即找到与患者疾病相关的目标变异，这是非常重要和必要的。最近，Exomiser [7， DeepPVP [8， Xrare [9， VarSight [10， Phenolyzer [11]、面料宝石[12]，月亮[2]， cadd [13]、MetaSVM [14]已经被开发用来识别与罕见病诊断中患者表型相关的潜在致病变异。Exomiser整合的信息包括计算出的基因特异性表现型得分、变异等位基因频率(多媒体附件1)，并预测几个等位基因的致病性，以优先考虑致病变异/相互作用。织物GEM利用贝叶斯因子对变异进行优先排序，并支持由Phevor [15，以及ANNOVAR、VAAST和fen - gen等工具的不同优先级结果。MOON集成了几个变量的注释结果和优先级排序工具，使用几种机器学习模型实现了变量优先级排序。由Phevor使用从患者电子健康记录(EHRs)中提取的人类表型本体(HPO)术语计算出的基因表型得分也被MOON考虑在内。CADD利用逻辑回归综合信息，包括周围序列的上下文、生物学约束、表观遗传测量和几种变异注释工具的结果，建立了变异毒性的预测模型。MetaSVM [14]收集包括polyphen2在内的9个毒性预测评分的结果[16]，筛选[17， MutationTaster [18]建立支持向量机(SVM)毒性预测模型。尽管这些工具采用了不同的方法(包括逻辑回归和深度神经网络)来确定变量的优先级，但大多数工具只能识别HPO术语中定义的表型[19］．在这项工作中，我们开发了基于机器学习方法的AI变体优先排序器模块，该模块可以从全外显子组测序(WES)数据中输出单核苷酸变异(SNVs)和小插入/删除(indels)的排名，并输入自由文本表型描述或EHR。

在这项研究中，我们旨在实现一个名为AI Variant priority的网站，该网站使用来自NGS生物信息学管道的数据和机器学习，对snv和患者表型中最可能的致病变异进行预测。从NGS管道生成的数据都是用ANNOVAR、Nirvana、Variant Effect Predictor (VEP)和InterVar等工具的注释和MViewer (Mutation Viewer)查询的多个数据库的附加信息构建的[20.］．为了简化解释过程，我们集成了关键字提取工具，从EMRs自动生成表型。我们的系统采用MViewer筛选的候选变异和患者的EMRs作为输入和输出的snv列表，具有排名和致病概率。该系统可以帮助研究人员和医生专注于那些有较高致病可能性的疾病，而不是手动检查每个变体，并节省大量时间。此外，我们还为我们的系统实现了一个web应用程序编程接口(API)，使排名功能集成到MViewer中。因此，医生可以用单一的应用来解释遗传变异的结果，而不是采用多种服务。

数据描述

在我们的研究中，我们专注于那些被诊断患有罕见孟德尔病的患者。我们的数据主要来自台大医院医学遗传学系的快速外显子组项目。为了使用更多的数据构建模型，我们还申请了dbGaP数据库(项目ID 201911)中存储的几个WES数据。我们使用的数据是dbGaP登录phs000711.v5。p1，贝勒霍普金斯孟德尔基因组学中心。

我们收集患者测序数据以满足本研究要求的条件如下:

• 被诊断为遗传疾病的病人。
• 接受WES或靶向测序并诊断出至少一种致病变异的患者。
• 可获得表型信息的患者。

我们来自NTUH的数据包括患者人口统计数据、NGS生物信息学管道输出的可变呼叫格式(VCF)文件和来自电子病历的表型信息。来自dbGaP的数据还包括患者人口统计数据、VCF文件和临床情况。所有数据都已被识别，不会侵犯患者的隐私。我们将性别纳入患者人口统计信息中，作为我们模型的一个特征，因为一些人类遗传疾病与性别有关。性相关疾病是由X或Y染色体上的基因突变引起的，并通过家族遗传。

不同呼叫格式文件

作为NGS生物信息学管道的最终产品，VCF是存储DNA多态性数据(如snp、插入、删除和结构变异)的通用格式。该格式是为1000基因组计划开发的，也被其他项目广泛采用。每个VCF文件由两个部分组成:头部分和数据部分。头部包含关于数据部分中的标记和注释的元数据。它还可以用于提供与数据和文件的历史相关的信息。标题中的最后一行包含数据部分的列标题。数据部分被制表符分隔为9列，并报告每一行的一个突变。列包括CHROM, POS, ID, REF, ALT, QUAL, FILTER, INFO和FORMAT。

表型信息

对于来自NTUH的数据，我们从临床医生的病史总结中提取患者的表型信息。它主要记录病人的病情、临床诊断和每个病人入院的原因。我们还根据每个患者的症状收集医生提供的表型关键词进行模型验证。对于来自dbGaP的数据，由于没有电子病历，我们将使用患者的临床情况来代替。对于在OMIM数据库中可以找到的临床情况，我们将提取相应的表型描述作为我们研究的表型信息。

方法

工作流

概述

图1展示了我们研究的工作流程。我们从WES和面板测序中收集每个患者的VCF，然后使用几种工具对变异进行注释。在变量注释之后，我们使用了我们内部的软件(MViewer [20.)以查询其他外部数据库并筛选候选变量。然后我们使用这些候选变体的基因名和关键字提取工具从EMRs中提取的关键字查询变体优先排序器[21］．利用变异优先排序器生成的基因相似度分数和标注变异列作为特征训练机器学习模型。该模型将每个变体按其致病概率排序。我们将在下面的小节中演示每个步骤的细节。

‎ 查看此图

变异注释

我们在VCF文件中收集了每位患者的NGS测序数据，并从包括ANNOVAR [22]， vep [23，涅槃[24]、InterVar [25］．对于上述工具无法提供的其他信息，我们使用软件导入了一些公共数据源，包括ClinVar [26]，人类基因组突变数据库(HGMD) [27]、台湾生物库[28］．对这些注释字段的详细描述总结在文本框1．

变体过滤

WES数据中平均每个先证者有40,000个变体。然而，大多数是良性的，与症状无关。只有一小部分变异可能是有害的或与患者的疾病有关。在标准的临床分析过程中，医生只关注可能致病或未知的变异。由于我们的模型旨在帮助研究人员和医生进行临床外显子组阅读，因此有必要减少变异的数量，专注于更可能导致疾病的变异。

为了生成候选变量，我们使用MViewer提供的过滤器来删除不太可能有害的变量。过滤器和标准列于表1．对于包含超过1列的过滤器，如果一个变量满足它们的任何一个条件，它将保留在数据中。经过变异筛选后，我们得到每个患者大约700个snv。

表现型提取

概述

本研究使用的表型信息来自临床医生的病史总结。这些记录都是免费文本，文本长度从不到10个字到超过300个字不等。在临床分析过程中，医生手工翻阅病历，识别表型关键词，耗时较长。为了解决这一问题，我们使用了几个关键字提取工具，从自由文本医疗记录中自动生成与表型相关的关键字。以下部分列出了在我们的研究中应用的关键字提取工具。

MetaMap

MetaMap [31]是一个广泛使用的应用程序，提供对统一医学语言系统(UMLS)元辞典内概念的访问[32］．UMLS mettathesaurus是来自各种生物医学命名系统的名称、关系和相关信息的汇编，这些命名系统代表了生物医学实践或研究的不同观点。它包括超过100万个生物医学概念和500万个概念名称[33］．MetaMap能够将文本中的每个单词映射到UMLS概念，但我们只想关注与表型和疾病相关的单词。因此，我们提取了以下语义类型的词:(1)损伤或中毒，(2)细胞或分子功能障碍，(3)遗传功能，(4)疾病或综合征，(5)体征或症状，(6)组织。

Doc2Hpo

Doc2Hpo [34是一个使用自然语言处理(NLP)技术解析临床记录并得到表型概念curation作为HPO术语的web应用程序。有一个解析引擎可以从输入中自动识别显型概念。Doc2Hpo应用一种名为NegBio的算法在输入数据中进行否定检测。之后，有几个NLP引擎负责HPO概念提取。我们使用了其中的3个引擎并比较了它们的性能。第一个NLP引擎是一个基于字符串的方法，利用算法进行概念提取。第二个引擎是在线NCBO注释器[35用于HPO概念识别的API。我们采用的最后一个引擎是MetaMap Lite，它是MetaMap的一个快速版本，提供了近乎实时的命名实体识别。MetaMap Lite引擎首先识别文本中的临床术语，并将它们映射到标准UMLS概念。然后UMLS概念将进一步映射到HPO概念。Doc2Hpo生成的结果是HPO术语，而MetaMap提取的关键字是非HPO术语。

表型-基因相似度评分

构建基因与关键词之间联系的另一种方法是使用Okapi BM25排序函数。Okapi BM25通常由搜索引擎(如谷歌和Bing)使用，根据与给定搜索的相关性对匹配文档进行排序。该函数最突出的实例之一如下式所示:

分数(D，问)表示文档的Okapi BM25评分D当给出一个查询Q，包含关键字问1，问2……qn；f（气，D)是气文档中的术语频率D；|D|是文档的长度D在单词;Avgdl是所有文档中的平均文档长度;k1,b为常量(分别=1.2和0.8);和IDF (气)为查询词的逆文档频率(IDF)权重气通常定义为:

IDF (气) = ln [(N- - - - - -n（气+ 0.5]/[n（气+ 0.5 + 1]

在哪里N是文件的数量和n包含关键字的数字。

在本研究中，我们提出了一种利用OMIM和GeneReviews中的基因描述作为文档，关键词作为查询的方法来实现Okapi BM25排序功能。因此，我们可以用Okapi BM25评分来表示基因描述与关键词之间的关系。关键词中基因描述的得分越高，说明该基因与关键词之间的联系越强。排名值是基于前面提到的Okapi BM25排名函数和其他一些参数。与Okapi BM25正则公式相比，rank值将IDF函数替换为Robertson-Spärck-Jones weight [36］．IDF函数是对单词提供多少信息的度量，也就是说，该单词在所有文档中是常见的还是罕见的。例如，术语“the”在每个文档中都很常见，因此术语频率将倾向于错误地突出显示碰巧更频繁地使用“the”这个词的文档。因此，IDF函数致力于减少所有文档中频繁出现的单词的权重。与常规的IDF函数相比，Robertson-Spärck-Jones权重增加了文档的相关参数，提高了排名得分的精度。

我们从一个文本挖掘工具Variant priorities tizer中得到每个SNV的表型-基因相似度得分，该工具通过输入症状作为关键词输出基因的排名和得分。变体优先排序器使用Okapi BM25排序功能[37来构建基因和关键词之间的联系。来自OMIM, generviews, Entrez基因的基因描述[38，以及PubTator [39]作为数据源，关键词作为查询，采用全文搜索的方法实现Okapi BM25评分。它返回一个名为RANK的列，其中包含从0到1000的序号值。RANK分数基于以下公式:

其中ω是Robertson-Spärck-Jones权重[36]，定义为ω = log [(r+ 0.5)∙(N- - - - - -n- - - - - -R+r+ 0.5)] / [(R- - - - - -r+ 0.5)∙(n- - - - - -r+ 0.5)]，其中R是否有多少已知的相关文件r是包含这个术语的数量;特遣部队是在一个项目中查询的属性中单词出现的频率;qtf是查询中术语出现的频率;而且K定义如下:

K＝k ₁((1 -b) +b（戴斯。莱纳姆:/ avgdl))

在哪里戴斯。莱纳姆:是属性长度，在字的出现;Avgdl是被查询属性的平均长度，以单词出现次数为单位;而且k₁，b,k_3.是常量(分别=1.2、0.75和8.0)。

我们使用Variant priority API从每个数据源获取RANK值作为基因相似度评分，以表示每个snv与提取的关键字之间的关联。我们保留了等级值的最大值和最小值(总共4分)作为模型构建的两个独立特征。

道德的考虑

本回顾性队列研究由国立台湾大学医院机构审查委员会(IRB编号:201710066RINB)批准。我们确认所有的实验都是按照相关的指导方针和规定进行的。从电子病历中检索到的数据被识别，研究团队无法将其与患者身份联系起来。由于本研究为回顾性队列研究，数据不确定，因此无需书面知情同意，并由国立台湾大学附属医院IRB (201710066RINB)确认。本条例符合《健康保险携带与责任法案》(HIPAA)，即对已识别健康信息的使用或披露没有限制。

数据预处理

步骤概述

在VCF文件的变体注释之后，我们将数据预处理为模型可接受的格式。数据预处理是机器学习中极为重要的一步，因为数据的质量直接影响模型的学习能力。它包括各种操作，每个操作都旨在帮助机器学习建立更好的预测模型。本研究中使用的数据预处理操作将在下面的小节中解释。

缺失值处理

在现实世界中，数据通常有缺失的值。例如，在基因型变量中，大多数机器学习方法都不能处理空值，识别和正确处理缺失值是关键。基本上，缺失的值可以使用各种技术处理，如删除或imputation [40］．删除删除有一个或多个缺失值的观察的所有数据。但是，如果有许多列缺少值，则删除将导致数据缺乏。因此，对于一些列，我们用均值替换数据集中缺失的值，而对于一些列，我们只是简单地用有效值替换缺失的值，比如0。

一种热编码

许多机器学习算法不能直接操作分类数据。它们要求所有的输入特征都是数字的。基本上，分类数据包含标签值而不是数值。因此，分类数据必须转换为数字形式，以便在机器学习模型中使用。一种热编码是处理分类数据的普遍方法。一种热编码将分类列转换为多维向量。它创建新列，指示原始数据中每个可能值的存在。

例如，在基因型变量中，有3类:纯合子(hom)、杂合子(het)和半合子(hem)。因此，需要3个二元变量[home, het, hem]。如果一个变异的基因型是杂合的，我们使用[0，1，0来代表它。

数据归一化

对于连续数据，有一些具有不同的范围。如果我们在一些机器学习模型(如逻辑回归)中应用范围非常大的特征，范围更广的特征由于其值更大，在本质上对结果的影响更大。然而，这并不一定意味着这一特征是一个更重要的预测。因此，我们使用规范化技术作为解决方案来克服这个问题。归一化是对原始范围内的数据进行缩放，使所有值都在0和1的范围内。我们通过最小-最大归一化对所有连续值进行缩放。一般公式如下:

XNorm = (X - X分钟)/（X马克斯- X分钟)

在哪里X是原值和XNorm是归一化值。这将使最大值映射为1，最小值映射为0。除了上述的数据预处理技术，我们还对不同的数据类型进行了不同的处理，并为模型构建创造了一些新的特性。在接下来的小节中，我们将详细介绍每种数据类型的预处理，并在最后将它们结合起来。

功能预测评分

功能预测评分，包括SIFT [17， PolyPhen2 HDIV [16， PolyPhen2 HVAR [16]， LRT [41， MutationTaster [18， MutationAssessor [42]， fathmm [43]，证明[44， MetaSVM [14， MetaLR [14]， m-cap [45]， cadd [13， gerp++ [46]， dann [47， fathmm-MKL [48]，种族灭绝[49]， fitCons [50， PhyloP [51， PhastCons [52]和SiPhy [53来自ANNOVAR。我们使用ANNOVAR提供的转换后的等级分数来代替原来的分数，因为所有这些分数总是在0和1的范围内。此外，不同算法转换的排名分数在同一方向上是单调的。也就是说，分数越高，表明变异越有可能具有破坏性[54］．对于拼接点预测，我们使用VEP插件导入了MaxEntScan评分。我们定义了一个名为MaxEntScan意义的新列。当MaxEntScan alt值< 3且MaxEntScan变异量< 30%时，该值为1;否则该值为0。我们使用ClinVar报告的临床意义和计算HGMD评分。HGMD计算的等级分数是0到1之间的致病性概率，与HGMD的其他条目相比，1是最可能的致病原因。

临床解释

我们采用基于美国医学遗传学和基因组学学院/分子病理学协会(ACMG/AMP) 2015指南的每种遗传变异的临床解释，该指南由InterVar生成。我们计算了由Xrare开发的ACMG评分来代表其总体致病性。ACMG评分是基于多个证据(n=14)的加权和评分，每个项的权重如下:PVS1:6, PS1:4, PM1:2, PM2:2, PM4:2, PM5:2, PP2:1, PP3:1, BA1:9, BS1:3, BS2:3, BP3:1, BP4:1, BP7:2 [9］．我们从基因组聚合数据库(gnomAD)中收集了包括pLI、pRec、syn_z和mis_z在内的基因级约束特征。我们使用OMIM中定义的继承模式作为数据。对于包含多个模式的变量，我们计算每个模式的出现次数，并将其存储为一个特征。我们还从ANNOVAR中获得了关于每个变体的一些附加信息，如基因型、变体击中的区域和读取深度。每个变体的质量也从VCF文件中收集。由于ANNOVAR注释的基因型不包含半合子等位基因，我们将所有男性患者X染色体的基因型特征替换为半合子等位基因。此外，我们使用Nirvana收集了一个基因的不同转录本或近端调控区域的功能结果。

标签

我们研究的目标是确定具有snv的致病变异(即，我们将一个变异分类为致病或非致病)。当机器学习算法学习如何从示例中为测试用例分配类标签时，有必要为所有输入训练集分配类标签。我们使用0/1标记来表示一个变体是否会引起疾病。如果一个变量是致病的，我们就给它标上标签1;否则标签为0。关于我们模型中使用的所有特性的详细信息载于多媒体附件2．

特征选择

经过数据预处理，每个变量得到94个特征。为了降低输入数据集的高维，同时保留分类问题的歧视性信息，我们应用了来自scikit-learn的单变量特征选择技术[55]包，以识别数据集中的相关变量并删除无用的变量。特征选择有助于减少数据集中的噪声，让模型专注于相关信号。

scikit-learn单变量特征选择模块提供了几个评分函数。我们使用互信息分类器来选择最相关的变量。互信息[56]是一个非负的值，它衡量了变量的一般依赖性，而不对它们的基本关系的性质做任何假设[57］．2个离散随机变量X和Y之间的互信息定义如下:

在哪里p（x，y的联合概率密度函数X而且Y,p（x),p（y)为边际密度函数。互信息决定了联合分布之间的相似性p（x，y)和因式边际分布的乘积。该值越大意味着两个变量之间的关系越大。当且仅当两个变量独立时，计算值等于0。

我们只使用训练集来执行特征选择过程，以确定相关变量。此外，我们选择的特征数量是基于10倍交叉验证的模型评估

建筑模型

为了利用机器学习算法构建模型，我们将数据分为两组。由于我们的模型旨在帮助医生进行临床外显子组数据解释过程，因此我们将来自dbGaP数据库的外显子组数据和来自NTUH的靶向基因面板测序数据设置为训练集，将来自NTUH的WES数据设置为测试数据。它只能用于模型评估。外部验证集由90个最新的NTUH WES数据组成，这有助于确保我们的模型能够在未来的临床应用中做出预测。关于训练和测试集的详细信息列于表2．

为了建立机器学习模型，我们实现了随机森林算法[58由scikitlearn软件包提供。超参数的选择是基于网格搜索和10倍交叉验证。随机森林最初是由Leo Breiman在2001年提出的[58］．它是从决策树演变而来的集成分类器。实际上，随机森林是决策树的组合，每棵树都依赖于一个独立采样的随机向量的值，森林中所有树的分布都是相同的[59］．森林的树木生长如下:

• 训练集是来自原始训练集的引导样本。
• 要构建的树的数量和在每次分割m-try时作为候选变量随机抽样的变量的数量由用户设置，其中m-try小于变量的总数。
• 在每个节点上随机选择m-try变量，在m-try中选择最佳分割点对节点进行分割。这个过程不断迭代，直到树生长到最大深度。
• 对于测试用例预测，作为测试向量x在每棵树上，它被分配为的平均值y在它停止的节点上的值。森林中所有树木的平均值是的预测值x．分类的预测值为得到森林投票的多数票的类别。

我们用来测量分裂质量的函数是基尼杂质。基尼杂质是指如果根据数据集中的类分布对数据集中随机选择的元素进行随机标记，则对数据集中随机选择的元素进行错误分类的概率[60］．在决策树学习中，它被定义为,在那里c是多少班和p（我|t)为随机选取一个类对象的概率我在节点t．在训练决策树时，通过使基尼增益最大化来选择从根节点分离的最佳值，基尼增益由原始杂质减去分支的加权杂质来计算。

绩效评估

为了评估我们的模型在真正的因果变量优先化方面的性能，我们使用了VarSight中提到的排名统计数据。在我们将二元分类过程应用到所有变量之后，我们得到了每个变量的概率，它代表了该变量引起疾病的概率。我们将每个患者的变异按概率从高到低的顺序排列，并量化排在前1、5、10、20位的目标变异的百分比。

结果

特征选择

对于特征选择，我们使用基于scikitlearn包中的SelectPercentile方法的单变量特征选择。我们选择的分类器是互信息分类器。只有训练集用于选择最相关的特征。进一步，我们应用10倍交叉验证来确定模型训练的特征数量。在图2，我们在使用不同百分比的特征进行10倍交叉验证时给出了前10个准确性。由于使用60%的特征准确率最高，因此选择估计互信息最高的56个特征(共94个特征的60%)进行最终的模型构建。

‎ 查看此图

模型的性能

我们用我们的测试集来评估模型。正如在表2该测试集由108名接受WES治疗的患者组成，这些患者至少有一种由医生诊断的致病变异。多媒体附件3给出了它们的致因变体、关键字和相应的HPO术语的详细信息。关键词和HPO术语由医生根据每个患者的表型来确定。

使用不同关键字提取工具进行预测

图3显示目标变量和排序的百分比分布图4展示了使用不同关键字提取工具的模型的累积排名结果。当使用工具从摘要中提取表型时，我们的模型可以将超过40%(60/134,44.8%)的目标变异分配到最高的等级。无论使用何种关键字提取工具，模型的前10个精度都在90%左右(124/134,92.5%)。与专业医生提供的关键词相比，使用工具提取关键词的top 1准确率较低，但前10准确率相当。这表明，在大多数情况下，我们的模型能够成功地将真正的原因变量排在变量列表的前面，并且该排名受输入关键字的影响很小。

我们基于上一节中描述的方法构建了一个随机森林模型，并使用基于不同关键字提取工具的测试集对其进行评估。经过筛选，我们在平均每人741个候选变异中，成功地在排名前10位的致病变异中找到了92.5%(124/134)。该模型的性能与人工分析相似，并已用于台大医院的遗传诊断。

图3而且4分别显示使用不同关键字提取工具的模型的目标变量排名的百分比分布和累积排名结果。当使用工具从摘要中提取表型时，我们的模型可以将超过40%(60/134,44.8%)的目标变异分配到最高的等级。无论使用何种关键字提取工具，模型的前10个精度都在90%左右(124/134,92.5%)。与专业医生提供的关键词相比，使用工具提取关键词的top 1准确率较低，但前10准确率相当。这表明在大多数情况下，我们的模型能够成功地将真正的原因变量排在变量列表的前面，并且该排名受输入关键字的影响很小。

‎ 查看此图

‎ 查看此图

其他机器学习方法

我们还评估了其他机器学习方法，并将其性能与随机森林进行了比较。这些方法包括逻辑回归、高斯朴素贝叶斯、RBF核支持向量机和梯度增强决策树。每种算法超参数的选择都是基于网格搜索和10倍交叉验证。我们使用MetaMap作为关键字提取工具，并使用我们的测试数据来测试每种方法的性能。各机器学习方法对目标变量的排序百分比分布和各模型的累积排序结果如所示图5而且6,分别。由于随机森林的前10个准确率最高，我们最终选择了随机森林作为我们的机器学习算法。

‎ 查看此图

‎ 查看此图

讨论

主要研究结果

我们已经实现了一个名为AI Variant priorities的网站，该网站使用来自NGS生物信息学管道的数据和机器学习，对snv和患者的表型数据中最可能的致病变异进行预测。该系统可以帮助研究人员和医生关注那些有较高致病可能性的人，并减少整个WES管道从DNA提取到临床诊断的平均周转时间(1天)。此外，我们还为我们的系统实现了web API，使排名功能可以集成到MViewer中。因此，医生可以用单一的应用来解释遗传变异的结果，而不是采用多种服务。

为了进行比较，我们使用我们的测试数据运行了包括AMELIE [61]， VarElect [62， Exomiser, Phenolyzer和Variant priority tizer。由于AMELIE和Exomiser只能接受HPO术语定义的表型，我们输入了医生确定的HPO术语作为他们的输入。Phenolyzer可以识别疾病术语和HPO术语。但是，如果术语在它们的数据库中不匹配，它将不返回任何记录。因此，我们也使用HPO术语作为苯溶剂的输入。VarElect、Variant priority和我们的模型可以识别自由文本描述。因此，我们将医生提供的关键词作为测试输入。AMELIE、VarElect和变异优先级器只对基因列表而不是变异列表进行优先级排序。因此，我们评估的结果是基于基因的优先级，而不是基于变量的优先级。也就是说，对于每个患者，如果工具优先考虑目标基因在我们过滤的基因列表的前1、5、10、20、50和100，这个患者将被计数。 All the tools use the default settings provided in their websites to run.

图7而且8分别显示每个工具的目标基因排名的百分比和累积百分比分布。从图8，我们可以看到，在61.1%(66/108)的患者中，AI Variant priority能够将目标基因分配到最前面，其次是Variant priority(48/108, 44.4%)。它还显示了累积排名结果，这表明我们的AI变体优先排序器在排名1、5、10和20有最高的准确性。此外，AI变体优先级显示出比其他工具更好的性能。通过查阅数据库，采用HPO术语后，排名前10的名单可以增加到93.5%(101/108)。

与通过手动映射HPO术语到SNOMED临床术语(SNOMED CT)从SNOMED提取表型特征相比[63，我们的自动化方法探索了各种表型特征提取工具，并专注于罕见疾病的解释。我们还研究了过去3年发布的几种人工智能驱动的变体优先级排序方法，包括Fabric GEM [12]，月亮[2和Exomiser。我们的方法和这些方法之间有几个不同之处，包括用于构建优先级模型的算法、考虑的特性和集成的数据库。然而，我们的方法与其他方法的主要不同之处在于将基因和表型之间的关系转化为数值的方法，这为以后的预测铺平了道路。面料GEM和MOON使用Phevor [15将表型-基因关系转化为数值，而Exomiser使用表型-基因关系[64来实现这一目标。

Phevor和表型digm都构建了连接HPO和其他本体论的新方法，以发现更多的基因疾病关联。Phevor收集HPO和基因本体论(GO)提供的所有疾病和基因的相关性，并构建几个网络(图)，并沿发现的路径分配权重递减。特定基因节点上的权重之和表示该基因与相应HPO项的相关得分。phendigm利用OWLSim [65]计算不同本体论中不同表型之间的相似度，并使用相似度来估计给定HPO术语与不同基因之间的相关性大小。相比之下，我们的方法中使用的变异优先排序器从另一种知识来源:数据库的自由文本中提取表型-基因关系。我们对这些方法作了一个简单的比较表3而且4．

‎ 查看此图

‎ 查看此图

功能的重要性

为了解释模型预测，我们使用了scikit-learn提供的特征重要性方法来确定哪个特征具有最大的预测能力。图9显示前20个重要功能。根据临床经验，变异与患者表型之间的联系是影响医生决定是否报告变异的关键因素。同样，从图中我们可以看到，最重要的特征是max bm25评分，它指的是给定的变量和关键字之间的相似度评分。在临床分析中影响报告决策的另一个重要因素是变异的严重程度。我们使用的对应特征是ACMG评分，它在特征重要性的第二位。相比之下，特征重要性的结果可能为医生或研究人员在寻找致病变异时可以考虑的特征提供信息。

‎ 查看此图

外部验证

我们比较了来自测试集和外部验证集的排名的累积百分比分布。结果显示在图10而且11．在不同的区域，如前10和前5，它们的百分比值非常接近。外部验证集的top 1排名的百分比甚至高于测试集。有了这个结果，我们相信我们的方法已经显示出其强大的临床应用潜力。

‎ 查看此图

‎ 查看此图

限制

这项研究有几个潜在的局限性。首先，我们无法找到大量的数据进行训练和测试。这不仅限制了机器学习模型的教材数量，而且也限制了评估训练模型的可用度量。其次，本研究中使用的基因-表现型评分没有足够的能力来检测小的或中等的关联，因为它依赖于基因-表现型关系向数据库报告的频率。最后，该研究没有调整潜在的混杂因素，如饮食和体育活动。这可能会导致潜在的偏见，因为基因的表达方式可能会受到患者生活方式的影响。

总的来说，由于缺乏足够的数据，缺乏基因-表型关系的报道，以及缺乏对生活方式的观察，本研究可能存在潜在的偏倚。如果未来有更多的数据和报告，第一和第二种方法的影响可以减少。另一方面，生活方式和环境的影响仍然是一个需要更多专门研究的问题。

结论

在本研究中，我们提出了一个机器学习模型，AI变体优先排序器，以预测一个变体是否是罕见孟德尔障碍患者的致病原因。我们成功地将WES的测序数据和通过关键词提取工具自动提取的患者疾病的自由文本表型信息用于模型训练和测试。通过解释我们的模型，我们确定了变量的哪些特征是重要的。此外，我们在测试数据集中找到了一个满意的结果。在测试了108例患者的WES数据后，经过筛选过程，我们成功地在平均每人741个候选变异中，93.5% (n=101)的病例中找到了排名前10位的致病变异。该模型的性能类似于由NTUH医学遗传学系的医生手工分析，它已被用于帮助NTUH进行遗传诊断。

由于医生几乎所有的时间都在照顾他们的病人，为一个准确的基因诊断所花费的搜索时间是非常重要的。我们的AI预测模型能够以93.5%(101/108)的高概率提供前10个命中列表，从而帮助他们节省数周的时间，如果他们需要手动搜索前10个列表之外的内容的话。

要完全解释一种遗传疾病的致病变异不是一件容易的工作。由于工具提取关键字的精度影响模型的性能，在未来的工作中，我们将采用一些NLP技术，如双向编码器表示从变压器(BERT)，以更适当地提取关键字。此外，已经建立了AI变体优先级器模型来分析WES数据中的snv和小索引，但我们还没有处理拷贝数变化(CNVs)。CNVs被认为是一种重要的遗传变异，与常见和复杂疾病相关，因此对几种孟德尔遗传疾病和体细胞遗传疾病有很大影响。因此，我们将收集cnv的数据，并扩展我们的系统来注释和过滤cnv。此外，我们将通过添加cnv作为我们的训练数据来扩大我们的数据集，使AI变体优先排序器模型能够预测任何类型的致病遗传变异。在实施AI变异优先排序器之前，使用变异优先排序器，整个WES管道从DNA提取到临床诊断的平均周转期为5.8 (SD 1.1)天。然而，在实施了AI Variant priority后，在NTUH进行快速三外显子组测序分析的平均周转期缩短到4.8 (SD 1.2)天。