现代次基因组测序(NGS)技术使人类基因组在一天内快速测序成为可能[ 1， 2］．与传统的Sanger测序方法相比，由于其速度快、成本低[ 3.]， NGS正被迅速引入临床和公共卫生实验室实践，特别是用于遗传性疾病的诊断。

虽然NGS具有极高的吞吐量，并可以在短时间内生成大量的基因组数据，但解释这些数据并在数千个变体中找到致病候选者仍然是一个挑战。为了确定遗传疾病患者的真正因果变异，医生通常需要手动查看每个变异的大量特征，并在不同的数据库中搜索文献，以了解遗传变异的影响。另一个挑战是寻找与患者表型密切相关的遗传变异。医生经常从病人的电子病历(EMRs)中手动选择有用的关键词，以在多个基因数据库中搜索文章，例如在线孟德尔遗传在人(OMIM) [ 4]和GeneReviews [ 5来决定一种变异是否与一种遗传疾病相关。因此，对医生来说，逐个完成这些费力而耗时的过程是一种负担，特别是在过去十年中，每年发表的与遗传性疾病相关的生殖系突变的数量呈指数级增长的情况下。 6］．

如今，许多研究使用机器学习方法来解决基因组学和遗传学中的许多问题。机器学习领域有望使计算机帮助人类理解庞大而复杂的数据集。在变体注释之后，有一个包含数百列的变体列表，人类无法逐个解释。由于机器学习显著超过了人类水平的性能，特别是在结构化数据方面，我们考虑使用机器学习方法来分析NGS中的变体并找到目标基因。

为了解决这些问题，有一种高性能的方法从NGS结果中过滤候选变异，并立即找到与患者疾病相关的目标变异是非常重要和必要的。最近，许多工具，如Exomiser [ 7]， DeepPVP [ 8]， Xrare [ 9]， VarSight [ 10]、Phenolyzer [ 11]、面料宝石[ 12]，月亮[ 2]， cadd [ 13]和MetaSVM [ 14]已被开发用于识别在罕见疾病诊断中与患者表型相关的潜在致病变异。Exomiser集成信息，包括计算出的基因特异性表型评分，变异等位基因频率( 多媒体附件1)，并预测几个等位基因的致病性，以优先考虑致病变异/相互作用。织物GEM利用贝叶斯因子在Phevor [ 15]以及ANNOVAR、VAAST、phengen等多种工具的变体优先级排序结果。MOON集成了几个变量的注释结果和优先级工具，使用几种机器学习模型来实现变量优先级。由Phevor使用从患者的电子健康记录(EHRs)中提取的人类表型本体论(HPO)术语计算的基因表型得分也被MOON考虑。CADD利用逻辑回归整合周围序列的上下文、生物学约束、表观遗传测量以及几种变体注释工具的结果等信息，建立了变体危害性预测模型。MetaSVM [ 14]汇总polyphen2等9个毒性预测评分结果[ 16]，筛[ 17]， MutationTaster [ 18]构建支持向量机(SVM)危害度预测模型。尽管这些工具采用了不同的方法，包括逻辑回归和深度神经网络，来确定变异的优先级，但大多数工具只能识别HPO术语中定义的表型[ 19］．在这项工作中，我们开发了基于机器学习方法的AI变体优先排序器模块，可以在输入自由文本表型描述或EHR的情况下，从全外显子组测序(WES)数据中输出单核苷酸变体(SNVs)和小插入/删除(indels)的排序。

在这项研究中，我们的目标是实现一个网站，AI Variant priorities，该网站使用来自NGS生物信息学管道的数据和机器学习来预测snv和患者表型中最可能的致病变体。从NGS管道生成的数据都是用ANNOVAR、Nirvana、Variant Effect Predictor (VEP)和InterVar等工具的注释结构化的，以及MViewer (Mutation Viewer)查询的多个数据库的附加信息[ 20.］．为了简化解释过程，我们集成了关键字提取工具，从EMRs中自动生成表型。我们的系统以MViewer过滤的候选变异和患者EMRs作为输入，并输出具有秩和致病概率的snv列表。该系统无需手动检查每个变异，可以帮助研究人员和医生专注于那些致病概率较高的变异，节省大量时间。此外，我们还为我们的系统实现了一个web应用程序编程接口(API)，以便将排名功能集成到MViewer中。因此，医生能够通过单一应用来解释遗传变异的结果，而不是采用大量的服务。

在我们的研究中，我们专注于被诊断患有罕见孟德尔疾病的患者。我们的资料主要来自国立台湾大学医院医学遗传科的快速外显子组项目。为了使用更多数据构建模型，我们还申请了存储在dbGaP数据库(项目ID 20911)中的几个WES数据。我们使用的数据是dbGaP访问phs000711.v5。p1由贝勒霍普金斯孟德尔基因组学中心。

为满足本研究的要求，我们收集患者测序数据的条件如下:

我们来自NTUH的数据包括患者人口统计数据，NGS生物信息学管道输出的变体呼叫格式(VCF)文件，以及来自电子病历的表型信息。来自dbGaP的数据还包括患者人口统计、VCF文件和临床情况。所有数据都经过身份识别，不会侵犯患者隐私。我们将患者人口统计信息中的性别作为我们模型中的一个特征，因为一些人类遗传疾病与性别有关。与性别相关的疾病是由X或Y染色体上的基因突变引起的，并通过家族遗传。

作为NGS生物信息学管道的最终产品，VCF是用于存储DNA多态性数据(如snp、插入、删除和结构变异)的通用格式。这种格式是为1000个基因组计划开发的，也被其他项目广泛采用。每个VCF文件由2两个部分组成:头部分和数据部分。标头包含关于数据部分中的标记和注释的元数据。它还可以用于提供与数据和文件的历史相关的信息。标头中的最后一行包含数据部分的列标题。数据部分分为9列，并为每行报告一个突变。列包括CHROM, POS, ID, REF, ALT, QUAL, FILTER, INFO和FORMAT。

对于来自NTUH的数据，我们从临床医生的病史总结中提取患者的表型信息。主要记录患者病情、临床诊断、入院原因的简要总结。我们还根据每个患者的症状收集医生提供的表型关键词进行模型验证。对于来自dbGaP的数据，由于没有EHRs，我们将使用患者的临床情况。对于在OMIM数据库中可以找到的临床病症，我们将提取相应的表型描述作为我们研究的表型信息。

另一种构建基因和关键词之间联系的方法是使用Okapi BM25排序函数。Okapi BM25通常由搜索引擎(如谷歌和Bing)使用，根据匹配文档与给定搜索的相关性对其进行排名。该函数最突出的实例之一如下所示:

分数( D， 问)表示文档的Okapi BM25分数 D当给定查询Q时，包含关键字 问1， 问2…… qn； f（ 气， D)是 气的术语频率 D；| D|是文档的长度 D在单词;Avgdl是所有文档中的平均文档长度; k1, b为常数(分别为=1.2和0.8);和IDF ( 气)是查询词的逆文档频率(IDF)权重 气通常定义为:

在哪里 NgydF4y2Ba文件的数量是多少 n包含关键字的数字。

在本研究中，我们提出了一种以OMIM和GeneReviews中的基因描述为文档，以关键词为查询来实现Okapi BM25排序功能的想法。因此，我们可以用Okapi BM25评分来表示基因描述与关键词之间的关系。关键词中的基因描述得分越高，说明该基因与关键词之间的联系越强。排名值基于前面提到的Okapi BM25排名函数和一些其他参数。与Okapi BM25正则公式相比，rank值将IDF函数替换为Robertson-Spärck-Jones weight [ 36］．IDF函数用来衡量单词提供了多少信息，也就是说，这个单词在所有文档中是常见的还是罕见的。例如，术语“the”在每个文档中都很常见，因此术语频率将倾向于错误地突出恰好更频繁地使用单词“the”的文档。因此，IDF函数致力于减少在所有文档中频繁出现的单词的权重。与常规IDF函数相比，Robertson-Spärck-Jones权重增加了文档的相关参数，提高了rank评分的精度。

我们从变体优先排序器(Variant priority)获得每个SNV的表型-基因相似度评分，这是一种文本挖掘工具，通过输入症状作为关键字来输出基因的排名和评分。变体优先排序器使用Okapi BM25排序功能[ 37来构建基因和关键词之间的联系。来自OMIM, GeneReviews, Entrez的基因描述[ 38]，以及PubTator [ 39]作为数据源，关键词作为查询，采用全文检索的方法实现Okapi BM25评分。它返回一个名为RANK的列，包括从0到1000的序数值。RANK评分的计算公式如下:

其中ω为Robertson-Spärck-Jones权重[ 36]，定义为ω = log [( r+ 0.5)∙( NgydF4y2Ba- - - - - - n- - - - - - R+ r+ 0.5)] / [( R- - - - - - r+ 0.5)∙( n- - - - - - r+ 0.5)]，其中 R是否有多少已知的相关文件和 r是包含该项的数; 特遣部队是在项目中查询的属性中单词的频率; qtf是查询中该词出现的频率;而且 K定义如下:

在哪里 戴斯。莱纳姆:是属性长度，在单词出现时;Avgdl是正在查询的属性的平均长度，以单词出现次数为单位;而且 k₁， b, k_3.为常数(分别为=1.2、0.75和8.0)。

我们使用Variant priority API从每个数据源获取RANK值作为基因相似度评分，以表示每个SNVs与提取的关键字之间的关联。我们保留了rank值的最大值和最小值(总共4分)作为2个单独的特征来构建模型。

本回顾性队列研究由台大医院机构评审委员会(IRB)批准(IRB编号:201710066RINB)。我们确认所有的实验都是按照相关的准则和规定进行的。研究小组从电子病历中检索到的数据已被识别，无法与患者的身份联系起来。由于这是一项回顾性队列研究，数据不确定，因此由台大医院IRB (201710066RINB)确认并免除了书面知情同意的需要。本规定符合《健康保险携带与责任法案》(HIPAA)，即对未识别健康信息的使用或披露没有限制。

经过数据预处理，每个变量得到94个特征。为了降低输入数据集的高维，同时保留分类问题的歧视性信息，我们应用了scikit-learn中的单变量特征选择技术[ 55]包来识别数据集中的相关变量，并消除无用的变量。特征选择有助于减少数据集中的噪声，让模型专注于相关信号。

scikit-learn单变量特征选择模块提供了几个评分函数。我们使用互信息分类器来选择最相关的变量。互信息[ 56]是一个非负值，它衡量变量的一般依赖性，而不对它们的潜在关系的性质作任何假设[ 57］．2个离散随机变量X和Y之间的互信息定义如下:

在哪里 p（ x， y的联合概率密度函数 X而且 Y, p（ x), p（ y)为边际密度函数。互信息决定了联合分布之间的相似性 p（ x， y)和因子边际分布的乘积。该值越大，表示两个变量之间的关系越大。当且仅当两个变量独立时，计算值等于0。

我们只使用训练集来确定相关变量，从而执行特征选择过程。此外，我们选择的特征数量是基于10倍交叉验证的模型评估

为了通过机器学习算法构建模型，我们将数据分为2组。由于我们的模型旨在协助医生进行临床外显子组数据解释过程，因此将来自dbGaP数据库的外显子组数据和来自NTUH的目标基因面板测序数据设置为训练集，将来自NTUH的WES数据设置为测试数据。只能用于模型评价。外部验证集包括90个最新的NTUH WES数据，这有助于确保我们的模型可以在未来的临床使用中进行预测。中列出了有关训练和测试集的详细信息 表2．

为了建立机器学习模型，我们实现了随机森林算法[ 58]由scikitlearn软件包提供。超参数的选择基于网格搜索和10倍交叉验证。随机森林最初是由Leo Breiman在2001年提出的。 58］．它是从决策树演化而来的集成分类器。实际上，随机森林是决策树的组合，这样每棵树都依赖于独立采样的随机向量的值，森林中所有树的分布都是相同的[ 59］．森林的树木是这样生长的:

我们用来衡量分割质量的函数是基尼杂质。基尼杂质是数据集中随机选择的元素，如果根据数据集中的类分布随机标记，则错误分类的概率[ 60］．在决策树学习中，它被定义为,在那里 c是班级的数量和 p（ 我| t)表示随机抽取一个类对象的概率 我在节点 t．训练决策树时，从根节点开始的最优分割是通过使基尼增益最大化来选择的，基尼增益是通过从原始杂质中减去分支的加权杂质来计算的。

为了评估我们的真实原因变量优先级排序的模型性能，我们使用了VarSight中提到的排名统计数据。在我们将二元分类过程应用于所有变体之后，我们得到了每个变体的概率，它代表了该变体引起疾病的概率。我们将每个患者的变异从最高概率到最低概率进行排序，并量化排名在前1、5、10、20的目标变异的百分比。

对于特征选择，我们使用了基于scikitlearn包中的SelectPercentile方法的单变量特征选择。我们选择的分类器是互信息分类器。只使用训练集来选择最相关的特征。此外，我们应用了10倍交叉验证来确定用于模型训练的特征数量。在 图2，我们使用不同百分比的特征在10倍交叉验证中给出前10个准确性。由于使用60%的特征可以达到最高的精度，因此选择估计互信息最高的56个特征(共94个特征的60%)进行最终的模型构建。

我们用我们的测试集评估模型。正如在 表2该测试集包括108名接受WES的患者，他们至少有一种被医生诊断出的致病变体。 多媒体给出了它们的致病变体、关键字和相应的HPO术语的详细信息。关键字和HPO术语由医生根据每个患者的表型确定。

图3显示目标变量和排名的百分比分布 图4显示了使用不同关键字提取工具的模型的累积排名结果。当使用工具从摘要中提取表型时，我们的模型可以将超过40%(60/134,44.8%)的目标变体分配到总变体的最高等级。无论使用什么关键字提取工具，模型的前10个精度都在90%左右(124/ 134,92.5%)。与专业医生提供的关键词相比，应用工具提取关键词的前1准确率较低，但前10准确率相当。这表明，在大多数情况下，我们的模型可以成功地将真正的原因变量排在变量列表的前面，并且该排名受到输入关键字的轻微影响。

我们基于前一节中描述的方法构建了一个随机森林模型，并使用基于不同关键字提取工具的测试集对其进行评估。经过筛选后，我们在平均每人741个候选变异中，成功地在排名前10位的致病变异中定位了92.5%(124/134)。该模型的性能与人工分析相似，并已用于台大医院的基因诊断。

图3而且 4分别显示使用不同关键字提取工具的目标变量排名的百分比分布和模型的累积排名结果。当使用工具从摘要中提取表型时，我们的模型可以将超过40%(60/134,44.8%)的目标变体分配到总变体的最高等级。无论使用什么关键字提取工具，模型的前10个精度都在90%左右(124/ 134,92.5%)。与专业医生提供的关键词相比，应用工具提取关键词的top 1准确率较低，但top 10准确率相当。这表示在大多数情况下，我们的模型可以成功地将真正的致病变量排在变量列表的前面，并且这个排名受到输入关键字的轻微影响。

我们还评估了其他机器学习方法，并将它们的性能与随机森林进行了比较。这些方法包括逻辑回归、高斯朴素贝叶斯、RBF核支持向量机和梯度增强决策树。每种算法的超参数选择基于网格搜索和10倍交叉验证。我们使用MetaMap作为关键字提取工具，并使用测试数据来测试每种方法的性能。各机器学习方法对目标变量排序的百分比分布以及各模型的累积排序结果如所示 图5而且 6,分别。由于随机森林的前十名准确率最高，我们最终选择了随机森林作为我们的机器学习算法。

我们已经实现了一个网站，AI Variant priorities，它使用来自NGS生物信息学管道的数据，使用机器学习对snv和患者表型数据中最可能的致病变异进行预测。该系统可以帮助研究人员和医生专注于那些较高的致病概率，并减少整个WES管道的平均周转时间(1天)，从DNA提取到临床诊断。此外，我们还为我们的系统实现了一个web API，以便将排名功能集成到MViewer中。因此，医生可以通过单一应用来解释遗传变异的结果，而不是采用大量的服务。

为了进行比较，我们使用测试数据运行了几个优先级排序工具，包括AMELIE [ 61]， VarElect [ 62]， Exomiser, Phenolyzer和Variant priority。由于AMELIE和Exomiser只能接受HPO术语定义的表型，所以我们输入了医生确定的HPO术语作为输入。Phenolyzer可以同时识别疾病术语和HPO术语。但是，如果这些术语在它们的数据库中不匹配，则不会返回任何记录。因此，我们也使用HPO术语作为Phenolyzer的输入。VarElect, Variant priority，和我们的模型可以识别自由文本描述。因此，我们将医生提供的关键词作为输入进行测试。AMELIE、VarElect和Variant priority tizer只对基因列表进行优先级排序，而不是对变体列表进行优先级排序。因此，我们评估了基于基因的优先排序结果，而不是基于变体的优先排序结果。也就是说，对于每个患者，如果工具将目标基因排在我们筛选的基因列表的前1、5、10、20、50和100，那么这个患者就会被计算在内。 All the tools use the default settings provided in their websites to run.

图7而且 8分别显示每个工具的目标基因排名的百分比和累积百分比分布。从 图8，我们可以看到，AI Variant priority能够将61.1%(66/108)的患者的目标基因分配到最上面，其次是Variant priority(48/108, 44.4%)。它还显示了累积排名结果，这表明我们的AI变体优先排序器在排名1、5、10和20处具有最高的准确性。此外，AI变体优先排序器显示出比其他工具更好的性能。通过查询数据库采用HPO术语后，前10名的排名可以增加到93.5%(101/108)。

与通过手动将HPO术语映射到SNOMED临床术语(SNOMED CT)从SNOMED中提取表型特征进行比较[ 63]，我们的自动化方法探索了各种表型特征提取工具，并专注于罕见疾病的解释。我们还研究了过去3年发表的几种人工智能驱动的变种优先级方法，包括Fabric GEM [ 12]，月亮[ 2和Exomiser。我们的方法和这些方法之间有几个不同之处，包括用于构建优先级模型的算法、考虑的特性和集成的数据库。然而，我们的方法与其他人的主要不同之处在于将基因和表型之间的关系转化为数值的方法，这为以后的预测铺平了道路。面料GEM和MOON采用Phevor [ 15将表型-基因关系转化为数值，而Exomiser使用的是PhenoDigm [ 64来实现这个目标。

Phevor和PhenoDigm都构建了连接HPO和其他本体的新方法，以发现更多的基因疾病关联。Phevor收集HPO和基因本体论(GO)提供的所有疾病和基因的相关性，并构建几个网络(图)，并沿着找到的路径分配权重递减。特定基因节点上的权值之和表示该基因与对应HPO项的相关得分。PhenoDigm利用OWLSim [ 65]，计算不同本体论中不同表型之间的相似性，并利用相似性估计给定HPO项与不同基因之间的相关性大小。相比之下，我们的方法中使用的变体优先排序器从另一种知识来源中提取表型-基因关系:数据库的自由文本。我们对这些方法作了简单的比较 表3而且 4．

为了解释模型预测，我们使用scikit-learn提供的特征重要性方法来确定哪个特征具有最强大的预测能力。 图9显示前20个重要特性。根据临床经验，变异与患者表型之间的联系是影响医生决定是否报告变异的关键因素。同样，从图中我们可以看到，最重要的特征是最大的bm25分数，它指的是给定的变体与关键字之间的相似度分数。在临床分析中影响报告决策的另一个重要因素是变异的严重程度。我们使用的相应特征是ACMG评分，它在特征重要性的第二位。相比之下，特征重要性的结果可能为医生或研究人员在寻找致病变异时可以考虑的特征提供信息。

我们比较了来自测试集和外部验证集的排名的累积百分比分布。结果显示在 图10而且 11．在不同的地区，如前10名和前5名，他们的百分比值彼此接近。外部验证集排名前1的百分比甚至高于测试集。有了这个结果，我们相信我们的方法已经显示出其强大的临床应用潜力。

这项研究有几个潜在的局限性。首先，我们无法找到大量的数据进行训练和测试。这不仅限制了机器学习模型的教材数量，也限制了评估训练模型的可用度量。其次，本研究中使用的基因-表型评分没有足够的能力来检测小的或中等的关联，因为它依赖于基因-表型关系向其所使用的数据库报告的频率。最后，该研究没有调整潜在的混杂因素，如饮食和体育活动。这可能会导致潜在的偏差，因为基因表达的方式可能受到患者生活方式的影响。

总的来说，由于缺乏足够的数据，缺乏报道的基因-表型关系，以及缺乏对生活方式的观察，本研究可能存在潜在的偏倚。如果将来有更多的数据和报告，第一个和第二个的影响可以减少。另一方面，生活方式和环境的影响仍然是一个需要更多专门研究的问题。

在这项研究中，我们提出了一个机器学习模型，AI Variant priority，来预测一个变体是否是罕见孟德尔疾病患者的致病原因。我们成功地将WES测序数据和关键字提取工具自动提取的患者疾病自由文本表型信息应用于模型训练和测试。通过解释我们的模型，我们确定了变量的哪些特征是重要的。此外，我们在测试数据集中找到了目标变量，取得了令人满意的结果。在测试了108例患者的WES数据后，我们在过滤过程后，从平均每人741个候选变体中，成功地将93.5% (n=101)的病例定位到排名前10位的致病变体。该模型的性能与NTUH医学遗传学系医生的人工分析相似，并已用于NTUH的遗传诊断。

由于医生几乎所有的时间都在忙着照顾他们的病人，寻找准确的基因诊断所花费的时间是非常重要的。我们的人工智能预测模型可以提供93.5%(101/108)的高概率，从而帮助他们节省几周的时间，如果他们必须手动搜索前十名列表之外的内容。

要完全解释遗传病的致病变异并不是一件容易的工作。由于工具提取关键字的精度会影响我们模型的性能，在未来的工作中，我们将采用一些自然语言处理技术，如BERT (Bidirectional Encoder representation from Transformers)等来更正确地提取关键字。此外，已经建立了AI变体优先排序器模型来分析来自WES数据的snv和小型索引，但我们还没有处理拷贝数变化(CNVs)。CNVs已被认为是重要的遗传变异，与常见和复杂疾病都有关，因此对几种孟德尔遗传疾病和躯体遗传疾病有很大影响。因此，我们将收集有关cnv的数据，并扩展我们的系统对cnv进行注释和过滤的能力。此外，我们将通过添加CNVs作为我们的训练数据来扩大我们的数据集，使AI变体优先器模型能够预测任何类型的致病遗传变异。在实施AI Variant priority之前，使用Variant priority，整个WES管道从DNA提取到临床诊断的平均周转期为5.8 (SD 1.1)天。然而，在实施AI Variant priorities后，NTUH快速三外显子组测序分析的平均周转时间缩短至4.8天(SD 1.2天)。