通过语音识别进行声带疾病预测的深度学习应用:初步发展研究

简介

语音障碍的影响已日益被认为是一个公共卫生问题。言语障碍通过干扰交流影响身体、社会和职业生活质量[1］．在全国范围内对寻求治疗的发音障碍的保险索赔数据分析显示，在5500万人中患病率为0.98% [2]，而在70岁以上的人群中，这一比例达到2.5% [2］．然而，老年人口的整体发音困难发生率估计要高得多(12%-35%)[3.]，这可能意味着语音障碍通常被患者忽视，导致诊断不足。

根据美国耳鼻喉头颈外科学会基金会最先进的语音障碍临床实践指南，如果语音障碍在4周内未能解决或改善，建议进行喉镜检查[4］．在多学科语音诊所，初级保健医生与具有频闪检查解释经验的喉科医生和言语病理学家所作诊断的比较表明，初级保健医生对语音障碍的诊断在45%-70%的病例中存在差异[4］．然而，喉镜检查是一种侵入性检查。为了得到准确的诊断，必须由经验丰富的喉科医生进行。检查设备很昂贵，初级保健单位通常没有。在医疗资源不足的地方，延误诊断和治疗很常见。5］．因此，需要一种非侵入性诊断工具来解决这一问题。虽然这种工具不能取代由经验丰富的医生进行的喉镜检查，但它是值得开发的，因为一种非侵入性的筛查重要临床症状的工具可以鼓励患者访问语音诊所进行进一步评估。

最近的几项研究试图通过使用各种基于机器学习的分类器来区分正常和异常的声音，这些分类器有检测病理声音的潜力[5-9］．迄今为止，通过使用深度神经网络实现的病理语音检测的最高准确率已达到99.32% [5］．然而，各种类型病理性嗓音的鉴别诊断尚未得到广泛报道。声带萎缩、单侧声带麻痹、器质性声带病变等常见声带疾病，高速视频观察到的声带振动模式完全不同[10］．我们假设不同的振动模式会导致不同的语音特征。本研究试图通过使用深度学习方法的病理性语音识别来检测各种声带疾病。

方法

样品收集

本研究遵循《赫尔辛基宣言》所表达的原则，并获诚新总医院及辅仁天主教大学机构伦理与研究委员会批准。声音样本来自陈新总医院语音中心及天主教辅仁医院耳鼻咽喉头颈外科。这些样本包括189个正常语音样本和552个语音障碍样本，包括声带萎缩(n=224)、单侧声带瘫痪(n=50)、器质性声带病变(n=248)和内收肌痉挛性发音障碍(n=30)。普通话段落中连续元音/a:/的语音样本[11) (多媒体附件1)录音时，使用带有数字放大器的高品质麦克风，麦克风与嘴部的距离约为15-20厘米，背景噪音为40- 45分贝。采样率为44100 Hz，分辨率为16位，数据以未压缩的。wav格式保存。

比较与评价

我们首先将741个样本分为2个集:593个样本作为训练集，148个样本作为测试集。使用基于计算机的随机化，我们选择了189个正常语音样本中的152个，50个单侧声带瘫痪样本中的40个，30个内收肌痉挛性发音障碍样本中的24个，224个声带萎缩样本中的179个，以及248个有机声带病变样本中的198个作为训练集(表1）.

为了管理训练集的有限大小，我们使用了一种混合方法来进行数据增强[12］．混合方法已应用于卷积神经网络(cnn)音频场景分类，以减少过拟合，获得更高的预测精度[13］．我们随机选取2个语音文件，并将其混合成一个权重随机选取的语音文件，构建虚拟训练示例。接下来，我们对每个语音文件进行随机裁剪，得到10个语音文件，长度为11.88秒(根据我们的初步测试，在我们硬件的图形处理单元内存限制内，训练长度的平台点)。此外，我们使用过采样来调整数据的类分布[14］．

使用cnn时，2D图是提取特征的理想选择。因此，我们对处理后的语音文件执行Mel频率倒谱系数(MFCCs)来获得频谱图。采用预强调、加窗、快速傅里叶变换、Mel滤波、非线性变换和离散余弦变换[15］．第一个特征由40维mfc组成[16，17］．接下来，对于第二和第三个特征，我们计算了MFCC随时间的轨迹(delta MFCCs)和MFCCs的二阶delta。因此，有3个通道的输入特征可以被认为是一个彩色图像(即计算机视觉领域中的红绿蓝)。

cnn具有明显的与特征表示相关的特征，其中较低层提供一般的特征提取能力，较高层包含越来越具体于原始分类任务的信息[18］．这允许逐字重用广义特征提取和较低CNN层的表示;较高层针对具有与原始问题相关特征的次要问题域进行微调。因此，与其设计一个随机参数初始化的新CNN，不如采用预先训练好的CNN，并对其参数化进行针对特定分类域的微调。光谱图乍一看与正常图像大不相同。然而，低级别的特征，包括边缘、角落和形状，在正常的图像和光谱图中很常见[19］．在之前的一项研究中，使用ImageNet数据集中预训练的CNN模型进行的基于声谱图的人群声音分析显示，在区分人群情绪时具有很高的准确性[19］．另一项研究也证明，在分类正常或病理病例时，预训练的CNN模型比未训练的CNN模型表现更好[18］．我们使用了不同的CNN架构，如EfficientNet-B0到B6 [20.]， SENet154 [21]， Se_resnext101_32x4d [21]和se_resnet152 [21]模型，来自ImageNet数据集，这些数据集已经被预先训练用于迁移学习。我们将病理情况分为2种(正常声音;内收肌痉挛性发音障碍加器质性声带病变加单侧声带麻痹加声带萎缩)，3例(声音正常;内收肌痉挛性发音困难;器质性声带病变加单侧声带瘫痪加声带萎缩)，4(声音正常;内收肌痉挛性发音困难;声带器质性病变;单侧声带瘫痪加声带萎缩)，或5(声音正常;内收肌痉挛性发音困难;声带器质性病变; unilateral vocal paralysis; vocal atrophy) different conditions and trained the CNN. For the final prediction of an input instance, we used the maximum probability to obtain the label.

在训练集中进行微调的超参数设置方面，593个样本中的474个(79.9%)用于初始训练，593个样本中的119个(20.1%)用于验证。我们添加了dropout函数和不同的数据增强方法，以防止模型在我们的数据集中过拟合[22，23］．将退出率设置为0.25-0.5进行正则化。然后，我们使用基于内存消耗选择的32个小批来训练模型[24］．学习率的调整基于余弦退火和1周期策略[25，26］．该模型采用余弦退火算法，将梯度反复拟合到局部最小值。使用Adam优化算法对网络进行端到端训练，并将交叉熵作为损失函数进行优化[27］．针对模型头部的不同分类问题，我们采用SoftMax层作为输出层进行多类分类，采用sigmoid层进行二进制分类。最后，通过平均输出概率对模型进行装配，得到更稳健的结果，以最小化预测误差的偏差，提高CNN模型的预测精度[25］．机器学习过程使用Python 3.8 (Python软件基金会)和PyTorch 1.7.1 for Ubuntu 18.04 (Facebook的AI研究实验室[FAIR])执行。此外，我们邀请了2名会讲普通话的喉科医生和2名耳鼻喉科(ENT)医生，将测试集的语音样本分为5类。我们将他们的分类与我们的模型进行了比较。

统计分析

我们的模型的有效性通过几个指标进行评估，包括准确性、敏感性、特异性、F1评分、受试者工作特征(ROC)曲线和曲线下面积(AUC)。所有指标都是使用Python计算的。

结果

本研究中的语音样本由一个持续的元音和一个连续的短文语音组成。我们首先通过训练不同的部分来比较结果:单独训练元音，单独训练文章，以及整个声音样本(即元音和文章)。由于元音和作文组(F1分数=0.65)的F1分数高于元音组(F1分数=0.54)和作文组(F1分数=0.57)，我们在后续的机器学习中应用了完整的语音样本。图1显示了损失函数值在训练集和验证集上的变化，这表明我们的模型可以在运行优化多个epoch后收敛。

‎ 查看此图

表2给出了不同分类方法的训练结果，包括2(正常语音;内收肌痉挛性发音障碍加器质性声带病变加单侧声带麻痹加声带萎缩)，3例(声音正常;内收肌痉挛性发音困难;器质性声带病变加单侧声带瘫痪加声带萎缩)，4(声音正常;内收肌痉挛性发音困难;声带器质性病变;单侧声带麻痹;声带萎缩)，或5(声音正常;内收肌痉挛性发音困难;声带器质性病变; unilateral vocal paralysis; vocal atrophy) different conditions trained by the CNN. The 2-classification condition could equally distinguish pathological voices from normal voices. In our model, the accuracy of pathological voice detection reached 95.3%; the sensitivity was 99%, specificity was 84%, and AUC was 0.98. Using the 3-classification condition, we aimed to identify adductor spasmodic dysphonia patients from those with other vocal fold pathologies. The accuracy was 91.2%, sensitivity was 82%, specificity was 93%, and AUC was 0.91. Using the 4-classification condition, vocal atrophy and unilateral vocal paralysis could be clinically grouped as “glottic insufficiency.” For this condition, the accuracy was 71.0%, sensitivity was 75%, specificity was 89%, and AUC was 0.88. Using the 5-classification condition, the accuracy was 66.9%, sensitivity was 66%, specificity was 91%, and AUC was 0.85.图2显示了这些结果的混淆矩阵。图3所得结果的ROC曲线为。

‎ 查看此图

‎ 查看此图

此外，我们邀请了四位耳鼻喉科专家使用这5种分类方法通过语音识别声带病理。结果显示在表3而且图4．2名喉科医师的准确率分别为60.1%和56.1%，2名耳鼻喉科专科医师的准确率分别为51.4%和43.2%。

‎ 查看此图

讨论

主要研究结果

在本研究中，我们构建了一个CNN模型，该模型仅基于声音就能区分常见声乐疾病的不同病理声音，特异性高(91%)。据我们所知，以前没有研究使用人工智能来区分说普通话的不同类型的病态声音。使用我们的模型，我们用完整的语音样本训练CNN获得了比只训练元音或只训练文章语音更好的结果。

我们的模型可以区分正常语音和内收肌痉挛性发音障碍，在5类情况下表现良好(AUC值分别为0.985和0.997)。我们模型的整体准确性也优于参与研究的所有耳鼻喉科专家。这与我们的临床观察相吻合，病理声音的第一印象通常被喉镜检查所掩盖。此外，喉科医生在诊断语音障碍时比普通耳鼻喉科专家表现出更高的准确性。这可能意味着，通过增加临床经验，可以提高人类医生对病理声音印象的准确性。在比较每种分类的准确性后，我们发现，在识别有机声带病变时，人工智能明显优于喉科医生(人工智能，68%;喉科医生A, 60%;喉科医生B, 24%)。然而，喉科医生在声带萎缩识别方面稍好一些(人工智能，51%;喉科医生A, 51%; laryngologist B, 56%).

器质性声带病变、单侧声带瘫痪和声带萎缩可导致发声时出现闭合间隙，导致微弱的呼吸声[28-30.]，以及声带张力不平衡，导致复音障碍(当一个声音被认为是同时发出两个音高时)[31］．具体来说，在振动过程中出现器质性声带病变时，病变将声带分为2个振子。然而，在单侧声带瘫痪的情况下，正常声带和瘫痪声带的振动频率是不同的。声带萎缩会表现为振动的破坏，每隔几个声门周期就会出现正常振动的明显重复丧失[10］．然而，振动模式的差异只能通过高速视频和多层数字视频运动来观察[10]，由此产生的病态声音很难被人类识别。我们推测，我们的模型可以通过深度学习来识别相关特征，从而获得更好的结果。

喉科医生可以区分老年和年轻患者，并在检查过程中根据自己的知识验证自己的判断。声带萎缩是老年患者最常见的声带病变[3.］．因此，如果喉科医生判断这是一个老年人的声音，他们可能会把病理性的声音归类为声带萎缩。

关于错误分类，我们发现我们的模型可以成功地识别正常语音和痉挛性语音障碍。但器质性声带病变、单侧声带麻痹、声带萎缩三者之间的鉴别较为困难。虽然这三种疾病的振动模式不同，但疾病严重程度的不同可能导致不同程度的嘶哑。例如，微小的声带结节相对于巨大的声带息肉，代偿性尚可的单侧声带麻痹相对于闭合间隙较大的单侧声带麻痹，轻度前闭合间隙的声带萎缩相对于闭合间隙较大的声带萎缩，在同一组中可能存在不同程度的嘶哑。我们假设各组中较轻的病例可能没有表现出典型的病理振动模式。需要进一步的研究来证实我们的假设。

四名人类专家需要40-80分钟来识别测试集中的148个语音样本;然而，我们的模型只需要30秒就能完成同样的任务。我们模型的处理时间对于未来筛选工具的发展是很有希望的。

与之前工作的比较

以前的大多数研究都是使用持续的元音来检测病理语音[5，7，8］．然而，其他研究使用连续语音样本进行分析[6］．cnn自动从录音谱图中提取特征，用于语音障碍诊断，训练数据量越大，结果越好[32］．因此，这里使用的CNN可能从这些完整的语音样本中提取了更多的特征，从而用我们的模型得到更好的训练结果。

在这项研究中，我们使用我们的语音数据库进行深度学习方法。使用最广泛的语音障碍数据库是马萨诸塞州眼耳医院(MEEI)语音障碍数据库(可从KayPENTAX Inc.购买)。MEEI语音样本(53个正常语音和662个病理语音)由元音/ah/(53个正常语音和657个病理语音)和一个句子的发音(“当阳光照射在空气中的雨滴时，它们就像棱镜一样，形成彩虹”)[33］．然而，MEEI数据库中的录音是以不同的采样率(10、25和50千赫)录制的，正常和病态的录音是在2个不同的环境中录制的[32］．因此，在使用MEEI样本进行训练时，人工智能是否对语音特征或环境进行了分类尚不清楚。

另一个广泛使用的语音障碍数据库是萨尔布吕肯语音数据库，其中包含2000多人的语音记录。每个参与者文件都包含/a/、/i/和/u/的低音、中性、高音和低-高-低音元音的录音，以及一个连续的语音句子(“Guten Morgen, wie geht as Ihnen?”)。所有这些样本都以50 khz采样率和16位分辨率记录[32］．萨尔布吕肯语音数据库被认为优于MEEI数据库，因为它使用相同的录音环境和相同的采样率。然而，它包含71种不同的发音障碍病理和许多患者记录在这个数据库有多种障碍。因此，在机器学习之前很难实现外延。

我们的数据库有几个优点。首先，所有的语音数据都来自我们诊所的患者，他们都有详细的图表文件，由2名经验丰富的喉科医生(H-CH和S-YC)仔细审查。因此，原始数据的质量优于其他研究的原始数据，其中语音数据是从公共数据库检索的。其次，所有的语音数据都是使用44.1 khz采样率和16位分辨率记录的，这些采样率和分辨率组成了标准的音频CD格式。这种广泛使用的格式可以提高该数据集的可用性。第三，我们重点研究了由经验丰富的喉科医生根据声嘶的原因、临床意义和疾病的患病率选择的4种声带疾病。

就嘶哑的原因而言，内收肌痉挛性发音障碍是一种局灶性喉张力障碍，其特征是不规则和不受控制的语音中断，打断正常的言语[34］．然而，器质性声带病变、单侧声带瘫痪和声带萎缩可引起不同复音模式的呼吸音[10］．内收肌痉挛性发音障碍的声音模式与本研究涉及的其他病理有很大的不同，经典的内收肌痉挛性发音障碍病例，经验丰富的喉科医生仅凭声音即可诊断。在本研究中，喉科医生使用5级分类条件诊断内收肌痉挛性发音困难的准确率分别为100%和83%。因此，我们预计诊断内收肌痉挛性发音障碍的敏感性和特异性可能高于其他类别。然而，在CNN训练的第一次尝试中，内收肌痉挛性发音障碍识别的准确性很差(数据未显示)。当我们在训练模型时尝试将原始语音文件拼接成1秒的片段时，我们发现内收肌痉挛性发音障碍的语音中断并不总是在每1秒的时间段内出现。在训练模型中延长语音片段的持续时间后，结果有了很大的改善。这也强调了领域知识可以根据临床实际情况对训练模型进行调整，从而显著影响训练结果。

根据一项荟萃分析，就临床意义而言，神经性语音障碍患者比炎症性或创伤性喉疾病患者面临更多挑战[1］．其中，内收肌痉挛性发音障碍的声音障碍指数(VHI)评分最差，单侧声带瘫痪次之[1］．这一结果与我们的临床观察相一致，即内收肌痉挛性发音障碍会显著干扰患者日常生活中的交流和社交。虽然内收肌痉挛性发音障碍是一种罕见疾病，患病率为十万分之十四[35]，提供一种快速筛查的模式是值得的，因为定期在咽内注射a型肉毒毒素或手术可简单有效地治疗症状[35］．

根据VHI评分，单侧声带瘫痪也可能导致严重的声音障碍[1］．单侧声带麻痹最常见的原因是特发性或病毒后感染，占病例的67% [36］．然而，6%的患者有侵袭喉返神经或迷走神经的潜在恶性肿瘤[36］．在寻找语音障碍的潜在原因时，经常建议对颅底、颈部和胸部进行计算机断层扫描[37］．甲状腺疾病，包括良性结节、甲状腺恶性肿瘤、甲状腺炎、甲状腺功能亢进及甲状腺功能减退，也可导致声带麻痹[38］．赫曼-阿卡等[38报道称，47.4%的单侧声带瘫痪患者被诊断为并发甲状腺疾病。因此，确定单侧声带麻痹的早期诊断，以调查潜在疾病的存在是很重要的。

声带器质性病变包括良性病变，如结节、息肉、囊肿、息肉样声带、癌前白斑及恶性病变[39，40］．声带良恶性病变导致声音沙哑的原因包括喉黏膜的改变及肿块效应[10，40］．迄今为止，由于有机声带病变涉及多种病理，仅通过声音很难进一步鉴别。然而，告知患者声带器质性病变的可能性并建议他们接受进一步的检查是值得的。早期恶性病变和良性病变均可在办公室手术治疗，较手术室手术更安全，费用也相对较低[29，41，42］

声带萎缩最常见的原因是年龄增长。老化可导致肌肉组织萎缩及声带固有层变薄[43］．然而，声带萎缩也可能发生在相对年轻的人群中[28］．可能是先天性异常或长期喉咽反流所致[44］．与其他声带疾病相比，声带萎缩的相关症状相对较轻微[45］．声带萎缩也减少了对重大潜在疾病的关注。然而，声带萎缩是65岁以上患者最常见的声带病理[3.］．随着人口的老龄化，声带萎缩可能成为一个重要的老年问题在未来。

限制

我们的研究有一些缺陷。首先，所有的语音文件都是在演播室中录制的，在安静的环境下，使用敏感的录音技术，并使用一定的格式。在不同的记录环境中验证这种方法还需要进一步的研究。其次，本研究中所有的语音数据都来自普通话使用者。需要进一步的研究来比较不同语言使用者的结果。第三，由于疾病流行程度不同，各类语音样本数量不相等。我们应用了几种数据增强方法来改善这些不平等数据的影响。脆弱等[46]的研究结果表明，基于MFCC的语音记录和事先性别区分的喉病理检测可以显著提高性能。方等[47]也表明，将超向量与医疗记录相结合的深度神经网络可以改善病理语音分类。因此，在未来，我们将结合人口统计数据和语音记录来改进我们的模型。

结论

我们证明，在使用我们的普通话病理语音数据库进行训练后，使用深度学习应用程序，仅使用语音就可以用于常见的声带疾病识别。具体来说，内收肌痉挛性发音障碍、器质性声带病变、单侧声带瘫痪和声带萎缩可以被识别，这可能会增加这种方法的潜力，比简单地区分病理声音和正常声音更有益。这种方法显示了在基于声音的不同声带疾病的一般筛查中使用的临床潜力，并可包括在一般健康检查中的快速评估中。它还可以用于初级保健单位缺乏喉镜服务的偏远地区的远程医疗。总的来说，它可以通过允许侵入性检查仅对涉及自动识别或听力问题的病例进行检查，以及对其他临床检查结果进行专业分析来支持医生对病例的预筛选，这些临床检查结果揭示了对病理存在的怀疑。