使用基于网络的语音任务检测帕金森病:观察性研究gydF4y2Ba

介绍gydF4y2Ba

帕金森病(PD)是全球增长最快的神经系统疾病。不幸的是，估计有20%的PD患者仍未得到诊断。这在很大程度上是由于全世界神经科医生的短缺[gydF4y2Ba1gydF4y2Ba，gydF4y2Ba2gydF4y2Ba以及获得医疗保健的机会有限。早期诊断和持续监测，从而调整药物剂量，是控制这种不治之症症状的关键。目前的诊断标准需要亲自到诊所就诊，由专家评估疾病症状，同时观察患者执行运动障碍学会统一帕金森病评定量表(MDS-UPDRS)中的任务[gydF4y2Ba3.gydF4y2Ba]。MDS-UPDRS包括24项运动相关任务，以评估语言、面部表情、肢体运动、行走、记忆和认知能力。尽管许多研究表明通过分析手部运动取得了成功[gydF4y2Ba4gydF4y2Ba]、肢体运动模式[gydF4y2Ba5gydF4y2Ba]和面部表情[gydF4y2Ba6gydF4y2Ba]，语言尤为重要，因为大约90%的PD患者表现出声音障碍[gydF4y2Ba7gydF4y2Ba，gydF4y2Ba8gydF4y2Ba]，这通常是帕金森病的早期指标之一[gydF4y2Ba9gydF4y2Ba]。gydF4y2Ba

为了进行语音分析，研究人员研究了录音中的发音(发“ahhh”的音)。gydF4y2Ba10gydF4y2Ba量化节奏、重音和语调[gydF4y2Ba11gydF4y2Ba]。Little等[gydF4y2Ba12gydF4y2Ba[]引入音高周期熵(PPE)作为区分健康人与PD患者的语音障碍指标，准确率高达91%。后来，Tsanas [gydF4y2Ba13gydF4y2Ba]在此基础上进行了扩展，计算了132种发声障碍的测量方法，以接近99%的准确率对PD和对照组进行了分类。此外，Peker等[gydF4y2Ba14gydF4y2Ba使用了一种新颖的特征选择技术与复杂值人工神经网络。Rueda和Krishnan [gydF4y2Ba15gydF4y2Ba]确定了一组mel-frequency倒谱系数(MFCCs)和本征模态函数来表示PD的特征。在分析真实音频数据的领域，Wroge等[gydF4y2Ba16gydF4y2Ba分析了从智能手机上收集的语音数据;viciukynas等[gydF4y2Ba17gydF4y2Ba用卷积神经网络从语音中检测PD;Vásquez-Correa等[gydF4y2Ba18gydF4y2Ba]用手持设备在不受控制的噪音条件下收集语音样本;Dubey等[gydF4y2Ba19gydF4y2Ba设计了一个基于智能手表的语音和语音监测系统，用于接受语言病理学家语言治疗的PD患者。虽然目前最先进的方法已经显示出有希望的结果，但它有局限性，如样本量小[gydF4y2Ba12gydF4y2Ba，gydF4y2Ba19gydF4y2Ba，gydF4y2Ba20.gydF4y2Ba]，从同一参与者中进行过抽样[gydF4y2Ba14gydF4y2Ba]、噪音控制数据收集[gydF4y2Ba12gydF4y2Ba，gydF4y2Ba15gydF4y2Ba]， PD与对照组的年龄差异[gydF4y2Ba21gydF4y2Ba]。gydF4y2Ba

本文分析了36.1% (262/726)PD患者和63.9%(464/726)非PD患者的726段语音录音。这些录音是通过一个基于网络的工具收集的gydF4y2Ba远程运动任务的帕金森分析gydF4y2Ba(公园)gydF4y2Ba22gydF4y2Ba]。PARK工具要求参与者说出一个包含英语字母表中所有字母的流行短语，“敏捷的棕色狐狸跳过懒惰的狗”，并将其记录下来。这使我们能够快速收集数据集，这些数据集更有可能包含与地理边界、社会经济地位、年龄组和各种异构记录设备相关的现实世界变异性。这项研究的发现建立在这个独特的真实世界数据集的基础上;因此，我们相信它可以推广到实际的部署中。gydF4y2Ba

从个人收集音频数据通常需要亲自前往诊所，这限制了数据点的数量和数据的多样性。最近的进展已经允许从可穿戴传感器收集震颤数据[gydF4y2Ba23gydF4y2Ba]和来自无线电频率信号的睡眠数据[gydF4y2Ba24gydF4y2Ba]。现有的语音和音频分析工作使用复杂的设备来收集通常没有噪音的数据[gydF4y2Ba12gydF4y2Ba，gydF4y2Ba25gydF4y2Ba并且不包含现实世界的可变性。由于相当一部分人口可以使用具有录音功能的移动设备(例如，81%的美国人拥有智能手机)[gydF4y2Ba26gydF4y2Ba，我们选择使用一个允许参与者在家中记录数据的框架。从录制的音频文件中，我们提取了声学特征，包括mfcc，它代表声音的短期功率谱，抖动或闪烁变体(代表病理语音质量)，音高相关特征，频谱功率和发音障碍相关特征，旨在捕捉pd引起的声带损伤[qh]gydF4y2Ba12gydF4y2Ba]。gydF4y2Ba

此外，我们从基于深度学习的编码器-问题不可知论语音编码器(PASE)中提取特征[gydF4y2Ba27gydF4y2Ba]，它通过编码向量列表表示原始音频实例中包含的信息。这些特征用四种不同的机器学习模型建模——支持向量机(SVM)、随机森林、LightGBM和xgboost——对患有和不患有PD的个体进行分类。gydF4y2Ba

图1gydF4y2Ba提供数据分析系统的概述。我们的贡献可以总结如下:gydF4y2Ba

• 我们报告了来自具有真实世界可变性的最大数据集之一的发现，其中包含726个独特的参与者，大多数来自他们的家庭。gydF4y2Ba
• 我们分析了语音的音频特征来预测PD与非PD，曲线下面积(AUC)得分为0.753。gydF4y2Ba
• 我们提供的证据表明，我们的模型优先考虑MFCC特征和语音障碍特征的子集[gydF4y2Ba12gydF4y2Ba，gydF4y2Ba28gydF4y2Ba]，这与之前的文献一致。gydF4y2Ba
• 当在受控的实验室环境和野外环境中对收集的性别和年龄分层数据进行测试时，我们的模型始终表现良好。gydF4y2Ba

‎gydF4y2Ba 查看此图gydF4y2Ba

方法gydF4y2Ba

招聘和数据收集gydF4y2Ba

我们收集了726人的数据gydF4y2Ba独特的gydF4y2Ba参与者说出这样的句子:“敏捷的棕色狐狸跳过了懒惰的狗。”狗醒了，跟着狐狸进了森林，但是敏捷的棕色狐狸又一次跳过了懒惰的狗。gydF4y2Ba29gydF4y2Ba)的网站。gydF4y2Ba图2gydF4y2Ba简要介绍数据收集、存储、传输和分析机制。用户通过连接到个人电脑或笔记本电脑的网络摄像头和麦克风进行录音，并将录音上传到服务器上。gydF4y2Ba图3gydF4y2Ba展示了一些研究参与者的照片gydF4y2Ba图4gydF4y2Ba显示参与者的年龄分布。无PD的人数是PD人数的1.8倍。PD患者多集中在40 ~ 80岁年龄段。然而，在20至40岁年龄组中，无帕金森病的参与者多于患有帕金森病的参与者。同样，在80至90岁年龄组中，患有帕金森病的参与者明显多于没有帕金森病的参与者。gydF4y2Ba表1gydF4y2Ba提供研究参与者的人口统计信息。gydF4y2Ba

‎gydF4y2Ba 查看此图gydF4y2Ba

‎gydF4y2Ba 查看此图gydF4y2Ba

‎gydF4y2Ba 查看此图gydF4y2Ba

在我们的726名独特的参与者中，262名(36.1%)被诊断为PD，而其他参与者则没有PD。我们从当地诊所和各种PD支持团体获得PD患者的联系信息。没有PD的参与者是从亚马逊土耳其机械公司招募的。在数据收集过程中，根据研究人员与罗切斯特大学机构审查委员会达成的协议，获得所有参与者的知情同意。在726名独特的参与者中，只有54名(7.4%)在研究协调员使用PARK工具的指导下在实验室提供数据;其余672名(92.6%)参与者在家中使用PARK系统提供数据。让参与者在家里和实验室里完成任务，我们可以比较两种情况下的结果。两组都没有参与者出现gydF4y2Ba所有gydF4y2Ba我们的参与者使用相同的PARK协议。gydF4y2Ba

数据集中的性别分布是倾斜的，尤其是女性参与者。在所有参与者中，女性占55.2%(401/726)，男性占44.8%(325/726)。然而，在患有PD的参与者中，只有38.5%(101/262)是女性，而在没有PD的参与者中，64.6%(300/464)是女性。大多数PD患者的年龄在40 - 80岁之间，但大多数年轻(20-40岁)和年长(80-90岁)的参与者分别来自非PD组和PD组。gydF4y2Ba

由于我们的数据是通过基于网络的框架收集的，我们没有参与者的MDS-UPDRS分数，因为收集这些分数需要医生的额外输入。在我们PD组的所有参与者中，只有3名参与者肯定地回答他们在测试前2小时服用了药物;其他人的回答是否定的。因此，在本研究中，我们假设药物效应可以忽略不计。gydF4y2Ba

数据预处理gydF4y2Ba

在数据收集过程中，参与者通常需要一些额外的时间来开始说出任务句子，一旦句子被说出就停止记录。因此，我们在大多数数据实例的开始和结束处都有大量嘈杂和不相关的数据(gydF4y2Ba图1gydF4y2Ba）.为了去除不相关的数据，我们使用了宾夕法尼亚大学语音实验室强制校准工具包(P2FA) [gydF4y2Ba30.gydF4y2Ba]。给定一个音频文件和文本，它试图预测文本中每个单词发音的时间界限。P2FA应用了隐藏马尔可夫模型[gydF4y2Ba31gydF4y2Ba]预测给定音频的最可能音素序列和高斯混合模型，将这些音素组合成单词，并使用预定义的字典获得它们的时间边界[gydF4y2Ba32gydF4y2Ba]。从该系统的输出中，我们可以得到P2FA识别的第一个单词的开始时间和P2FA识别的最后一个单词的结束时间。我们利用他们之间的音频片段进行进一步分析。gydF4y2Ba

声学特征提取gydF4y2Ba

我们通过组合多个源的输出来提取特征:Praat特征[gydF4y2Ba33gydF4y2Ba]通过Parselmouth Python接口获得[gydF4y2Ba34gydF4y2Ba]和先前使用的与PD分析相关的语音障碍特征[gydF4y2Ba12gydF4y2Ba，gydF4y2Ba35gydF4y2Ba，gydF4y2Ba36gydF4y2Ba]。在计算完所有的特征后，我们构建特征值的相关矩阵来计算它们之间的相关程度。然后，我们以无序的方式迭代每对特征，如果它们之间的相关系数高于0.9，我们从进一步的分析中删除其中一个特征[gydF4y2Ba37gydF4y2Ba]。gydF4y2Ba表2gydF4y2Ba包含我们分析中使用的功能的简短概述;斜体文本中的特征名称是用于构建模型的特征名称。中的特性提供了更全面的描述gydF4y2Ba多媒体附录1gydF4y2Ba［gydF4y2Ba12gydF4y2Ba，gydF4y2Ba14gydF4y2Ba，gydF4y2Ba36gydF4y2Ba，gydF4y2Ba38gydF4y2Ba]。我们的一些定义改编自Praat官方文档[gydF4y2Ba33gydF4y2Ba]。gydF4y2Ba

嵌入特征提取gydF4y2Ba

我们提取了基于深度学习的PASE嵌入[gydF4y2Ba27gydF4y2Ba下载我们的音频文件。PASE通过编码向量列表表示原始音频实例中包含的信息。为了确保编码矢量包含与输入音频文件相同的信息，它从编码矢量中解码音频文件的各种属性，包括音频波形、对数功率谱、mfccc、四种韵律特征(基频的插值对数、浊音或浊音概率、过零率和能量)和本地InfoMax。编码矢量必须保留输入音频文件的相关信息，才能成功解码所有这些属性。gydF4y2Ba

由于这些属性代表了输入音频文件的固有特征，而不是任何特定于任务的特征，因此它们已被用于解决许多下游任务，如语音分类、说话人识别和情绪识别。因此，我们也使用它们进行PD检测。gydF4y2Ba

实验gydF4y2Ba

对于每个特征集，我们应用了一组标准的机器学习算法，例如SVM [gydF4y2Ba40gydF4y2Ba]， XGBoost [gydF4y2Ba41gydF4y2Ba]， LightGBM [gydF4y2Ba42gydF4y2Ba]和随机森林[gydF4y2Ba43gydF4y2Ba]，对PD和非PD进行分类。支持向量机将数据分成几个类别，同时保持类别之间的最大可能差值。随机森林是一组决策树的集合;每个决策树使用特征子集构建一个树，并学习if-else类型的决策规则来进行预测。我们还使用了XGBoost和LightGBM，这是基于梯度增强的算法，它们通过改进手头的模型来构建更好的模型。gydF4y2Ba

我们使用了留一交叉验证训练策略;使用这种策略，数据集中的一个样本数据被忽略，其他n - 1个样本用于创建模型并预测剩余的样本。我们使用二元精度和AUC等指标来评估模型的性能。AUC是接收者工作特性曲线下的面积。ROC曲线是通过计算在改变决策阈值时取真阳性率与假阳性率之比所产生的AUC来构建的。AUC的最大值为1，表示两类可以完美分离，而AUC的值为0.5，表示模型无法区分这两类。因为我们的数据集是不平衡的，所以AUC是理解模型真实性能的更好指标。为了减少数据不平衡的影响，我们使用了数据增强技术，如合成少数派过采样技术[gydF4y2Ba44gydF4y2Ba]和支持向量机合成少数派过采样技术[gydF4y2Ba45gydF4y2Ba]。gydF4y2Ba

模型解释技术gydF4y2Ba

为了解释这些模型，我们使用了基于Shapley值的Shapley加性解释(SHAP)技术。Shapley值是一个博弈论概念，指的是在玩家之间公平分配奖金[gydF4y2Ba46gydF4y2Ba]。在机器学习环境中，一个实例的每个单独特征都可以被认为是一个玩家，而支付是一个实例的预测和平均预测之间的差异。我们选择SHAP有两个原因:(1)它非常适合解释任何机器学习模型的输出，(2)它是唯一满足公平性数学定义的特征归因方法。gydF4y2Ba

为了使用SHAP来解释梯度增强和基于树的模型，如XGBoost, Lundberg等[gydF4y2Ba47gydF4y2Ba]介绍了提供多项式时间模型来计算优化解释的方法。他们的方法可以生成局部解释——特征如何影响数据实例的一个特定预测——然后将这些局部解释结合起来，对整个数据集中存在的特征做出全局解释。通过设置一类需要条件的特征，它们以以下方式遍历树:如果我们正在遍历一个基于我们所条件的特征而分裂的节点，我们只需遵循决策路径;否则，将递归地计算来自当前节点的左子树和右子树的结果，并通过加权求和策略将其结果相加，从而计算所讨论的特征的SHAP值。gydF4y2Ba

结果gydF4y2Ba

概述gydF4y2Ba

对数据进行预处理，提取标准声学特征(如基音、抖动、闪烁和MFCC)和基于深度学习的音频嵌入特征(以音频片段为特征向量);从今往后，我们称这些为gydF4y2Ba标准特性gydF4y2Ba和gydF4y2Ba嵌入的特性gydF4y2Ba。在剩下的gydF4y2Ba结果gydF4y2Ba在本节中，我们讨论了建立在整个数据集上的模型的结果，对整个数据集上最佳模型的解释，以及对性别分层和年龄裁剪数据集的专门模型的结果和解释。gydF4y2Ba

从整个数据集检测PDgydF4y2Ba

表3gydF4y2Ba包含四个机器学习模型的AUC和精度分数gydF4y2Ba标准特性gydF4y2Ba和gydF4y2Ba嵌入的特性gydF4y2Ba分开。在标准特性上应用XGBoost的最佳性能为0gydF4y2Ba。gydF4y2Ba75 AUC和0gydF4y2Ba。gydF4y2Ba74年的准确性。我们还注意到，模型的训练对象是gydF4y2Ba标准特性gydF4y2Ba比那些受过训练的人工作得更好gydF4y2Ba嵌入的特性。gydF4y2Ba

模型的解释gydF4y2Ba

SHAP的目标是将模型对任何实例的预测解释为其特征值贡献的总和;如果一个数据实例可以被认为是XgydF4y2Ba_我gydF4y2Ba= [fgydF4y2Ba_1gydF4y2BafgydF4y2Ba_2gydF4y2Baf,……gydF4y2Ba_NgydF4y2Ba]， SHAP将为每个f分配一个数字gydF4y2Ba_jgydF4y2Ba特征，表示该特征对模型预测的影响——包括大小和方向。然后，将所有这些局部解释聚合起来，为整个数据集创建一个全局解释。的第一部分给出了一个全局的解释gydF4y2Ba图5gydF4y2Ba;以下是十大最具影响力的功能，按照影响最大到影响最小的顺序进行排名。为了计算每个特性的影响，收集所有数据实例中的所有SHAP值，然后计算其绝对值的平均值。gydF4y2Ba

‎gydF4y2Ba 查看此图gydF4y2Ba

影响模型性能的特征通常是频谱特征:MFCC在每个频谱范围内的平均值或变化。除此之外，一些其他复杂的特征，如递归周期密度熵(RPDE;(F0估计中的不确定性度量)，PPE(无法保持恒定F0的度量)和谐波噪声比(HNR)也影响了第一部分中提出的解释gydF4y2Ba图5gydF4y2Ba。gydF4y2Ba

性别和年龄分层分析gydF4y2Ba

一个人的声音特征受年龄和性别的影响很大。在gydF4y2Ba图6gydF4y2Ba，我们发现，随着年龄的增长，男性和女性的声音表现出一种变化的特征。女性声音的F0值较高，但随着年龄的增长而降低。男性在年轻时的F0值通常较高，随着年龄的增长而下降，然后在45岁之后大致增加。因此，在从音频中分析PD时会产生混淆效应，其中机器学习模型使用音频特征来检测PD。为了尽量减少混杂因素的影响，研究人员对男性和女性参与者的数据分别训练了模型[gydF4y2Ba28gydF4y2Ba]或通过考虑50岁以上参与者的数据来分析剔除年龄的数据集[gydF4y2Ba4gydF4y2Ba，gydF4y2Ba29gydF4y2Ba]。gydF4y2Ba

‎gydF4y2Ba 查看此图gydF4y2Ba

为每个性别和年龄修剪分析建立专门的模型gydF4y2Ba

在男性、女性和年龄调整数据集上训练的机器学习模型的性能指标见gydF4y2Ba表4gydF4y2Ba。通过将性能与中给出的指标进行比较gydF4y2Ba表3gydF4y2Ba，我们可以看到，与使用整个数据集进行训练的模型相比，使用男性或年龄调整数据集的模型表现相当或更好。然而，使用女性数据集的模型的性能有所下降。gydF4y2Ba表1gydF4y2Ba显示，女性在非PD组中比例过高，而在PD组中比例过低，导致数据不平衡，并可能降低女性模型的性能。gydF4y2Ba

我们还通过SHAP分析分析了驱动这些专用模型性能的特性。第二部分gydF4y2Ba图5gydF4y2Ba显示了根据其SHAP值排序的最显著特征以及每个特征对模型决策的影响分布。最重要的特征仍然是与mfcc相关的特征或复杂特征，如HNR、不同频率范围内的相对频带功率(RelBandPower1、RelBandPower3)、RPDE (F0估计的不确定性)、F0的摄动(DdpJitter)或幅度的摄动(Apq11Shimmer)。然而，一个值得注意的事实是，三音调和抖动相关的特征——medianpitch(主频率中位数)、StdDevPitch(主频率中位数)和MedianJitter (F0的中位数变化)——也会影响模型的预测，这在全数据模型上运行的SHAP分析中没有注意到。gydF4y2Ba

同样，我们在第三部分中解释了年龄修剪数据集的显着特征gydF4y2Ba图5gydF4y2Ba。我们注意到，最显著的特性通常来自MFCC特性组、复杂特性(RPDE、PPE和HNR)、相对频带功率(RelBandPower1、RelBandPower2和RelBandPower3)以及与节距相关的特性。此外，音高相关的特征也推动了模型的预测。gydF4y2Ba

讨论gydF4y2Ba

限制gydF4y2Ba

在我们所有的实验中，我们选择留一交叉验证来保持不同模型、数据增强和数据集组合之间的统一实验设置，因为K-fold交叉验证可以显示基于折叠分层程度的性能差异很大。然而，我们承认，我们的选择引入了过拟合问题，并增加了计算复杂性流形。因此，我们不能运行广泛的超参数调优来提高模型的性能。通过仔细地对折叠进行分层，并为可比的实验设置保持相同的折叠设置，K-fold交叉验证可以使我们以更低的计算复杂度实现更高的性能。gydF4y2Ba

此外，我们选择的指标，准确性和ROC AUC，可能过于乐观，因为我们的数据集的不平衡性质。ROC-Precision-Recall平衡的准确性等指标，以及更多关于敏感性和特异性的信息，可能会让我们更清楚地了解我们在少数群体中的表现。在未来，我们计划应用其他交叉验证技术和更好的度量来进行我们的实验并报告我们的性能。gydF4y2Ba

从日常对话中检测PDgydF4y2Ba

PD引起的一些最常见的声音障碍是发音障碍(声音扭曲或异常)，构音障碍(言语发音问题)和低音症(声音减少)。两项与言语相关的诊断任务通常通过利用由这些疾病引起的声音模式的变化来检测PD:(1)持续发声(参与者被要求长时间以恒定的音调说出一个元音)和(2)运行言语(参与者说一个标准的句子)。Little等[gydF4y2Ba12gydF4y2Ba]开发了检测PD患者语音障碍的特征。Tsanas等[gydF4y2Ba25gydF4y2Ba]重点研究了远程监测自我给予的持续元音发声任务，以预测帕金森病统一评定量表(帕金森病评定量表2003)的评定，这是一种常用的量化帕金森病症状的指标。这些研究用复杂设备(例如，可穿戴设备、高分辨率录像机和英特尔家庭测试设备远程监控系统)捕获的数据来训练他们的模型，这些设备通常不是所有人都能访问，也很难扩展。在对家庭声学数据进行分类时，这些模型的性能会显著降低。此外，正确地完成持续发声任务需要遵循一套特定的指导方针，比如一口气完成任务，这对老年人来说可能很难。gydF4y2Ba

相比之下，我们通过使用基于网络的数据收集平台收集的数据来分析正在运行的语音任务，该平台可以被世界上任何地方的任何人访问，只需要一个带有集成摄像头和麦克风的联网设备。此外，运行语音任务不需要遵守特定指令，更类似于常规对话;因此，该模型可以潜在地扩展到从常规对话中预测PD -这是PD评估的潜在游戏规则改变者。未来，用户同意的插件可能会被开发出来，用于Alexa、Google Home或Zoom等应用程序，在这些应用程序中，音频可以在人与人之间传输。任何同意下载插件并在电话上、通过Zoom或进行虚拟或面对面演示时使用它的人，都可以在适当的时候获得非正式的神经科医生推荐。该插件不会存储参与者的数据，除非他们选择建立一个个性化的配置文件，以确保隐私和道德地使用我们的框架。gydF4y2Ba

验证模型解释gydF4y2Ba

SHAP发现的对建模决策有影响的特征得到了先前研究的很好支持。例如，MFCC功能已经被证明在广泛的音频任务中是有用的，如说话人识别[gydF4y2Ba48gydF4y2Ba]、音乐信息检索[gydF4y2Ba38gydF4y2Ba]、语音活动检测[gydF4y2Ba49gydF4y2Ba]，最重要的是，在语音质量评估方面[gydF4y2Ba50gydF4y2Ba]。同样，HNR的高影响和F0估计的不确定性(RPDE)以及无法保持恒定的F0 (PPE)对模型输出的影响与Little等人的研究结果一致[gydF4y2Ba12gydF4y2Ba]。然而，解释的第一部分gydF4y2Ba图5gydF4y2Bapd诱发的声带损伤是一项艰巨的任务。MFCC特征是通过将音频信号转换到频域来计算的，它们表示信号中的能量在不同频率范围内的分布情况。因此，提供与MFCC特征相对应的SHAP值的物理解释并不简单。同样，Little等[gydF4y2Ba12gydF4y2Ba]设计RPDE和PPE功能来模拟持续发声任务(发出“啊”)，假设健康的参与者能够保持平稳和有规律的声音模式。相反，说出多个句子会在数据中引入相当大的变化，增加大量的异构模式。因此，构建这些特征背后的潜在假设并不适用于我们说多个句子的任务。gydF4y2Ba

我们对第一部分所示的SHAP输出进行了实证验证gydF4y2Ba图5gydF4y2Ba。我们一次增量地添加一个特征来构建一个动态特征集，在该特征集上训练连续的模型，并报告准确性和AUC性能。我们看到，在添加7到8个特征后，我们的模型的性能趋于饱和。因此，我们可以说SHAP分析成功地梳理出了驱动模型性能的最重要的特征。gydF4y2Ba

为什么不只进行分层分析?gydF4y2Ba

出于几个原因，我们建立了包含所有性别的模型。首先，所有性别的声音模式之间存在潜在的共同特征，这些特征可能与PD的检测有关。其次，将数据集分成两部分减少了每个模型的可用训练数据，这反过来又可能降低每个模型的泛化能力。此外，我们的模型分析了所有年龄段患者的数据。虽然大多数PD患者的年龄在60岁以上，但约有10%至20%的PD患者年龄在50岁以下，其中约有一半年龄在40岁以下[gydF4y2Ba51gydF4y2Ba]。作为轶事证据，Michael J Fox在29岁时被诊断出患有PD [gydF4y2Ba52gydF4y2Ba穆罕默德·阿里患帕金森病早了42年[gydF4y2Ba53gydF4y2Ba]。在我们的数据集中，也有少数PD患者年龄小于50岁(gydF4y2Ba图4gydF4y2Ba）.在这些观察的基础上，我们认为我们的系统应该不分年龄向所有人提供访问。PD在影响个人时不会因年龄而歧视，自动化系统不应因年龄而歧视，并为所有年龄的人提供公平的服务。然而，这些因素可以作为PD分析的混杂因素。因此，我们提供了额外的分析，以确保我们的模型不使用群体特定信息的特质来进行预测。gydF4y2Ba

不包括实验室环境数据gydF4y2Ba

当数据在实验室收集时，参与者可以使用一致的记录设置和专用带宽访问提供支持的临床医生。相比之下，在家庭环境中收集的数据不涉及辅助，并且包括现实世界中异构记录设置的可变性和不一致的互联网速度。理论上，在gydF4y2Ba实验室gydF4y2Ba和gydF4y2Ba首页gydF4y2Ba我们彼此非常不同。gydF4y2Ba

确保我们的模型在没有gydF4y2Ba清洁实验室数据gydF4y2Ba，我们设计了两个实验。在实验1中，我们删除了干净的实验室数据，约占整个数据集的7.4%(54/726)，使用留一验证程序对剩余的672名参与者重新训练我们的模型，并计算了性能指标。在实验2中，我们随机删除了7%(大约54个数据点)gydF4y2Ba首页gydF4y2Ba从整个数据集中获取数据(同时保留gydF4y2Ba实验室gydF4y2Ba数据完整)，用剩下的93%的数据用留一交叉验证方法构建模型。然后，我们进行了10次实验，并计算了gydF4y2Ba平均gydF4y2Ba这10次运行的表现。我们发现这三个实验中的AUC度量是相当一致的，当删除实验室数据时，AUC有非常小的0.015的减少，这表明我们的框架在整个实验中执行得同样好gydF4y2Ba实验室gydF4y2Ba和gydF4y2Ba首页gydF4y2Ba数据。gydF4y2Ba

标签不一致性和预测震颤评分gydF4y2Ba

使用公园[gydF4y2Ba29gydF4y2Ba我们收集了最大的数据集之一，参与者按照MDS-UPDRS PD评估协议进行一系列运动、面部表情和言语任务[gydF4y2Ba3.gydF4y2Ba]。虽然我们在本研究中只分析了语音任务，但该数据集可以潜在地用于自动化评估大量MDS-UPDRS任务，并促进早期PD检测，从而改善全球数百万人的生活质量。然而，在网络上部署数据收集协议并方便世界上任何地方的任何人访问是有代价的。到目前为止，我们所有的PD患者都被临床证实为PD。因此，PD数据点的标签是可靠的。然而，没有PD的参与者没有进行临床验证。我们的数据收集方案向他们提出适当的问题，以检查他们是否被诊断为PD，并在他们回答为阴性时收集数据。然而，我们不能忽视这样一种可能性，即没有帕金森病的人群中有一小部分人处于帕金森病的早期阶段，并且对它一无所知。目前，在美国3.3亿人口中，估计约有100万PD患者[gydF4y2Ba51gydF4y2Ba]， PD患病率为0.3%。然而，由于我们的非pd数据集主要倾向于50岁以上的人群，我们的数据集中的比率可能高于0.3%。即使我们考虑到1%的患病率，我们的对照人群中未确诊PD的人数可能很低(最多4.6人)。因此，我们认为非pd数据标签通常是可靠的。在未来，我们计划为每个任务建模震颤评分在0-4范围内;0表示无震颤，4表示严重震颤)，而不是遵循MDS-UPDRS协议的二进制标签，以更彻底地解决此问题。gydF4y2Ba

构建更具代表性的数据集gydF4y2Ba

PARK协议是网络启用的，允许任何访问互联网的人贡献数据。我们计划通过增加更多非英语母语者、女性和PD患者来扩大我们的数据集。由于我们的PD数据是通过当地PD诊所的联系收集的，而非PD数据是通过亚马逊土耳其机械收集的，因此我们的大多数参与者来自美国或其他英语国家。为了使我们的模型对来自非英语母语者的数据更加稳健，我们正在收集来自非英语母语国家的PD和非PD数据。此外，我们目前的协议只能从有电脑和互联网接入的人那里收集数据，因此，它可能会排除服务不足的人。在未来，我们计划构建桌面和移动应用程序，可以离线收集数据，以建立一个更具包容性的框架。gydF4y2Ba

我们对女性数据的最佳模型表现得比男性模型差，如下所示gydF4y2Ba表4gydF4y2Ba。在我们的数据集中，我们将这种性能下降归因于女性参与者的PD或非PD失衡:女性的PD与非PD比率为101 / 300 (gydF4y2Ba表1gydF4y2Ba）.以往的流行病学研究显示，男性帕金森病的发病率和流行率都是女性的1.5至2倍[gydF4y2Ba54gydF4y2Ba，gydF4y2Ba55gydF4y2Ba]。因此，任何随机抽样的PD数据集都会有更高的男性患病率，从而导致模型更偏向于男性。我们目前的计划是优先收集来自所有性别、年龄和种族的平衡数据，从而形成一个平衡的数据集。gydF4y2Ba

我们的数据集也存在诊断测试中普遍存在的数据不平衡问题:来自非PD参与者的数据量是PD参与者的1.8倍。因此，有一种风险，即模型将偏向于预测大多数非pd类作为默认，并产生高假阴性分数。为了解决这个问题，我们计划在未来招募更多的PD参与者，使我们的数据集更加平衡。另一种可能的方法是通过对PD患者和非PD患者进行适当的年龄、性别和匹配而产生的数据集子集进行分析。gydF4y2Ba

如图所示gydF4y2Ba表1gydF4y2Ba，我们的参与者被诊断患有帕金森病gydF4y2Ba。gydF4y2Ba88 (sd 5)gydF4y2Ba。gydF4y2Ba41)年前。由于数据有限，我们没有对早期PD预测进行分析。在未来，我们计划让更多的参与者参与PD的早期阶段，并建立可以检测它们的模型。我们将特别关注招募年龄在20至40岁之间的PD患者，以分析年轻人中早期发病的PD。此外，我们计划收集和分析每个人的多个语音实例，以减少个体特异性变异，并获得更全面的PD状态视图。gydF4y2Ba

提高模型性能gydF4y2Ba

虽然我们认为AUC对于我们的数据集来说是一个更好的度量，但我们的模型在二元精度方面比总是选择非pd作为预测要好10%。为了在临床环境中实际部署，性能需要进一步提高。我们将专注于四个有前途的途径:使数据集平衡，设计更好的特征，能够对数据中的细微模式进行建模，使我们的模型对数据中存在的噪声具有弹性，以及从年龄和性别变量中解耦PD预测。gydF4y2Ba

为了去除噪声，我们计划增强Poorjam等人提出的技术[gydF4y2Ba56gydF4y2Ba通过检测符合实验设计的数据片段来自动提高数据质量。此外，如上所述，性别和年龄可能成为PD预测任务中的混淆变量。在本文中，我们已经证明了我们的统一模型和分层性别特定模型具有相似的性能。然而，我们计划建立更好的模型来系统地分析年龄和性别变量的影响，同时从中受益。我们可以通过结合因果自举技术来实现这一点。因果自举技术是一种重新采样方法，它考虑变量之间的因果关系，并否定虚假的间接相互作用的影响，正如Little和Badawy所概述的[gydF4y2Ba57gydF4y2Ba]。gydF4y2Ba