原始论文
摘要
背景:心力衰竭(HF)是一种常见病,也是一个重大的公共卫生问题。心衰死亡率预测对于制定个体化预防和治疗方案至关重要。然而,由于缺乏可解释性,大多数心衰死亡率预测模型尚未达到临床实践。
摘要目的:我们旨在开发一个可解释的模型来预测重症监护病房(icu) HF患者的死亡风险,并使用SHapley Additive explain (SHAP)方法来解释极端梯度增强(XGBoost)模型,并探索HF的预后因素。
方法:在这项回顾性队列研究中,我们在eICU合作研究数据库(eICU- crd)上实现了模型开发和性能比较。我们在每个ICU入院的前24小时内提取数据,数据集随机划分,70%用于模型训练,30%用于模型验证。通过曲线下面积,将XGBoost模型的预测性能与其他三种机器学习模型进行比较。我们使用SHAP方法来解释XGBoost模型。
结果:共有2798例符合条件的心衰患者被纳入本研究的最终队列。观察到的HF患者住院死亡率为9.97%。相比之下,XGBoost模型的曲线下面积(AUC)为0.824 (95% CI 0.7766-0.8708),在四种模型中预测性能最高,而支持向量机的泛化能力最差(AUC=0.701, 95% CI 0.6433-0.7582)。决策曲线表明,XGBoost模型的净效益在10%~28%的阈值概率上超过了其他机器学习模型。SHAP法按重要性排序筛选出HF的前20个预测变量,其中血尿素氮平均值为最重要的预测变量。
结论:可解释预测模型有助于医生更准确地预测ICU HF患者的死亡风险,从而为患者提供更好的治疗方案和优化的资源配置。此外,可解释的框架可以增加模型的透明度,便于医生理解预测模型的可靠性。
doi: 10.2196/38082
关键字
简介
心力衰竭(HF)是许多心血管疾病的终末期,是一个主要的卫生保健问题,全世界大约有2600万的患病率,美国和欧洲每年有超过100万的住院人数[
].预测显示,到2030年,将有800多万美国人患有心力衰竭,比2012年增加46% [ ].心力衰竭每年造成约1080亿美元的费用,占全球卫生保健预算的2%,预计将继续上升,但其中一半是可以避免的[ ].随着COVID-19继续在世界各地传播,心衰作为一种严重并发症,与COVID-19的不良预后和死亡有关[ , ].重症监护病房(icu)的危重病人需要重症监护服务和高质量的多学科协助[
].虽然ICU在维持患者生命中起着不可或缺的作用,但这也意味着ICU的人手不足,医疗资源有限,经济负担沉重[ ].因此,对患者进行早期医院死亡率检测是必要的,并可能有助于提供适当的护理和提供临床决策支持[ ].近年来,人工智能被广泛应用于探索多种疾病的预警预测因子。由于机器学习算法具有捕捉非线性关系的固有强大功能,更多的研究人员主张使用基于机器学习的新预测模型来支持对患者的适当治疗,而不是使用传统的疾病严重程度分类系统,如SOFA、APACHE II或SAPS II [
- ].虽然大量预测模型在研究中表现出良好的表现,但其在临床环境中的应用和可解释的风险预测模型以帮助疾病预后的证据仍然有限[ - ].本研究的目的是利用免费开放的重症监护数据库- eICU合作研究数据库(eICU- crd),开发一个可解释的模型来预测ICU HF患者的风险死亡率。此外,使用SHapley相加解释(SHAP)方法来解释极端梯度增强(即XGBoost)模型,并探索HF的预后因素。
方法
数据源
eICU-CRD(2.0版)是一个公开的多中心数据库[
],其中包含2014-2015年美国208家医院20多万名icu入院患者的身份识别数据。它详细记录了所有患者、人口统计、生命体征测量、诊断信息和治疗信息[ ].道德的考虑
由于所有受保护的健康信息都是匿名的,因此不需要伦理批准和患者个人同意。
研究人群
考虑了eICU-CRD数据库中的所有患者。纳入标准如下:(1)根据国际疾病分类第九版和第十版代码诊断为心衰患者(
);(2)入ICU 24小时内诊断优先级标签为“初级”;(3) ICU住院时间大于1天;(4)患者年龄在18岁以上。缺失值超过30%的患者被排除在外[ ].预测变量
本研究的预测结果是住院死亡率的概率,定义为患者出院时的病情。根据以往的研究[
- ]和专家意见(共有6名独立医疗专业人员和四川大学华西医院心脏病专家)、人口统计学、共病、生命体征和实验室结果( ),使用结构化查询语言(MySQL)查询(版本5.7.33;甲骨文公司)。使用eICU-CRD中的以下表格:“诊断”、“输入输出”、“实验室”、“患者”和“护士分流”。除人口学特征外,在每次ICU入院的前24小时内收集其他变量。此外,为了避免过拟合,使用最小绝对收缩和选择算子(LASSO)对变量进行选择和过滤[ , ].数据缺失处理
缺少数据的变量在eICU-CRD中很常见。然而,忽略缺失数据的分析有可能产生有偏见的结果。因此,我们对缺失数据采用多重imputation [
].所有选择的变量包含<30%的缺失值。数据随机假设缺失,并使用完全条件规范与“老鼠”包(版本3.13.0)为R(版本4.1.0;R核心团队)。机器学习解释工具
预测模型的解释由SHAP进行,SHAP是一种统一的方法,可以精确计算每个特征对最终预测的贡献和影响[
].SHAP值可以显示每个预测因子对目标变量的正向或负向贡献。此外,数据集中的每个观测值都可以用特定的SHAP值集来解释。统计分析
所有统计分析和计算均使用R软件和Python(3.8.0版本;Python软件基金会)。分类变量用总数和百分比表示,用χ表示2用Fisher精确检验(期望频率<10)比较组间差异。连续变量用中位数和IQR表示,两组比较采用Wilcoxon秩和检验。
四种机器学习模型——xgboost、逻辑回归(LR)、随机森林(RF)和支持向量机(SVM)——被用于开发预测模型。以受试者工作特征曲线下面积来评价各模型的预测性能。此外,我们计算了准确性、敏感性、阳性预测值、阴性预测值和F1预测特异性固定在85%时进行评分。此外,为了通过量化不同阈值概率下的净效益来评估模型的决策效用,进行了决策曲线分析(DCA) [
].结果
病人的特点
在eICU-CRD的17029例HF患者中,共有2798例被诊断为原发性HF的成年患者被纳入本研究的最终队列。患者筛选过程见
.数据集随机分为2部分:70% (n=1958)的数据用于模型训练,30% (n=840)的数据用于模型验证。LASSO正则化过程在训练数据集中的1958例患者的基础上产生了24个潜在预测因子,用于模型开发。非存活组的患者年龄大于存活组(P<措施)。训练数据集的医院死亡率为9.96%(195/1958),测试数据集的医院死亡率为10%(84/840)。 ). 显示了在住院期间幸存者和非幸存者之间预测变量的比较。幸存者(n = 2519) | Nonsurvivors (n = 279) | P价值 | ||||
年龄(年),中位数(IQR) | 71 (60 - 80) | 76年(66 - 82) | <措施 | |||
性别(男性),n (%) | 1338 (53.1) | 170 (60.9) | 02 | |||
合并症,n (%) | ||||||
高血压 | 654 (26) | 46 (16.5) | <措施 | |||
急性肾功能衰竭 | 441 (17.5) | 78 (28.0) | <措施 | |||
生命体征中位数(IQR) | ||||||
Heartrate_min一个 | 70年(61 - 80) | 74年(62 - 86) | <措施 | |||
呼吸rate_avgb | 20.1 (17.8 - -23.0) | 21.8 (19.0 - -26.0) | <措施 | |||
呼吸rate_maxc | 27 (/) | 32 (26-38) | <措施 | |||
Nibpd_systolic_avg | 120.0 (107.1 - -134.8) | 109.0 (100.1 - -121.4) | <措施 | |||
Nibp_systolic_min | 95年(83 - 110) | 84年(72 - 97) | <措施 | |||
Nibp_diastolic_min | 49 (41-57) | 45 (35 - 52.5) | <措施 | |||
Temperature_max | 37 (37-37) | 37 (37-38) | 03 | |||
Temperature_min | 36 (36 - 37) | 36 (36 - 37) | .007 | |||
实验室变量,中位数(IQR) | ||||||
Urineoutput | 1550年(599 - 2750) | 875年(140 - 1900) | <措施 | |||
热点;2e_min | 92年(88 - 95) | 90 (84.5 -94) | <措施 | |||
热点;2_avg | 96.6 (95.1 - -98.0) | 96.5 (94.5 - -97.9) | .04点 | |||
Anion_gap_max | 11.0 (9.0 - -14.0) | 12.0 (10.0 - -15.0) | <措施 | |||
Creatinine_min | 1.45 (1.01 - -2.30) | 1.70 (1.19 - -2.50) | 措施 | |||
Blood_urea_nitrogen_avg | 30.0 (21.0 - -47.6) | 42.0 (28.0 - -58.5) | <措施 | |||
Calcium_min | 8.6 (8.1 - -9.0) | 8.5 (7.9 - -8.9) | .005 | |||
Chloride_min | 101年(97 - 104) | 99年(95 - 104) | . 01 | |||
血小板×1000 _min | 193年(149 - 249) | 180 (140 - 235.5) | .008 | |||
White_blood_cell×1000 _min | 9.1 (6.8 - -12.1) | 10.9 (7.6 - -15.7) | <措施 | |||
RDWf_min | 15.7 (14.4 - -17.3) | 16.4 (15.0 - -18.2) | <措施 | |||
Hemoglobin_max | 10.6 (9.2 - -12.3) | 10.4 (8.95 - -12.0) | .059 |
一个分钟:最小值。
bAvg:平均水平。
c马克斯:最大。
dNibp:无创血压。
e热点;2:阿2饱和度。
fRDW:红细胞分布宽度。
模型建立与评价
在训练数据集中建立XGBoost、LR、RF和SVM模型,测试数据集中得到的auc分别为0.824、0.800、0.779和0.701 (
而且 ).相比之下,XGBoost的预测性能最好(AUC=0.824, 95% CI 0.7766-0.8708), SVM的泛化能力最差(AUC=0.701, 95% CI 0.6433-0.7582)。对测试数据集中的四个机器学习模型进行了DCA,以比较临床决策的最佳模型和替代方法的净效益。临床净获益定义为需要进一步干预时出现疾病的最小概率[ ].该图测量了不同阈值概率下的净效益。橙色的线 表示所有患者接受干预的假设,而黄线表示没有患者接受干预。由于研究人群的异质性,四种基于机器学习的模型中的任何一种告知的治疗策略都优于治疗所有患者或不治疗患者的默认策略。XGBoost模型的净效益在10%~28%的阈值概率上超过了其他机器学习模型( ).模型 | AUC一个(%) | 灵敏度(%) | F1分数 | 精度(%) | PPVb | 净现值c |
XGBoost | 0.824 | 0.595 | 0.407 | 0.826 | 0.307 | 0.950 |
LRd | 0.800 | 0.607 | 0.413 | 0.827 | 0.311 | 0.951 |
射频e | 0.779 | 0.571 | 0.392 | 0.823 | 0.298 | 0.947 |
支持向量机f | 0.701 | 0.345 | 0.258 | 0.801 | 0.204 | 0.921 |
一个AUC:曲线下面积。
bPPV:阳性预测值。
cNPV:负预测值。
d逻辑回归。
eRF:随机森林。
f支持向量机:支持向量机。
用SHAP方法解释XGBoost模型
利用SHAP算法得到各预测变量对XGBoost模型预测结果的重要性。变量重要性图按降序列出了最重要的变量(
).在所有预测水平中,尿素氮(BUN)的平均值具有最强的预测价值,其次是年龄因素、无创收缩压平均值、排尿量和呼吸频率最大值。此外,为了检测预测因子与目标结果的正、负相关关系,应用SHAP值来揭示死亡危险因素。如在 ,水平位置显示该值的影响是否与较高或较低的预测相关,颜色显示该变量在该观测中是高(红色)还是低(蓝色);我们可以看到,平均尿素氮的增加具有积极的影响,将预测推向死亡率,而排尿量的增加具有消极的影响,将预测推向生存。单个力图
显示了(A)未存活和(B)存活患者的个体力图。SHAP值表明个体患者的预测相关特征以及每个特征对死亡率预测的贡献。黑体字的数字是概率预测值(f(x)),而基值是在没有给模型输入的情况下预测的值。f(x)是每个观测值的对数比值比。红色特征(左侧)表示增加死亡风险的特征,蓝色特征表示降低死亡风险的特征。箭头的长度有助于可视化对预测的影响程度。箭头越长,效果越大。
讨论
主要研究结果
在这项大型公共ICU数据库的回顾性队列研究中,我们开发并验证了四种机器学习算法来预测心衰患者的死亡率。XGBoost模型的性能优于LR、RF和SVM。采用SHAP方法对XGBoost模型进行解释,保证了模型性能和临床可解释性。这将有助于医生更好地理解模型的决策过程,便于预测结果的使用。此外,为了避免无效的临床干预,我们关注的DCA相关阈值概率范围在15% - 25%之间,XGBoost在此范围内表现更好。在重症监护研究中,XGBoost已被广泛用于预测患者的住院死亡率,并可能协助临床医生做出决策[
- ].然而,纳入最终队列的HF患者的死亡率仅为9.97%。虽然DCA表明XGBoost模型优于两种默认策略,但当预测特异性固定在85%时,阳性预测值仅为0.307。因此,XGBoost模型可能不能完全为临床医生提供决策支持。在临床实践中,评估早期预测死亡率的好处及其额外成本是必要的。利用SHAP解释XGBoost模型,我们确定了一些与心衰患者住院死亡率相关的重要变量。在本研究中,平均BUN被认为是最重要的预测变量。BUN作为一种衡量血液中来自蛋白质代谢的氮含量的肾功能标志物,既往研究也表明,利用机器学习算法,BUN是预测HF死亡率的关键预测因子[
, ].Kazory [ ]得出结论,尿素氮可能是心衰患者神经激素激活的生物标志物。从病理生理学角度看,随着心衰加重,交感神经系统和肾素-血管紧张素-醛固酮系统活性增加,引起传入小动脉血管收缩。肾灌注减少进一步导致水和钠潴留,促进尿素再吸收,最终导致尿素氮升高。然而,由于缺乏外部验证队列,需要进一步的研究来探索这种SHAP方法的适用性。限制
这项研究有一些局限性。首先,我们的数据是从一个公开的数据库中提取的,并且缺少一些变量。例如,我们打算纳入更多可能影响住院死亡率的预测变量,如凝血酶原时间以及脑钠肽和乳酸;然而,缺失值超过70%。其次,所有数据均来自美国ICU患者,因此我们的模型在其他人群中的适用性尚不清楚。第三,我们的死亡率预测模型基于每次ICU入院后24小时内的可用数据,可能在一定程度上忽略了改变预后和引起混杂的后续事件。第四,由于缺乏外部验证队列,所开发的XGBoost模型在临床实践中的适用性可能不是很有效。目前,我们正在收集四川大学华西医院重症监护室HF患者的数据。虽然我们获得了一些初步数据,但由于样本量有限,外部前瞻性验证并不可行。
结论
我们开发了可解释的XGBoost预测模型,该模型在估计心衰患者的死亡风险方面表现最佳。此外,可解释机器学习方法可用于准确探索心衰患者的危险因素,增强医生对预测模型的信任。这将有助于医生识别具有高死亡风险的心衰患者,以便及时对其进行适当的治疗。
作者的贡献
J Liu, J Li和SL构思了这项研究。SL, J Liu, J Li, YH, LZ, YM进行分析,解释结果,并起草手稿。所有作者都修改了手稿。所有作者都阅读并批准了最终的手稿。
利益冲突
没有宣布。
补充材料1:ICD 9/10代码。
XLS文件(Microsoft Excel文件),25kb
补充材料2:选择的预测变量。
DOCX文件,17kb
补充材料3:训练和测试数据集中患者的所有预测变量。
DOCX文件,21 KB参考文献
- 张志刚,张志刚,张志刚,张志刚,等。心力衰竭住院治疗的全球健康和经济负担:从心力衰竭住院登记中吸取的教训中华医学会心血管病杂志2014年4月1日;30 (12):1123-1133 [免费全文] [CrossRef] [Medline]
- Heidenreich PA, Albert NM, Allen LA, Bluemke DA, Butler J, Fonarow GC,等。预测美国心脏衰竭的影响:来自美国心脏协会的政策声明。Circ Heart Fail 2013年5月;6(3):606-619 [免费全文] [CrossRef] [Medline]
- 廖亮,艾伦LA,惠伦DJ。老年人心力衰竭的经济负担。药物经济学2008;26(6):447 - 462。[Medline]
- 金海杰,朴敏,申智,朴杰,金丹,全杰,等。心力衰竭与COVID-19易感性和严重并发症的相关性:一项全国性队列研究J Med virrol 2021 11月05日1138-1145 [免费全文] [CrossRef] [Medline]
- 黄毅,马林林,王永杰,等。心力衰竭对COVID-19结局的影响——meta分析和系统综述Am J急诊医学2021年8月;46:204-211 [免费全文] [CrossRef] [Medline]
- 蒙泰罗F,梅洛尼F,巴拉诺斯卡斯JA,马塞多AA。重症监护病房死亡率的预测:多元特征选择。J Biomed Inform 2020 july;107:103456 [免费全文] [CrossRef] [Medline]
- Kramer AA, Dasta JF, Kane-Gill SL. ICU内死亡率对总成本的影响。重症监护医疗2017年9月45日(9):1457-1463。[CrossRef] [Medline]
- Khurrum M, Asmar S, Joseph B. ICU远程医疗:重症监护过程的创新。重症监护医学2021年12月;36(12):1377-1384。[CrossRef] [Medline]
- 姜文伟,金J,金DK,吴k,朱KW,金YS,等。机器学习算法预测持续肾替代治疗患者的死亡率。重症监护2020年2月06日;24(1):42 [免费全文] [CrossRef] [Medline]
- 刘超,刘旭,毛震,胡平,李旭,胡静,等。可解释的机器学习模型用于ICU横纹肌溶解患者死亡率的早期预测。医学科学体育运动2021年9月01日;53(9):1826-1834。[CrossRef] [Medline]
- Pirracchio R, Petersen ML, Carone M, Rigon MR, Chevret S, van DLMJ。使用超级ICU学习算法(SICULA)预测重症监护病房的死亡率:一项基于人群的研究。《柳叶刀呼吸医学》2015年1月;3(1):42-52 [免费全文] [CrossRef] [Medline]
- 潘鹏,李勇,肖勇,韩波,苏林,苏明,等。通过机器学习方法对重症监护病房COVID-19的预后进行评估:模型开发和验证J Med Internet Res 2020年11月11日;22(11):e23128 [免费全文] [CrossRef] [Medline]
- Stenwig E, Salvi G, Rossi PS, Skjærvold NK。医院死亡率可解释机器学习预测模型的比较分析。BMC Med Res Methodol 2022 Feb 27;22(1):53 [免费全文] [CrossRef] [Medline]
- 王凯,田杰,郑超,杨华,任杰,刘勇,等。基于机器学习和SHAP的冠心病心力衰竭患者3年全因死亡率的可解释预测Comput生物医学2021年10月;137:104813 [免费全文] [CrossRef] [Medline]
- Zihni E, Madai VI, Livne M, Galinovic I, Khalil AA, Fiebach JB,等。打开临床决策支持的人工智能黑箱:一项预测中风结果的研究。PLoS One 2020;15(4):e0231166 [免费全文] [CrossRef] [Medline]
- eICU合作研究数据库。URL:https://eicu-crd.mit.edu/[2022-07-20]访问
- Pollard TJ, Johnson AEW, Raffa JD, Celi LA, Mark RG, Badawi O. eICU合作研究数据库,一个免费的重症监护研究多中心数据库。科学数据2018年9月11日;5:19 08 [免费全文] [CrossRef] [Medline]
- 李凯,史强,刘松,谢勇,刘娟。基于梯度增强决策树的ICU脓毒症患者住院死亡率预测。医学(巴尔的摩)2021年5月14日;100(19):e25813 [免费全文] [CrossRef] [Medline]
- Abraham WT, Fonarow GC, Albert NM, Stough WG, Gheorghiade M, Greenberg BH, optimise - hf调查协调员。心力衰竭住院患者住院死亡率的预测因素:来自心力衰竭住院患者启动挽救生命治疗的有组织计划(OPTIMIZE-HF)的见解。J Am Coll Cardiol 2008 july 29;52(5):347-356 [J]免费全文] [CrossRef] [Medline]
- Fonarow GC, Adams KF, Abraham WT, Yancy CW, Boscardin WJ,坚持科学咨询委员会,研究小组,调查员。急性失代偿性心力衰竭住院死亡的危险分层:分类和回归树分析中国医学杂志2005年2月02日;293(5):572-580。[CrossRef] [Medline]
- Knaus WA, Draper EA, Wagner DP, Zimmerman JE。APACHE II:疾病严重程度分类系统。重症监护医学1985年10月;13(10):818-829。[Medline]
- Peterson PN, Rumsfeld JS, Liang L, Albert NM, Hernandez AF, Peterson ED,美国心脏协会接受指南-心力衰竭计划。美国心脏协会为心衰患者的住院死亡率进行了有效的风险评分。Circ cardiovascular qualal Outcomes 2010 Jan;3(1):25-32。[CrossRef] [Medline]
- Tibshirani R.通过套索回归收缩和选择。J R Stat Soc Series B Stat method 1996;58(1):267-288 [J]免费全文] [CrossRef]
- Muthukrishnan R, Rohini R. LASSO:机器学习预测建模中的特征选择技术。2016年发表于:IEEE计算机应用进展国际会议(ICACA);10月24日;印度哥印拜陀。[CrossRef]
- Blazek K, van Zwieten A, Saglimbene V, Teixeira-Pinto A.肾内科缺失数据多重归因的实用指南。肾内科杂志2021年1月;99(1):68-74。[CrossRef] [Medline]
- 伦德伯格SM,李SI。解释模型预测的统一方法。在:NIPS'17:第31届神经信息处理系统国际会议论文集。2017年发表于:NIPS'17;12月4 - 9日;加州长滩,第4768-4777页。
- Van Calster B, Wynants L, Verbeek JFM, Verbakel JY, Christodoulou E, Vickers AJ,等。报告和解释决策曲线分析:调查人员指南。2018年12月;74(6):796-804 [免费全文] [CrossRef] [Medline]
- Lee C, Light A, Alaa A, Thurtle D, van der Schaar M, Gnanapragasam VJ。使用监测、流行病学和最终结果(SEER)数据库预测男性非转移性前列腺癌特异性死亡率的新型机器学习框架的应用。Lancet Digit Health 2021 Mar;3(3):e158-e165 [免费全文] [CrossRef] [Medline]
- 侯娜,李敏,何玲,谢波,王玲,张荣,等。预测mimi - iii脓毒症患者的30天死亡率:使用XGboost的机器学习方法。J Transl Med 2020年12月07日;18(1):462 [免费全文] [CrossRef] [Medline]
- 刘娟,吴娟,刘松,李敏,胡凯,李凯。XGBoost模型预测ICU急性肾损伤患者的死亡率。PLoS One 2021;16(2):e0246306 [免费全文] [CrossRef] [Medline]
- 张震,何明明,洪艳。机器学习在急性肾损伤少尿患者重症监护中的容量反应性预测。重症监护2019 04月08日;23(1):112 [免费全文] [CrossRef] [Medline]
- Adler ED, Voors AA, Klein L, Macheret F, Braun OO, Urey MA,等。利用机器学习改进心力衰竭的风险预测。心脏衰竭2020年1月;22(1):139-147 [免费全文] [CrossRef] [Medline]
- 张志刚,张志刚,张志刚,张志刚,等。保留射血分数的心衰死亡率和住院率的机器学习预测。JACC心脏衰竭2020年1月;8(1):12-21 [免费全文] [CrossRef] [Medline]
- 血尿素氮作为心衰神经激素激活的生物标志物的出现。中华医学杂志2010年9月1日;26(5):694-700。[CrossRef] [Medline]
缩写
AUC:曲线下面积 |
包子:血尿素氮 |
DCA:决策曲线分析 |
eICU-CRD:eICU合作研究数据库 |
心力衰竭:心脏衰竭 |
加护病房:重症监护室 |
套索:最小绝对收缩和选择算子 |
LR:逻辑回归 |
射频:随机森林 |
世鹏科技电子:沙普利加法解释 |
支持向量机:支持向量机 |
R·库卡夫卡编辑;提交18.03.22;同行评议作者:徐磊,张震;对作者31.05.22的评论;修订本收到日期为07.07.22;接受15.07.22;发表09.08.22
版权©李吉丽,刘思如,胡云迪,朱凌峰,毛宇佳,刘佳林。最初发表于《医疗互联网研究杂志》(//www.mybigtv.com), 2022年8月9日。
这是一篇开放获取的文章,根据创作共用署名许可(https://creativecommons.org/licenses/by/4.0/)的条款发布,允许在任何媒介上无限制地使用、分发和复制,前提是正确引用最初发表在《医学互联网研究杂志》上的原创作品。必须包括完整的书目信息,//www.mybigtv.com/上的原始出版物的链接,以及此版权和许可信息。