JMIR J医学网络杂志 医学互联网研究杂志 1438 - 8871 卡塔尔世界杯8强波胆分析 加拿大多伦多 v24i8e37850 36006685 10.2196/37850 原始论文 原始论文 基于网络的HIV和性传播感染风险预测工具:使用机器学习算法:开发和外部验证研究 Kukafka 丽塔 Xiaomeng El享受 南非 翔龙 博士学位 1 2 3. https://orcid.org/0000-0003-1873-4734 MSc 2 3. 4 https://orcid.org/0000-0001-5210-2672 通用电气 Zongyuan 博士学位 4 https://orcid.org/0000-0002-5880-8673 周润发 Eric P F 博士学位 1 2 5 https://orcid.org/0000-0003-1766-0657 伊宁 MSc 3. https://orcid.org/0000-0002-3696-5782 Jason J 博士学位 1 2 3. https://orcid.org/0000-0001-5784-7403 博士学位 6 https://orcid.org/0000-0003-0769-5805 Jinrong MSc 7 https://orcid.org/0000-0001-8929-0611 Fairley 克里斯托弗·K 博士学位 1 2 3. https://orcid.org/0000-0001-9081-1664 Lei 博士学位 1
墨尔本性健康中心 阿尔弗雷德健康 斯旺斯顿街580号 墨尔本,3053 澳大利亚 61 3 9341 6264 61 3 9341 6230 lei.zhang1@monash.edu
2 3. https://orcid.org/0000-0003-2343-084X
墨尔本性健康中心 阿尔弗雷德健康 墨尔本 澳大利亚 中央临床医学院 医学、护理和健康科学学院 莫纳什大学 墨尔本 澳大利亚 中澳传染病联合研究中心 西安交通大学医学部 西安 中国 莫纳什电子研究中心 工程学院,Airdoc研究 英伟达AI技术研究中心,莫纳什大学 墨尔本 澳大利亚 流行病学和生物统计中心 墨尔本人口与全球卫生学院 墨尔本大学 墨尔本 澳大利亚 公共卫生学院 东南大学 南京 中国 数据分析与认知研究中心 拉筹伯大学 墨尔本 澳大利亚 通讯作者:张磊 lei.zhang1@monash.edu 8 2022 25 8 2022 24 8 e37850 9 3. 2022 1 4 2022 13 4 2022 28 7 2022 ©徐翔龙,于震,葛宗元,周鹏飞,鲍怡宁,王杰森,李伟,吴金荣,Christopher K Fairley,张磊。最初发表于《医疗互联网研究杂志》(//www.mybigtv.com), 2022年8月25日。 2022

这是一篇开放获取的文章,根据创作共用署名许可协议(https://creativecommons.org/licenses/by/4.0/)发布,该协议允许在任何媒体上不受限制地使用、分发和复制,前提是要正确引用最初发表在《医学互联网研究杂志》上的原始作品。必须包括完整的书目信息,//www.mybigtv.com/上的原始出版物链接,以及版权和许可信息。

背景

艾滋病毒和性传播感染是全球主要的公共卫生问题。在全世界15岁至49岁的人群中,每天发生超过100万例可治愈的性传播感染。检测或筛查不足大大阻碍了消除艾滋病毒和性传播感染的传播。

客观的

我们研究的目的是开发一个使用机器学习算法的HIV和STI风险预测工具。

方法

我们使用2015年3月2日至2018年12月31日期间在墨尔本性健康中心对艾滋病毒和性传播感染进行检测的诊所咨询作为发展数据集(培训和测试数据集)。我们还使用了2个外部验证数据集,包括2019年的数据作为外部“验证数据1”,2020年1月和2021年1月的数据作为外部“验证数据2”。我们开发了34个机器学习模型来评估感染艾滋病毒、梅毒、淋病和衣原体的风险。我们创建了一个在线工具来计算个人感染艾滋病毒或性传播感染的风险。

结果

艾滋病毒和性传播感染风险的重要预测因素是性别、年龄、报告与男性发生性行为的男性、随意性伴侣数量和避孕套的使用情况。我们的基于机器学习的风险预测工具名为MySTIRisk,在测试数据集上的表现处于可接受或优秀水平(HIV的曲线下面积[AUC] =0.78;梅毒的AUC =0.84;淋病的AUC =0.78;衣原体的AUC =0.70),并在2019年的两个外部验证数据上表现稳定(艾滋病毒的AUC =0.79;梅毒的AUC =0.85;淋病的AUC =0.81;衣原体的AUC =0.69)和2020-2021年的数据(艾滋病毒的AUC =0.71;梅毒的AUC =0.84;淋病的AUC =0.79; AUC for chlamydia=0.69).

结论

我们的基于网络的风险预测工具可以通过简单的自我报告问题准确预测门诊参与者感染HIV和性传播感染的风险。MySTIRisk可以在诊所网站或数字卫生平台上作为艾滋病毒和性传播感染筛查工具,鼓励有艾滋病毒或性传播感染风险的个人进行检测或开始艾滋病毒接触前预防。公众可以使用这个工具来评估他们的风险,然后决定是否去诊所进行检测。临床医生或公共卫生工作者可以使用该工具确定高危人群,以便进行进一步干预。

艾滋病毒 性传播感染 梅毒 淋病 衣原体 性健康 性传播 性传播 预测 基于网络的 风险评估 机器学习 模型 算法 预测 风险 发展 验证
简介

艾滋病毒和性传播感染是全球主要的公共卫生问题[ 1 2].世界卫生组织(世卫组织)估计,全世界15岁至49岁的人群中每天发生100多万例可治愈的性传播感染[ 3.].据估计,截至2020年底,澳大利亚已有29,090人感染艾滋病毒,15岁以上人群的艾滋病毒感染率为0.14% [ 4].据估计,2020年澳大利亚所有艾滋病毒感染者中未确诊的艾滋病毒感染率约为9% [ 4].淋病、衣原体和早期梅毒可无症状。2013年至2017年期间,澳大利亚的性传播感染大幅增加。衣原体性传播感染的检出率男性从302.2/10万增加到394.9/10万,女性从430.7/10万增加到441.8/10万,淋病的检出率男性从91.1/10万增加到174.2/10万,女性从39.6/10万增加到61.8/10万,梅毒的检出率男性从12.3/10万增加到31.1/10万,女性从1.4/10万增加到5.5/10万[ 5].此外,性传播感染在有限收入国家造成巨大的卫生和经济负担[ 6].

为应对性传播感染比率的上升,世卫组织提出了《2016-2021年全球卫生部门性传播感染战略》,旨在到2030年结束性传播感染流行病这一公共卫生问题。具体包括将全球淋病发病率较2018年全球基线降低90%,在80%的国家实现每10万活产≤50例先天性梅毒病例[ 7].2018年,联合国提出了《2030年可持续发展议程》,呼吁到2030年结束艾滋病疫情[ 8].有效控制这些感染的关键是可获得的卫生保健,特别是频繁的检测,因为治疗过的感染会迅速变得无传染性[ 2].筛查无症状感染者对艾滋病毒和性传播感染的诊断、治疗、预防和控制十分重要[ 9].检测的障碍包括对个人艾滋病毒和性传播感染风险的错误判断、检测的可获得性有限以及检测成本高[ 10].因此,开发创新工具将帮助个人准确判断自己感染艾滋病毒和性传播感染的风险,从而增加对高危人群的筛查。

一种易于获取和用户友好的工具,可以准确识别个人的感染风险,成为基于网络的风险预测程序的一部分,并在风险预测和个性化风险管理中发挥作用[ 11].向公众提供风险预测工具,帮助他们估计艾滋病毒和性传播感染的风险,可能会鼓励高危人群更定期地进行检测。此前的一项研究表明,风险认知的增加与更多的性传播感染卫生保健使用(如检测)有关[ 12].艾滋病毒和性传播感染风险预测工具可能提高风险认识,并激励个人寻求艾滋病毒和性传播感染检测或治疗。另一项回顾研究表明,基于网络的筛查应用程序可以有效提高普通人群对健康筛查的接受程度[ 13].然而,目前还没有一种基于网络的工具可以通过自我报告的问题向用户提供个人当前感染艾滋病毒和性传播感染(淋病、衣原体和梅毒)的定量风险。

许多数学技术可以用来计算个人感染艾滋病毒和性传播感染的风险。逻辑回归在复杂大数据的预测分析中存在局限性。逻辑回归方法需要很强的假设,并且不容易处理非线性关系、相互作用和多重共线性[ 14 15].相比之下,非线性机器学习方法可以解决这些限制,并在使用大数据进行预测分析时具有许多优势(例如,捕捉非线性关系和相互作用)[ 16].机器学习还可以高精度地识别罕见的健康结果[ 17].集成学习也是一种机器学习方法,它结合多种机器学习算法来提高模型的性能[ 18].

尽管机器学习方法具有优势,但目前还缺乏使用机器学习模型对艾滋病毒和性传播感染风险进行个人风险预测的工具。现有的使用机器学习算法预测艾滋病毒和性传播感染的研究主要集中在艾滋病毒[ 19- 30.,很少有人关注性传播感染[ 19 21 31].在这些HIV预测研究中,有4项研究关注高危人群(如男男性行为者[MSM]) [ 20. 21 24 29]), 2项研究使用了影像学或临床文本数据[ 22 30., 4项研究使用了40多个预测因子[ 23 26- 28],两项研究评估了未来而非当前的艾滋病毒预测[ 19 25].在STI预测研究中,1项研究采用MSM [ 21],另外两项研究聚焦于未来STI的预测[ 19 31].这些研究还发现,非线性机器学习模型(如随机森林[RF]、梯度助推机[GBM]和神经网络)在HIV和STI预测方面比逻辑回归表现得更好[ 19 21 24 31].这些已发表的研究突出了机器学习模型的缺乏,这些模型使用简单的自我报告问题,预测艾滋病毒和性传播感染的风险,并可同时用于男性和女性。因此,为了解决目前缺乏预测性传播感染和艾滋病毒风险的研究,特别是在低风险异性恋人群中,我们旨在使用堆叠集成学习框架和自我报告问题来预测男性和女性中的艾滋病毒和3种常见的性传播感染(淋病、衣原体和梅毒),以及后续的基于网络的艾滋病毒和性传播感染风险预测工具。

方法 研究人群

墨尔本性健康中心(MSHC)是澳大利亚维多利亚州最大的公共性健康中心,提供免费的艾滋病毒和性传播感染检测和管理服务[ 32].在MSHC,每次访问的个人的人口统计信息和性行为都被记录在计算机辅助自我访谈(CASI)中,至少间隔3个月[ 33].我们使用来自MSHC电子健康记录(EHR)的临床咨询数据来开发和验证风险预测模型。我们选择2015年3月2日作为启动日期,因为这一天我们采用了一种新的淋病和衣原体检测平台(Aptima Combo, Hologic, Marlborough, MA)。我们的研究数据包括18岁及以上的男性和女性,他们在2015年3月2日至2021年1月29日期间在母婴健康中心接受了艾滋病毒或性传播感染检测。我们排除了跨性别者和18岁以下的人。

我们使用从2015年3月2日到2018年12月31日的数据作为开发数据集(培训和测试数据集)。艾滋病毒研究数据集包括培训和检测数据(88,642次咨询)。梅毒、淋病和衣原体研究数据集分别有92,291、97,473和115,845次咨询。

我们使用时间验证作为外部验证来评估我们的风险预测模型的可移植性和泛化性。COVID-19的流行可能已经潜在地改变了参加母婴健康中心的人口统计数据[ 34].我们进行了两次时间验证,以进一步验证我们的模型,并减少COVID-19可能造成的偏差。这两个外部验证数据集包括2019年的数据作为外部“验证数据1”,以及2020年1月和2021年1月的数据作为外部“验证数据2”。对于HIV,第一个外部验证数据集包含28,875个咨询,第二个外部验证数据集包含18,052个咨询。对于梅毒,第一个外部验证数据集包含30302例会诊,第二个外部验证数据集包含19150例会诊。对于淋病,第一个外部验证数据集包含36,805次会诊,第二个外部验证数据集包含22,886次会诊。对于衣原体,第一个外部验证数据集包含36,393个会诊,第二个外部验证数据集包含22,615个会诊。

伦理批准

澳大利亚墨尔本阿尔弗雷德医院伦理委员会(项目编号:124/18)批准了该项目的伦理审批。所有方法均遵循阿尔弗雷德医院伦理委员会的相关指导方针和规定进行。由于这是一项回顾性研究,对研究参与者的隐私风险最小,Alfred医院伦理委员会放弃了知情同意的要求。在任何计算分析之前,研究参与者的所有识别细节都被删除。

预测

我们选择的数据字段作为预测因素是根据文献综述、专家意见和之前的工作[ 21].预测因素来自EHR的自我报告问题,包括人口统计、性行为、性传播感染史和性传播感染接触史(总结在 表1表S1-S5 多媒体附件1).

培训与测试数据集的临床会诊特征。

变量 艾滋病毒(n=88,642次咨询) 梅毒(n=92,291例) 淋病(n=97,473例咨询) 衣原体(n= 115845人次)
性别,n (%)
26651 (30.1) 27134 (29.4) 31282 (32.1) 38548 (33.3)
男性 61991 (69.9) 65157 (70.6) 66191 (67.9) 77297 (66.7)
就诊年龄(年),中位数(IQR) 29.0 (24.0 - -35.0) 29.0 (25.0 - -35.0) 28.0 (24.0 - -35.0) 28.0 (24.0 - -34.0)
出生国,n (%)
澳大利亚 39148 (44.2) 40990 (44.4) 43881 (45.0) 51162 (44.2)
海外 46003 (51.9) 47670 (51.7) 49835 (51.1) 60272 (52.0)
失踪 3491 (3.9) 3631 (3.9) 3757 (3.9) 4411 (3.8)
STI一个症状,n (%)
没有 56175 (63.4) 57413 (62.2) 54595 (56.0) 68584 (59.2)
是的 25067 (28.3) 27150 (29.4) 34751 (35.7) 38930 (33.6)
失踪 7383 (8.3) 7728 (8.4) 8127 (8.3) 8331 (7.2)
与男性发生性关系的男性,n (%)
不适用(女性) 26651 (30.1) 27134 (29.4) 31282 (32.1) 38548 (33.3)
没有 16508 (18.6) 17089 (18.5) 15245 (15.6) 26975 (23.3)
是的 45483 (51.3) 48068 (52.1) 50946 (52.3) 50322 (43.4)

一个性传播感染

测量结果

将HIV感染定义为基于血清学的HIV新诊断。梅毒感染定义为通过血液检测或核酸扩增试验(NAAT)新诊断的早期梅毒(原发性、继发性和早期潜伏[<2年])。淋病感染被定义为在任何解剖部位使用培养或NAAT的淋病新诊断。在临床中,淋病检测最初是用NAAT进行的,在NAAT阳性后大多使用培养。衣原体感染被定义为在任何解剖部位使用NAAT的新诊断。我们以前的出版物详细报道了诊断方法[ 19 21].

风险评估模型开发

我们开发了34个机器学习模型来评估感染HIV、梅毒、淋病和衣原体的风险 图1).

机器学习算法的发展。梯度增压机的结构改编自Feng等[ 35].LASSO:最小绝对收缩和选择算子。

基础的学习者

逻辑回归已被广泛用于预测性传播感染和艾滋病的风险[ 36 37].GBM采用基于决策树的boosting方法,通过调整参数使损失函数最小,确定误差最小的最优点[ 38].射频包括一个决策树集合,使用自举聚合和预测因子的随机化,以实现高度的预测准确性[ 39].朴素贝叶斯(NB)方法简单,在大型数据库中具有较高的准确率和速度,已广泛应用于疾病分类[ 40].深度学习(DL)有效地解决了许多医疗问题,并利用人工神经网络的分层层次来执行分类过程[ 41].

首先建立了4个回归模型,包括逻辑回归、岭回归、最小绝对收缩和选择算子(LASSO)回归和弹性净回归(ENR)。根据4个回归分析的初步结果,我们发现ENR优于其他3个回归分析(详见 多媒体附件1).考虑到我们之前在MSM中的机器学习研究[ 21]和NB的优点(例如,在大型数据库中具有较高的准确性和速度),我们开发了5个基础模型,包括前面提到的ENR, NB, DL(神经网络),RF和GBM。

堆叠集成学习

叠加集成学习是一种基于2个(或更多)之前机器学习模型的组合预测训练新模型的集成学习方法。堆叠集成学习通常比单个机器学习技术表现得更好[ 42].我们将上述5个基础模型结合起来,系统地建立了26个集成学习模型,以提高对HIV和sti的预测性能。详情载于 多媒体附件1(见表S6)。

机器学习训练技术

我们的模型使用单热编码方案进行数据分类。我们没有对缺失的数据进行插值,而是创建了一个二元特征向量来指示缺失的值。考虑到4例感染均<10%,数据被认为是“不平衡的”。不平衡的数据可能导致预测结果过拟合或表现不佳[ 43].我们使用5 × 10(5外折,10内折)嵌套交叉验证(CV)进行模型选择和训练[ 21 44].外部5倍CV用于解决使用单一数据集引起的选择偏差。对训练数据集使用内10倍CV进行机器学习模型的超参数调优。我们用曲线下面积(AUC)来选择最佳模型。AUC在0.7 - 0.8之间被认为是可接受的,0.8 - 0.9被认为是优秀的,>0.9被认为是优秀的[ 45].机器学习模型是用软件包(版本3.32.1.2)在R软件(3.6.1和R studio 1.2.5019)。

估计艾滋病毒和性传播感染的风险

我们的机器学习模型以0到1之间的归一化分布预测了艾滋病毒或性传播感染的概率。模型预测的概率根据艾滋病毒和性传播感染的实际流行水平进行校准。我们使用逻辑函数为每个模型预测的概率和感染患病率提供一个拟合曲线。我们将估计的感染流行率作为感染的“校准风险”,并在风险报告中给出。我们使用MATLAB R2019a (MathWorks, Natick, MA)将模型预测概率校准到实际患病率水平。该方法在我们之前的论文[ 19].我们将艾滋病毒或性传播感染的校正风险分为3个风险级别:艾滋病毒(低,<0.1%;中,0.1% - -1.0%;高,>1.0%)、梅毒(低,<0.2%;中,0.2% - -5.0%;高,>5.0%),淋病(低,<0.1%;中,0.1% - -1.0%;高,≥1.0%)和衣原体(低,<2.0%;中,2.0% - -15.0%;而高,>15.0%)。

建立HIV和STI风险预测工具

为了研究预测因子的效果,我们使用最佳基础机器学习模型来计算艾滋病毒、梅毒、淋病和衣原体感染的变量重要性。我们确定并选择了占每种感染总体模型性能80.0%以上的预测因子。我们基于这些预测指标重新训练、重新测试和重新验证了最佳性能模型。我们比较了AUC、敏感性和特异性,以重新评估模型性能与候选预测指标。我们还使用AUC来评估最佳机器学习模型在预测器入围前后的性能变化 多媒体附件1).我们汇集了重要的预测因素,形成了一份新的调查问卷,开发了一个基于网络的艾滋病毒和性传播感染风险预测工具。

结果 研究数据的特点

我们的培训和测试数据包括216例(88,642会诊中的0.2%)HIV感染,787例(92,291会诊中的1.9%)梅毒感染,7581例(97,473会诊中的7.8%)淋病感染,10217例(115,845会诊中的8.8%)衣原体感染。4个感染数据集中男性的比例分别在66.7%(77297 / 115845)和70.6%(65157 / 92291)之间。详情载于 表1和表S1 多媒体附件1.外部验证数据的特征如表S2-S5所示 多媒体附件1

HIV和STI风险预测工具的最佳ML模型选择

我们的研究结果表明,集成学习模型比单独的机器学习模型表现得更好。在所有34个模型中,我们的最佳模型(集合ENR+GBM+RF)在预测HIV (AUC=0.78)、梅毒(AUC=0.84)、淋病(AUC=0.78)和衣原体(AUC=0.70)的测试数据上提供了可接受或优异的性能;图S1-S3中的 多媒体附件1).测试数据分析的详细信息见表S7-S22 多媒体附件1.我们的外部验证结果显示auc(0.69-0.85)与测试数据分析非常相似。外部验证分析的详细信息见表S7-S22 多媒体附件1

为艾滋病毒和性传播感染风险预测工具选择最重要的预测因素

4种感染的前10个预测因子占艾滋病毒和性传播感染模型总体表现的80.0%。这些预测因素包括性别、出现性病症状,男男同性恋者,年龄、出生地、做爱和一个男人在过去12个月里,随意的男性的性伴侣的数量在过去的12个月里,避孕套的使用与男性合作伙伴在过去12个月中,休闲女性性伴侣的数量在过去的12个月里,药物注射在过去12个月,海外性在过去12个月,过去淋病感染,过去的非特异性尿道炎感染、梅毒感染,接触淋病病例、接触衣原体病例和接触梅毒病例( 图2).我们形成了最终的HIV和STI风险预测问卷,列出了每种感染的前10个预测因素。

使用梯度增强机对(a) HIV、(B)梅毒、(C)淋病和(D)衣原体进行检测,预测HIV或性传播感染(sti)的前10个预测因子的重要性。

HIV和STI风险预测工具MySTIRisk的建立和评估

在选择最重要的预测因子和最佳模型(集成ENR+GBM+RF)的基础上,构建了HIV和STI风险预测工具 MySTIRisk.我们检查了 MySTIRisk并在测试中证明其性能是可接受的或优秀的(HIV的AUC =0.78;梅毒的AUC =0.84;淋病的AUC =0.78;衣原体的AUC =0.70),与基于预测因子的原始模型相似。我们的风险预测工具在2019年的外部验证数据上取得了稳定的性能(HIV的AUC =0.79;梅毒的AUC =0.85;淋病的AUC =0.81;衣原体的AUC =0.69)。我们的风险预测工具在2020-2021年的外部验证数据上也取得了稳定的性能(HIV的AUC =0.71;梅毒的AUC =0.84; AUC for gonorrhea=0.79; AUC for chlamydia=0.69; 图3表S23-S26 多媒体附件1).使用选定的预测器,我们的风险预测工具显示了使用所有预测器的最佳机器学习模型的可比auc(表S27) 多媒体附件1).

HIV和性传播感染(STI)风险预测工具的受试者工作特征曲线表现(A) 2015-2018年检测数据分析,(B) 2019年外部数据验证分析,(C) 2020-2021年外部数据验证分析。AUC:曲线下的面积。

为了估计艾滋病毒或性传播感染的风险,我们使用逻辑函数对数据进行拟合,为每个模型预测的概率和感染流行率提供一个拟合曲线(图S4-S7) 多媒体附件1).然后,该工具的原型版本由R Shiny [ 46 47]以允许个人输入和计算艾滋病毒和性传播感染风险。该工具的原型版本可在网上找到[ 48].该工具的图形用户界面元素总结在 图4.web应用程序收集个体特征,处理收集的特征,加载经过训练的机器学习模型,计算定量的艾滋病毒和性传播感染风险,并显示风险的结果和建议。该web应用程序的输入使用了之前成功的网站或CASI内部问卷(每年6万个条目)设计,这些问卷在MSHC运行,并使用了个人特征数据,包括人口统计、性行为、性传播感染史和性传播感染接触史。该网络应用程序的输出包括艾滋病毒和性传播感染的风险预测结果和建议,这些建议是与墨尔本大学的Jon Emery教授协商开发的,Jon Emery教授是风险沟通方面的专家(见致谢部分)。我们承认这是一个原型,将进行进一步的开发,以优化输出,实现准确的风险沟通。

图形用户界面元素的艾滋病毒和性传播感染(STI)风险预测工具,称为MySTIRisk。该工具的原型版本可在[ 48].机器学习算法被用来预测一个人感染衣原体、淋病、梅毒和艾滋病的风险。

以下是艾滋病毒和性传播感染风险预测结果的例子:

你的艾滋病风险约为2/1000。像我这样的1000个人中,有2个人会感染HIV。998人不会感染艾滋病毒。

你的梅毒风险是10/1000。像我这样的1000个人中,有10个人会得梅毒。990人不会得梅毒。

淋病风险约为30/1000。像我这样的1000个人中,有30人会得淋病。970人不会得淋病。

你感染衣原体的风险是50/1000。像我这样的1000个人中,有50人会感染衣原体。950人不会感染衣原体。

下面的例子描述了测试建议:

检测的好处:预防所有并发症,防止在不知情的情况下将感染传播给他人。

不检测的后果:感染引起的并发症,如不孕症(未治疗的衣原体)、慢性疼痛(未治疗的衣原体)、听力丧失(未治疗的梅毒)和癌症(未治疗的艾滋病毒)。

讨论 主要研究结果

这是第一个基于网络的基于机器学习算法和自我报告数据的风险预测工具,可以准确识别男性和女性的艾滋病毒、梅毒、淋病和衣原体感染,并在外部验证中稳定。我们的研究结果表明,机器学习算法可以预测诊所参与者的艾滋病和性传播感染。我们的结果还表明,堆叠集成学习算法在预测艾滋病毒和性传播感染方面比单个机器学习模型表现得更好。然后我们开发了一个基于网络的应用程序,为HIV和3种性传播感染的阳性诊断风险提供即时和个性化的评估。我们的应用程序可以成为诊所网站或数字健康平台的一部分,以识别艾滋病毒和性传播感染风险较高的个人,或潜在的艾滋病毒暴露前预防(PrEP)候选者。在其他国家进行进一步的验证研究可以评估这一风险预测工具的有用性,它有助于减少艾滋病毒和性传播感染发病率以及艾滋病毒和性传播感染筛查的成本,筛查需要昂贵的设备和专门知识。

与之前工作的比较

我们的结果表明,非线性机器学习算法在预测男性和女性的HIV和性传播感染方面比传统的逻辑回归提供了更好的性能。我们的发现与之前的HIV和性病机器学习预测模型的结果一致[ 19 21 24 31].包等人[ 21]表明,在MSM中,GBM模型比逻辑回归表现得更好。我们的研究表明,即使在没有集成学习的情况下,非线性机器学习模型(如GBM、RF)也能提供比传统逻辑回归更好的性能。

我们的结果表明,堆叠集成机器学习技术优于单个机器学习模型。我们系统地开发和测试了34个机器学习模型,发现堆叠集成学习技术优于单个机器学习模型[ 18].以前的研究使用集成学习模型来预测个人的艾滋病毒风险[ 19 25];然而,还没有研究使用集成学习模型来观察淋病、衣原体或梅毒的风险。我们唯一能确定的研究是预测了通过整体学习复发性传播感染的风险。长者等人[ 31]表明,在随访的730天内,对于2例或2例以上的重复性传播感染,综合模型比单独分类器表现更好(AUC=0.76)。我们的结果发现,堆叠集成技术也可以用于提高艾滋病毒预测的性能。我们的HIV综合模型的AUC (AUC=0.78, 95% CI 0.74-0.83)高于在肯尼亚和乌干达进行的类似HIV风险预测研究(AUC=0.73, 95% CI 0.71-0.76) [ 25].我们还发现,更独立的机器学习模型的组合不一定会导致更好的堆叠集成模型。例如,在我们的研究中,梅毒4个模型的堆叠集成学习并不高于3个模型的堆叠集成学习。我们还发现,性能更好的堆叠集成模型总是包含GBM。我们的堆叠集成学习策略的发现可能会对未来的堆叠集成学习框架产生影响。

我们的模型与以前预测艾滋病毒和性传播感染的机器学习模型相比有几个优点。首先,我们的预测模型并不局限于高危人群(如MSM)。艾滋病毒和性传播感染风险预测模型以前也有发表,但主要针对高危人群,如男同性恋者[ 20. 21 24 29].我们的模型可以预测男性和女性的艾滋病毒和性传播感染,包括同性恋和异性恋个体。其次,我们的预测模型只使用自我报告和简单的问题来开发模型。之前发表的研究在模型中使用了大量的预测因子[ 23 26- 28].三是系统开发26个集成模型。在我们的研究中,我们测试了5个基本模型的所有可能组合。我们研究的最后一个优点是,我们对每个模型进行了2个外部验证分析。

我们无法找到任何基于网络的、公开可用的工具来量化STI风险。我们确定了一些可用的基于网络的艾滋病毒预测工具,例如"艾滋病毒风险预测工具" [ 49]、“爱滋病病毒/爱滋病风险计算器”[ 50]及“网上风险评估”[ 51].我们还确定了一些可用的基于网络的性传播疾病预测工具,如“了解你是否需要进行性传播疾病检测”[ 52]、“性传播感染在线测试”[ 53,以及“参加免费测试”[ 54].这些艾滋病毒和性传播感染预测工具只提供主观术语,如“高风险”或“建议您进行艾滋病毒/性传播感染检测”。我们的风险预测工具可以量化艾滋病毒和性传播感染的风险。此外,我们基于人工智能(AI)的风险预测工具可以同时为18岁及以上的男性和女性提供艾滋病毒和3种常见性传播感染(淋病、衣原体和梅毒)的风险评分。

影响

我们的基于网络的艾滋病毒和性传播感染风险预测工具可作为筛查工具,潜在地增加艾滋病毒和性传播感染检测,并鼓励获得检测和保健服务(见图S8) 多媒体附件1).该工具可以在诊所网站上使用,这样公众就可以评估自己的风险,然后决定是否去诊所进行检测。如果诊所的需求太大,无法看到所有就诊的人,它也可以在诊所内用于识别和分类那些艾滋病毒和性传播感染风险较高的人。然而,基于人工智能的风险预测工具不能在临床环境中取代正式的艾滋病毒和性传播感染检测和治疗,但它可以让个人了解自己的风险,并增加检测的接受程度。我们的工具可以提高人们对感染的风险认识和关注,从而增加艾滋病毒和性传播感染的检测。一项针对英国人口的研究表明,风险认知的增加与更多的性传播感染卫生保健使用有关[ 12].我们基于人工智能的风险预测工具在其他国家或地区(如低收入和中等收入国家)得到进一步的外部验证,可能提供一个机会,通过更好地将检测重点放在高风险人群上,从而降低艾滋病毒和性传播感染筛查的成本[ 55].

我们的网络风险预测工具有很多可能的用途,包括作为行为干预的一部分来控制艾滋病毒和性传播感染,或帮助临床医生或公共卫生工作者识别高危人群进行风险管理或进一步干预。青少年健康风险行为就是一个例子。研究人员使用个人的风险行为评分和个性化反馈作为健康行为干预的一部分,包括营养行为、身体活动和睡眠[ 56].在本随机临床试验中,干预组青少年在3个月时的风险行为评分明显低于对照组[ 56].我们基于网络的风险预测工具也可以以同样的方式作为行为干预工具。

未来的工作将调查这一基于网络的艾滋病毒和性传播感染风险预测工具在收到风险预测结果和检测建议后对行为改变(即接受PrEP或推广避孕套)和性传播感染服务使用行为(及时就诊和接受艾滋病毒和性传播感染检测)的有效性。实施这一基于网络的艾滋病毒和性传播感染预测工具可能会鼓励有性传播感染症状的人或没有症状的高危人群前往卫生服务机构进行及时检测和定期检测。自2009年2月起,男同性恋者定期以短信提醒他们接受性传播感染检查[ 57].例如,在短信提醒信息中向高危人群(如男同性恋者)提供艾滋病毒和性传播感染的估计风险和降低风险的建议(即采用预防接种或推广避孕套)可能会鼓励检测和行为改变。

限制

这项研究有一定的局限性。首先,预测因素依赖于来自CASI系统的自我报告信息,这受参与者的回忆、无反应和社会期望偏差的影响。例如,拒绝报告男性伴侣数量的男同性恋者感染衣原体的风险更高[ 58].在CASI系统的有效性和准确性方面进行了大量工作[ 59].其次,机器学习模型可能存在过拟合的问题。我们使用重复CV来解决过拟合问题。我们还采用集成学习的方法来增强模型的泛化能力。第三,我们的模型对那些没有去诊所或其他国家或地区的人的普遍性是有限的,因为它来自单一的性健康服务。因此,如果在其他国家和地区使用,还需要进一步验证。最后,通过引入PrEP,艾滋病毒的风险在这段时间内发生了迅速变化,因此,鉴于这一单一预防策略的效力,未来的模型将需要包括这个问题。

结论

这是第一个基于网络的风险评估工具,使用机器学习算法和自我报告的数据来识别男性和女性的艾滋病毒、梅毒、淋病和衣原体。我们的在线风险预测工具可以通过简单的自填问卷准确预测临床参与者感染HIV和性传播感染的风险。我们的风险预测工具可以成为诊所网站或数字健康平台的一部分。公众可以使用这一风险预测工具评估其艾滋病毒和性传播感染风险,为检测提供信息。临床医生或公共卫生工作者可以使用这种风险预测工具来识别高危人群,以便进行进一步干预。

补充表格和图表。

缩写 人工智能

人工智能

AUC

曲线下面积

属于接近

计算机辅助的自我访谈系统

简历

交叉验证

戴斯。莱纳姆:

深度学习

电子健康档案

电子健康记录

弹性净回归

“绿带运动”

梯度增压机

套索

最小绝对收缩和选择算子

MSHC

墨尔本性健康中心

二甲基砜

和男人发生性关系的男人

NAAT

核酸扩增检测

朴素贝叶斯

准备

暴露前预防

射频

随机森林

RR

岭回归

STI

性传播感染

世界卫生组织

EC和JJO获得了澳大利亚国家卫生和医学研究委员会新兴领导研究者赠款(分别为GNT1172873和GNT1193955)的支持。CKF得到了澳大利亚国家卫生和医学研究委员会领导研究员赠款(GNT1172900)的支持。国家自然科学基金项目(批准号:81950410639);杰出青年学者资助计划(资助号:3111500001);西安交通大学基础研究与专业资助项目(资助号:xtr022019003, xzy032020032);流行病学建模与风险评估(批准号:20200344);西安交通大学青年学者资助基金(资助号:YX6J004)。作者想感谢墨尔本性健康中心(MSHC)的Afrizal Afrizal进行数据提取。作者感谢Glenda Fehler对数据清理的贡献。作者还想感谢墨尔本大学的Jon Emery对风险预测工具(例如, 图4).我们感谢MSHC的Mark Chung对筹备工作的协助 图4

XX、CKF和LZ构思并设计了该研究。XX整理数据,建立模型和编码,撰写初稿,编辑稿件。WL、EC、CKF和LZ对数据清理有贡献。XX、ZG、ZY、YB和LZ对模型的建立和编码都有贡献。JW和XX开发了基于web的应用程序。CKF和LZ为建立基于web的应用程序做出了贡献。EC、CKF和LZ对数据验证和监督做出了贡献。EC、YB、ZY、ZG、JJO、WL、CKF、LZ对数据的解释和稿件修改都有贡献。所有作者都对稿件的准备做出了贡献,并批准了最终稿件。

没有宣布。

Ramchandani 女士 先生 在预防和治疗作为预防的时代,应对不断上升的性传播感染 Curr艾滋病毒/艾滋病代表 2019 06 16 3. 244 256 10.1007 / s11904 - 019 - 00446 - 5 31183609 10.1007 / s11904 - 019 - 00446 - 5 PMC6582987 周润发 EPF Grulich AE Fairley CK 与有艾滋病毒风险的男性发生性行为的男性中的流行病学和性传播感染的预防 柳叶刀艾滋病毒 2019 06 6 6 e396 e405 10.1016 / s2352 - 3018 (19) 30043 - 8 31006612 s2352 - 3018 (19) 30043 - 8 2018年全球性传播感染监测报告 世界卫生组织 2018 2019-05-04 https://apps.who.int/iris/bitstream/handle/10665/277258/9789241565691-eng.pdf 澳大利亚艾滋病毒、病毒性肝炎和性传播感染情况 科尔比学院 2021 2022-04-06 https://kirby.unsw.edu.au/sites/default/files/kirby/report/Annual-Suveillance-Report-2021_HIV.pdf 澳大利亚的艾滋病毒、病毒性肝炎和性传播感染:2018年年度监测报告 科尔比学院 2018 2019-05-08 https://kirby.unsw.edu.au/report/hiv-viral-hepatitis-and-sexually-transmissible-infections-australia-annual-surveillance Mayaud P 梅比 D 在发展中国家控制性传播感染的方法:老问题和现代挑战 性传播感染 2004 06 01 80 3. 174 82 10.1136 / sti.2002.004101 15169997 PMC1744836 2016-2021年全球卫生部门性传播感染战略 世界卫生组织 2016 10 03 2021-04-13 https://www.who.int/publications/i/item/WHO-RHR-16.09 联合国艾滋病规划署2018年数据 联合国艾滋病规划署 2018 2021-07-12 https://www.unaids.org/sites/default/files/media_asset/unaids-data-2018_en.pdf 莱维 某人 Gunta J Edemekong P 性传播疾病筛查 整洁的护理 2019 03 46 1 157 173 10.1016 / j.pop.2018.10.013 30704656 s0095 - 4543 (18) 30101 - 5 Vermund 上海 威尔逊 厘米 艾滋病毒检测的障碍——下一步在哪里? 《柳叶刀》 2002 10 360 9341 1186 1187 10.1016 / s0140 - 6736 (02) 11291 - 8 柯林斯 即时通讯 Bickerstaffe 一个 Ranaweera T Maddumarachchi 年代 基奥计划 l 金刚砂 J 曼恩 GB Butow P Weideman P E 教练 一个 Bressel 料斗 莱托 Cuzick J 安东尼奥由于 交流 菲利普斯 K iPrevent®:为乳腺癌风险评估和管理量身定制的、基于web的决策支持工具 乳腺癌治疗 2016 02 156 1 171 82 10.1007 / s10549 - 016 - 3726 - y 26909793 10.1007 / s10549 - 016 - 3726 - y PMC4788692 克利夫顿 年代 美世 CH Sonnenberg镇上 P Tanton C NgydF4y2Ba Gravningen K 休斯 G 宾州 F 约翰逊 英国人口中的性传播感染风险认知及其与性行为和性传播感染保健使用的关系:来自横断面调查的发现(nat萨尔-3) EClinicalMedicine 2018 08 2 - 3 29 36 10.1016 / j.eclinm.2018.08.001 30320305 s2589 - 5370 (18) 30021 - x PMC6180228 Ooi认为 CY Ng CJ 销售 AE Lim 基于web的应用程序筛选的实现策略:范围审查 J医学网络杂志 2020 07 20. 22 7 e15591 10.2196/15591 32706655 v22i7e15591 PMC7400029 Eftekhar B 默罕默德 K Ardebili Ghodsi Ketabchi E 基于初步临床资料的脑外伤死亡率预测的人工神经网络和逻辑回归模型的比较 BMC Med通知Decis Mak 2005 02 15 5 3. 10.1186 / 1472-6947-5-3 15713231 1472-6947-5-3 PMC551612 Rajula 高铁 Verlato G 餐具 公诉 NgydF4y2Ba 法诺 V 传统统计方法与机器学习在医学中的比较:诊断、药物开发和治疗 药物(考纳斯) 2020 09 08 56 9 1 10.3390 / medicina56090455 32911665 medicina56090455 PMC7560135 Bzdok D 奥特曼 NgydF4y2Ba Krzywinski 统计与机器学习 Nat方法 2018 04 3. 15 4 233 234 10.1038 / nmeth.4642 30100822 PMC6082636 Garg R 越南盾 年代 沙阿 年代 Jonnalagadda 年代 一种从电子健康记录中识别罕见疾病患者的bootstrap机器学习方法 arXiv 2016 09 06 1 8 拉莎 加拿大广播公司 Jeeva SC 提高基于集成分类技术的心脏病风险预测精度 医学信息学开启 2019 16 100203 10.1016 / j.imu.2019.100203 X 通用电气 Z 周润发 EPF Z D J JJ Fairley CK l 一种基于机器学习的风险预测工具,用于未来12个月获得艾滋病毒和性传播感染 美国临床医学杂志 2022 03 25 11 7 1818 10.3390 / jcm11071818 35407428 jcm11071818 PMC8999359 越南盾 Y 年代 D C X H R Y 越南盾 J F Y Y 中国MSM人群HIV感染风险预测模型的有效性和稳定性 国际环境保留区公共卫生 2022 01 17 19 2 1010 10.3390 / ijerph19021010 35055826 ijerph19021010 PMC8776241 Y Medland NA Fairley CK J X 周润发 EPF X 通用电气 Z 壮族 X l 利用机器学习方法预测男男性行为者中HIV和性传播感染的诊断 J感染 2021 01 82 1 48 59 10.1016 / j.jinf.2020.11.007 33189772 s0163 - 4453 (20) 30702 - 7 Turbe V Herbst C Mngomezulu T Meshkinfamfard 年代 Dlamini NgydF4y2Ba Mhlongo T Smit T Cherepanova V K 巴德 J Arsenov NgydF4y2Ba 灰色的 年代 皮莱 D Herbst K Shahmanesh McKendry 类风湿性关节炎 HIV现场快速检测的深度学习 Nat地中海 2021 07 27 7 1165 1170 10.1038 / s41591 - 021 - 01384 - 9 34140702 10.1038 / s41591 - 021 - 01384 - 9 PMC7611654 Duthe J Bouzille G E Chazard E Arvieux C Cuggia 如何识别潜在的HIV暴露前预防候选者:重用现实世界医院数据的人工智能算法 种马健康技术通知 2021 05 27 281 714 718 10.3233 / SHTI210265 34042669 SHTI210265 Y 藤本 K F 德尔维奇奥 NgydF4y2Ba 施耐德 J D C 识别社会网络中有影响力的邻居和年轻MSM的场所从属关系:预测HIV感染的数据科学方法 艾滋病 2021 05 01 35 增刊1 S65车型 S73 10.1097 / QAD.0000000000002784 33306549 00002030-202105011-00007 PMC8058230 鲍尔泽 Havlir DV Kamya 先生 蓬勃发展 G Charlebois 艾德 克拉克 道明 高斯 CA Kwarisiima D Ayieko J NgydF4y2Ba Kabami J Atukunda 耆那教徒的 V Camlin CS 科恩 CR Bukusi EA 范德朗 彼得森 毫升 在肯尼亚和乌干达的农村地区,通过机器学习识别人体免疫缺陷病毒获得的高危人群 临床感染病 2020 12 03 71 9 2326 2333 10.1093 / cid / ciz1096 31697383 5614347 PMC7904068 格鲁伯 年代 克拉科夫 D Menchaca J K Hawrusik R 马络 J Cocoros 纳米 克鲁斯卡尔 英航 威尔逊 IB 迈耶 KH Klompas 使用电子健康记录识别人体免疫缺陷病毒暴露前预防的候选者:当结果罕见时,超级学习在风险预测中的应用 地中海统计 2020 10 15 39 23 3059 3073 10.1002 / sim.8591 32578905 PMC7646998 马库斯 莱托 赫尔利 克拉科夫 DS Alexeeff 年代 西尔弗伯格 乔丹 沃尔克 使用电子健康记录数据和机器学习来确定艾滋病毒接触前预防的候选者:一项建模研究 《柳叶刀》艾滋病 2019 10 6 10 e688 e695 10.1016 / s2352 - 3018 (19) 30137 - 7 克拉科夫 DS 格鲁伯 年代 K Menchaca JT 马络 JC 克鲁斯卡尔 英航 威尔逊 IB 迈耶 KH Klompas 开发和验证一种自动艾滋病毒预测算法,以确定暴露前预防的候选者:一项建模研究 柳叶刀艾滋病毒 2019 10 6 10 e696 e704 10.1016 / s2352 - 3018 (19) 30139 - 0 31285182 s2352 - 3018 (19) 30139 - 0 PMC7522919 Y 藤本 K 施耐德 J Y D C 网络环境很重要:在社交网络上的图卷积网络模型提高了在与男性发生性关系的年轻男性中未知的艾滋病毒感染的检测 美国医学信息协会 2019 11 01 26 11 1263 1271 10.1093 /地点/ ocz070 31197365 5518586 PMC6798573 樵夫 DJ Zucker J 戈登 P Elhadad NgydF4y2Ba 使用临床记录和自然语言处理进行自动艾滋病毒风险评估 获得性免疫缺陷综合征 2018 02 01 77 2 160 166 10.1097 / QAI.0000000000001580 29084046 PMC5762388 人力资源 格鲁伯 年代 威利斯 SJ Cocoros NgydF4y2Ba 卡拉汉 电子战 Klompas 机器学习能帮助识别有复发性传播感染风险的患者吗? 性传播病 2021 01 48 1 56 62 10.1097 / OLQ.0000000000001264 32810028 00007435-202101000-00010 Vodstrcil Fairley CK 威廉姆森 布拉德肖 CS 我的 周润发 EPF 2012-2018年,与澳大利亚墨尔本一家大型性健康诊所就诊的男性发生性关系的男性对甲型肝炎具有免疫力 性传播感染 2020 06 96 4 265 270 10.1136 / sextrans - 2019 - 054327 32169881 sextrans - 2019 - 054327 美声 J 周润发 EPF 我的 布拉德肖 CS Fairley CK 2008-2015年在澳大利亚墨尔本性健康中心就诊的女性中淋病感染和海外性接触趋势 公共情报(2018) 2018 42 1 30626294 周润发 E 霍金 J J 菲利普斯 T Fairley C 在澳大利亚墨尔本针对COVID-19的全国封锁前后,性传播感染诊断和获得性健康服务 开放论坛感染病毒 2021 01 8 1 ofaa536 10.1093 / ofid / ofaa536 33506064 ofaa536 PMC7665697 J Y Y 古银 软梯度升压机 arXiv 2020 06 07 1 16 卡洛 阿拉德 R Bedard说 l J Buckeridge 戴斯。莱纳姆: 肠道疾病发作和未来获得性传播感染的风险:蒙特利尔居民的预测模型 美国医学信息协会 2016 11 23 6 1159 1165 10.1093 /地点/ ocw026 27026613 ocw026 权力 价格 莎乐 E Kamali 一个 Kilembe W 艾伦 年代 猎人 E Bekker l Lakhi 年代 Inambao Anzala O Latka MH 体育 吉尔摩 J 桑德斯 EJ 撒哈拉以南非洲地区新感染hiv -1的患者中持续高病毒血症的预测 《公共科学图书馆•综合》 2018 13 4 e0192785 10.1371 / journal.pone.0192785 29614069 玉米饼- d - 17 - 37617 PMC5882095 Na K 社区老年人未来认知障碍的预测:基于机器学习的方法 Sci代表 2019 03 04 9 1 3335 10.1038 / s41598 - 019 - 39478 - 7 30833698 10.1038 / s41598 - 019 - 39478 - 7 PMC6399248 Rigatti SJ 随机森林 日本医疗保险公司 2017 47 1 31 39 顾问公司10.17849 / insm - 47 - 01 - 31 - 39.1 28836909 Venkata拉 B 先生 国会议员 Venkateswarlu NgydF4y2Ba 肝脏疾病诊断的选择分类算法的关键研究 IJDMS 2011 05 31 3. 2 101 114 10.5121 / ijdms.2011.3207 张成泽 H K 深度学习在医疗数据分析中的应用 Arch Pharm保留区 2019 06 42 6 492 504 10.1007 / s12272 - 019 - 01162 - 9 31140082 10.1007 / s12272 - 019 - 01162 - 9 帕里 R Sandhya Sankar 年代 一种提高分类精度的多层堆叠集成算法 第一版。科学。英格 2020 7 1 22 4 74 85 10.1109 / mcse.2018.2873940 Menardi G Torelli NgydF4y2Ba 用不平衡数据训练和评估分类规则 数据最小知盘 2012 10 30. 28 1 92 122 10.1007 / s10618 - 012 - 0295 - 5 Shehzad 一个 罗克伍德 K 斯坦利 J 邓恩 T Howlett SE 使用痴呆严重程度分期在线症状跟踪工具中的患者报告症状:机器学习方法的开发和验证 J医学网络杂志 2020 11 11 22 11 e20840 10.2196/20840 33174853 v22i11e20840 PMC7688393 Mandrekar J 诊断试验评估中的受试者工作特征曲线 胸部肿瘤学杂志 2010 09 5 9 1315 1316 10.1097 / jto.0b013e3181ec173d Beeley C 使用闪亮的R进行Web应用开发:构建令人惊叹的图形和交互式数据可视化,以提供最前沿的分析 2016 英国伯明翰 包装出版有限公司 Gregorich Heinzel 一个 卡默 Meiselbach H 沼泽 C 的时候 K 迈耶 G 海因策 G 表层构造 R 2型糖尿病患者肾功能下降的预测模型:研究方案 Diagn Progn Res 2021 11 18 5 1 19 10.1186 / s41512 - 021 - 00107 - 5 34789343 10.1186 / s41512 - 021 - 00107 - 5 PMC8600780 MySTIRisk 2022-03-08 https://mystirisk.shinyapps.io/mystirisk 减少艾滋病毒风险工具 疾病控制和预防中心 2022-04-06 https://hivrisk.cdc.gov/risk-estimator-tool/#-sb HIV/艾滋病风险计算器 2022-04-06 https://www.medindia.net/patients/calculators/hiv-risk-calculator.asp 在线风险评估 https://aidsconcern.org.hk/en/testing-service/assess/ 弄清楚你是否需要做性病检查 https://stdwizard.com/#/home STI在线测试 https://www.getthefacts.health.wa.gov.au/online-sti-testing 参加免费测试 https://www.couldihaveit.com.au/Take-a-free-test Alami H 瑞瓦德 l Lehoux P 霍夫曼 SJ Cadeddu Savoldelli Samri Ag艾哈迈德 舰队 R 福丁 J 卫生保健中的人工智能:为低收入和中等收入国家负责任、可持续和包容性创新奠定基础 全球健康 2020 06 24 16 1 52 10.1186 / s12992 - 020 - 00584 - 1 32580741 10.1186 / s12992 - 020 - 00584 - 1 PMC7315549 理查森 LP C E Spielvogle H 泰勒 晶澳 马克卡迪 CA 在初级保健环境中,电子筛选与个性化反馈对青少年健康风险行为的影响:一项随机临床试验 JAMA网络开放 2019 05 03 2 5 e193581 10.1001 / jamanetworkopen.2019.3581 31074815 2733175 PMC6512281 H Fairley CK 的家伙 R Bilardi J 布拉德肖 CS 加兰 SM JK Afrizal 一个 我的 自动、计算机生成提醒,增加了对男男性行为者淋病、衣原体和梅毒的检测 《公共科学图书馆•综合》 2013 8 4 e61972 10.1371 / journal.pone.0061972 23613989 玉米饼- d - 12 - 29017 PMC3629129 周润发 E 卡林 J T 布拉德肖 C J Fairley CK 使用计算机辅助自我访谈拒绝报告性伴侣数量的相关因素:对澳大利亚墨尔本性健康中心的个人进行的一项横断面研究 性。健康 2018 15 4 350 10.1071 / sh18024 Fairley CK JK Vodstrcil 我的 性健康诊所的计算机辅助自我访谈 性传播病 2010 11 37 11 665 8 10.1097 / OLQ.0b013e3181f7d505 20975481 00007435-201011000-00001
Baidu
map