展望机器学习在儿科医学中的应用:混合方法研究

简介

随着电子健康记录的广泛采用，机器学习在临床环境中越来越受欢迎[1-3.]，结合数据存储和计算能力的提高[4］．在这种情况下，机器学习可以用于多种目的，包括:(1)促进诊断，如在病理学中[5，6]及放射学[7];(2)对风险分层的结果进行预测;以及(3)通过预测病人或服务的数量来提高资源利用[8］．然而，尽管人们最初对医疗保健领域的机器学习充满热情，但领域专家表示谨慎。9，10］．类似的信息技术解决方案通常未能实施或提供效用[11］．

影响效用的一个重要考虑因素是选择要实施机器学习模型的临床环境和问题[11］．机器学习模型的预测需要以一种有意义和可操作的方式来增强当前的方法，而不会带来过多的负担。仔细计划机器学习模型的实现是很重要的，因为模型部署的成本是相当大的。这些成本可能包括开发和维护机器学习模型所需的资源，对预期模型用户进行关于如何访问和解释模型预测的培训，以及帮助用户将结果付诸实践的支持[12，13］．

考虑到这些成本，确定哪些机器学习模型应该优先用于临床实践的系统方法可能是有价值的。在确定优先事项时，重要的是让计划部署的机构的主要利益相关者参与进来。我们选择调查2个儿科中心，一个在美国，有一个更成熟的生物医学信息学项目，一个在加拿大，有一个不太成熟的生物医学信息学项目，以深入了解经验和专业知识是否影响机器学习模型优先级的偏好。因此，主要目标是确定2家儿科机构的受访者在优先考虑机器学习模型实施时的医疗保健属性。第二个目标是用定性方法描述他们对机器学习模型实现的观点。

方法

研究设计与设置

这是一项混合方法研究，包括定量和定性成分。这些机构分别是加拿大安大略省多伦多市的病童医院(SickKids)和美国加利福尼亚州帕洛阿尔托市的露西尔·帕卡德儿童医院。

参与者

在调查分发时，我们包括SickKids和Lucile Packard儿童医院的卫生系统负责人、医生和数据科学家。我们排除了实习生。

程序

该调查是由研究团队根据受访者可能认为重要的医疗保健属性的印象制定的;以机器学习为重点的问题表示为多媒体附件1．潜在的参与者是通过组织的电子邮件列表确定的。定量调查通过电子邮件分发，参与者在REDCap完成调查[14］．调查要求受访者说明他们是卫生系统领导者、医生还是数据科学家;受访者可以指出多个类别。人口统计学变量包括临床专业(如适用)、培训完成后就业年限和性别。

然后，我们用李克特量表(Likert scale) 5分制询问他们对人工智能的了解程度，范围从1(完全不了解)到5(了解很多)。我们要求他们对如何构建和解释机器学习模型，以及如何进行和解释统计数据进行评估，使用5点李克特量表，范围从1(不理解)到5(完全理解)。我们询问他们是否有在其工作环境中实施人工智能计划的决策能力，以及在过去5年里他们的机构部署了多少机器学习模型。

下一部分要求受访者根据机器学习实施是否有用，对以下5个临床问题和实施后果属性进行排名:“要解决的临床问题是常见的”，“临床问题会导致大量的发病率或死亡率”，“风险分层将导致不同的临床行动，这些行动可以合理地改善患者的结果”，“实施该模型可以减少医生的工作量”，“实施该模型可以节省资金”。重要属性被定义为受访者认为最重要或第二重要的属性(排名为1或2)。然后，调查提出了两个开放式问题，重点是能够准确预测结果可能有用的临床领域，以及优先排序或重组等待名单可能有用的临床领域。最后，调查询问他们是否愿意参加定性访谈。

在定性方面，我们特意对受访者进行抽样，以最大限度地提高机构和对机器学习的自评理解的差异。半结构化访谈使用Zoom (Zoom Video Communications, Inc.)或Microsoft Teams进行，由SickKids团队(EP)的一名成员进行定性访谈。受访者被要求列出三种情况，其中机器学习模型的风险分层可能有用，然后说明哪一种情况是首先实施的最重要的，以及选择的理由。然后，他们被问及与目前的方法相比，使用机器学习模型进行风险分层的感觉如何，并描述他们对使用机器学习模型指导患者护理的担忧。采访被逐字记录下来。

分析

来自SickKids和Lucile Packard儿童医院的定量调查数据使用Fisher精确检验进行比较。使用RStudio 3.6.1版本在R (R Core Team)中进行分析[15，16］．

定性数据分析依据扎根理论方法论原则进行;数据收集和分析同时进行。定性成绩单由两名独立评审员(NA和EP)使用恒定比较法进行分析，以建立一个基于受访者个人经验和理解的机器学习观点的理论框架。采样继续进行，直到达到饱和，饱和被定义为数据中没有出现新的主题。

伦理批准

这项研究得到了SickKids研究伦理委员会的批准。露西尔·帕卡德儿童医院不需要机构审查委员会的批准，因为数据收集是由SickKids人员完成的。对于定量调查，完成调查被视为隐含同意参与研究。对于定性部分，受访者提供口头同意参与。

结果

这项定量调查于2021年11月1日至2022年1月6日在SickKids分发，并于2022年3月15日至2022年4月12日在Lucile Packard儿童医院分发。613名合格受访者中，275人(44.9%)做出了回应。图1显示参与者识别和选择流程图，包括达到饱和时参与定性访谈的人数。

表1介绍受访者的人口学特征;内科专科(P<.001)以及完成培训后的年限(P=.006)，差异有统计学意义。大多数受访者是医生(病童医院165/ 195,84.6%，露西尔帕卡德儿童医院73/ 80,91.3%)。有决策能力实施人工智能计划的受访者人数在SickKids为99/195(50.8%)，在Lucile Packard Children 's Hospital为41/80(51.3%)。大多数受访者不知道过去5年他们所在机构部署的机器学习模型的数量(SickKids为137/ 195,70.3%，Lucile Packard Children 's Hospital为53/ 80,66.3%)。

表2说明受访者对人工智能的自我认知以及对机器学习和统计学的理解。各机构在这些评分上没有统计学上的显著差异(人工智能知识，P= iseq指数;机器学习的发展和解释，P=标识;统计工作及解释，P= .19)。表示自己拥有“适度”或“大量”人工智能知识的受访者比例在SickKids为17.9%(35/195)，在Lucile Packard Children 's Hospital为17.5%(14/80)。多媒体附件2比较了那些自认为自己的人工智能知识高(在李克特5分制量表上得分为4或5分)和不高的受访者的特征。那些自我评价自己知识水平高的人明显更有可能是男性(P=.02)和非医生(P= .006)。在SickKids医院，表示“中等”或“完全”理解机器学习开发和解释的受访者比例为15.9%(31/195)，而在Lucile Packard儿童医院，这一比例为11.3%(9/80)。在这两个机构中，表示他们对机器学习理解“没有”或“很少”的比例为146/275(53.1%)。相反，表示自己“中等”或“完全”理解统计操作和解释的受访者比例在SickKids为54.4%(106/195)，在Lucile Packard儿童医院为42.5%(34/80)。在这两所大学中，表示自己对统计学理解“没有”或“很少”的比例为30/275(10.9%)。

‎ 查看此图

表3揭示了将每个属性列为机器学习模型优先级重要(在5个属性中排名第一或第二)的受访者的比例。在5个属性中的任何一个方面，各院校的比例均无显著差异(表3)．在两个站点中，最常见的重要属性是导致不同行动的风险分层(205/275,74.5%)和临床问题导致大量发病率或死亡率(177/275,64.4%)。被认为最不重要的属性是“实施模型可以减少医生工作量”(40/ 275,14.5%)和“实施模型可以节省资金”(13/ 275,4.7%)。两所院校的重要性得分中位数也显示在表3(越低越重要)。

表4显示定性访谈的主题和子主题。机器学习模型实施的好处包括促进复杂场景下的决策，支持经验不足的临床医生，减少认知负荷，减少认知偏见。还有人表示，机器学习模型可以通过标准化、更有效的分类和促进精准医疗来潜在地提高护理质量。最后，机器学习模型有可能减少医生的工作量。然而，机器学习模型实施的潜在挑战包括算法偏差、缺乏透明度和信任，以及未能纳入临床专业知识。机器学习模型的实施也可能对护理质量产生不利影响，受访者谈到了评估机器学习模型实施影响的必要性。对机器学习模型实施提出的实际担忧包括将模型纳入临床工作流程的挑战，以及在机器学习模型导向的行动导致不良结果时的问责制问题。最后，确定了医生角色的不确定性。当被要求优先考虑机器学习模型实施的一个临床场景时，选择实施哪个场景的理由始终与对患者结果的影响有关:“对孩子最有利”，“主要死亡原因”和“影响可能非常严重”。

多媒体举例说明从定量调查中确定的机器学习计划可以优先考虑的临床领域的例子。

讨论

在这项混合方法研究中，我们发现最常被列为机器学习模型实现的重要属性是风险分层，导致可以合理改善患者结果的不同行动，以及导致大量发病率或死亡率的临床问题。很少有受访者认为减少医生工作量和省钱很重要。我们还发现，尽管两家机构的生物医学信息项目建立水平不同，医疗保健体系不同，但重要属性相似。

机器学习模型实施的广泛推荐领域突出表明，考虑到开发、部署和监控机器学习模型的能力可能有限，即使在拥有成熟生物信息学项目的大型机构，也需要优先排序。这项研究很重要，因为它提供了一个框架，通过这个框架，机构领导人可以决定优先实施哪些机器学习模型。虽然我们发现改善患者结果的风险分层是最常见的重要属性，但其他考虑因素包括高风险和低风险标签所产生的行动，差异行动将改善结果的证据，以及确定风险分类的理想阈值。即使部署了模型，对模型性能的持续监测以及模型部署对患者护理和临床工作流程的影响也是实施后的额外考虑因素。

当我们评估不同受访者类型的属性重要性时，wear和Berg [11]之前讨论了决策者、机器学习解决方案的受益者和那些承担实施负担的人之间的复杂关系。他们指出，这些个体之间的不匹配可能导致失败。更具体地说，管理者往往是决策者和利益的接受者，而临床医生往往承担实施的负担[11］．在确定涉众类型的优先级过程中，需要预见和承认相互冲突的观点。

我们还发现，在这两个机构中，受访者对他们对统计学的理解有更大的信心，而对他们对机器学习的理解有相对较低的信心。尽管这两所机构的生物医学信息学项目的建立水平不同，但这些观点在两所机构之间没有差异。我们的研究结果表明，在儿科医学领域，在培训和继续教育期间需要更多专注于机器学习的教育。

我们的结果补充了其他人的工作，他们强调了临床决策支持的要求，包括那些基于机器学习的工作。需要考虑的重要事项包括:除了确保相关性、尊重和科学有效性之外，还需要避免黑箱、过多的时间要求和复杂性[17-19］．研究还表明，采用人工智能的障碍不仅限于临床医生，还包括父母[20.，21］．将我们的研究结果与儿科医学以外的研究进行比较也可能是有用的。我们发现，实施机器学习的主要预期好处是促进决策、提高护理质量和减少医生工作量。与我们的发现相比，与人工智能相关的好处和挑战在眼科、皮肤科、放射科、验光和外科都是相似的[22，23］．然而，我们的研究是独特的，因为我们考虑了如何优先考虑实施的问题，这是开发临床项目时的一个务实的考虑。此外，对儿科的关注可能很重要，因为临床问题的性质、观点和利益相关者在儿科和成人患者群体之间可能有所不同。

本研究的优势包括其混合方法设计和按国家纳入2个不同的儿科机构，并建立其生物医学信息计划。然而，我们的结果应该根据它们的局限性来解释。我们的回复率相对较低;受访者可能偏向于对机器学习感兴趣。因此，非受访者可能对机器学习的熟悉程度较低，并且可能对机器学习优先级的重要属性没有强烈的意见。医生的比例也高于系统领导者或数据科学家的比例;这些组可能有不同的优先级或实现关注点。

总之，受访者优先考虑了机器学习模型的实施，因为风险分层会导致不同的行动和导致大量发病率和死亡率的临床问题。改善患者预后的实施被优先考虑。这些结果可以帮助提供一个优先考虑机器学习模型实现的框架。