本文内容如下e-collection /主题问题:

主题Issue 2022:健康自然语言处理和应用(CHIP) (27) 机器学习(1004) 为卫生专业人员提供决策支持(736) 临床信息与决策(902) 电子健康记录(782) 临床信息学

发表在在10卷第12名(2022): 12月

本文的预印本(早期版本)可在https://preprints.www.mybigtv.com/preprint/37833，首次出版．
临床实践机器学习管道的实现:开发和验证研究

临床实践机器学习管道的实现:开发和验证研究

临床实践机器学习管道的实现:开发和验证研究

本文作者:

劳拉·J·坎巴尔1 作者Orcid图片； 本杰明Wissel2 作者Orcid图片； Yizhao倪2、3 作者Orcid图片； 内森Pajor1 2 3 作者Orcid图片； 特蕾西的时候3、4 作者Orcid图片； 约翰Pestian2、3 作者Orcid图片； 朱迪斯·W·德克斯海默2 3 5 作者Orcid图片
文章 作者 引用的 Tweetations (11) 指标

    原始论文

    1美国俄亥俄州辛辛那提市辛辛那提儿童医院医疗中心肺内科

    2美国俄亥俄州辛辛那提市辛辛那提儿童医院医疗中心生物医学信息科

    3.美国俄亥俄州辛辛那提市辛辛那提大学医学院儿科

    4神经内科，辛辛那提儿童医院医疗中心，辛辛那提，OH，美国

    5急诊医学部，辛辛那提儿童医院医疗中心，辛辛那提，OH，美国

    通讯作者:

    朱迪思·W·德克斯海默博士

    生物医学信息学处

    辛辛那提儿童医院医疗中心

    伯内特大街3333号

    辛辛那提，俄亥俄州，45229

    美国

    电话:1 5138032962

    电子邮件:judith.dexheimer@cchmc.org


    背景:机器学习和自然语言处理等人工智能技术有可能为复杂的健康数据提供新的见解。尽管功能强大，但这些算法很少从实验研究转向直接的临床护理实施。

    摘要目的:我们旨在描述成功开发和集成两种基于人工智能技术的临床实践研究管道的关键组件。

    方法:我们总结了在一家大型三级护理儿童医院实施的以下两个系统的方法、结果和主要经验:(1)在门诊神经病学诊所实施癫痫手术候选人识别(或癫痫ID);(2)自动临床试验资格筛选器(ACTES)，用于实时识别儿童急诊科研究研究的患者。

    结果:癫痫识别系统在识别手术候选人方面的表现与委员会认证的神经学家一样好(敏感性为71%，阳性预测值为77%)。ACTES系统将协调器筛选时间缩短了12.9%。每个项目的成功在很大程度上依赖于机器学习专家、研究和运营信息技术专业人员、临床提供者的纵向支持和机构领导之间的合作。

    结论:这些项目展示了临床护理期间机器学习建议和提供者之间的新颖互动。我们的部署提供了人工智能技术的无缝、实时集成，以提供决策支持并改善患者护理。

    JMIR Med Inform 2022;10(12):e37833

    doi: 10.2196/37833

    关键字

    电子健康记录； 自然语言处理； 癫痫； 临床决策支持； 机器学习； 急诊医学； 人工智能


    随着健康数据的迅猛增长，机器学习和自然语言处理(NLP)等人工智能(AI)技术为从大数据集中提取有意义的关联提供了强大的手段[1］．机器学习的应用是深远的，包括病人识别、计算机视觉、语音识别、网络搜索和表型发现[2-9］．

    电子健康记录(EHR)收集与临床遭遇有关的数据，但其中多达30%-50%的数据只能以自由文本形式提供[10］．因此，理解医疗保健数据的一个特别有价值的方法涉及NLP。NLP是一种将自由文本分析和统计方法结合到计算机算法中的技术，从人类语言输入中获得语言特征(例如，医生的诊断)[11］．临床护理和研究可以从使用这些非结构化文本信息中受益[12，13］．NLP已用于监测、不良事件检测[14-18]、药物鉴定[19]，以及从放射学报告中提取数据[20.-22］．NLP也已成功应用于评估临床记录，并作为临床决策支持(CDS)工具的一部分提供建议[23］．

    这些CDS工具可以改变用户行为;然而，为确保成功实施，用户参与CDS设计至关重要[24-30.］．使用人工智能和NLP技术的CDS工具仍然难以直接应用于实时临床护理，并取得长期成功[31-34］．在临床卫生系统中集成这些人工智能管道具有挑战性的原因是，它需要与以下方面进行协调:(1)CDS工具的关键利益相关者和预期最终用户;(2)设计人工智能的生物医学信息学专业人员;(3)研究信息技术(IT)专业人员，他们在设计CDS工具时考虑到利益相关者;(4)负责维护、正常运行时间和电子病历集成的运营IT专业人员[35］．

    在这项工作中，我们报告了在三级儿科医疗保健机构中使用NLP改进两个基于AI技术的管道的开发和实时集成的主要修改。这些修改有助于这些管道的成功部署和持续利用。


    客观的

    我们案例研究的目标是创建在研究环境中有效的基于AI技术的功能性CDS工具，并将其集成到临床工作流程中，而不牺牲护理质量、临床护理交付速度和劳动力需求。

    环境和参与者

    辛辛那提儿童医院医疗中心是一家大型三级医疗中心，每年接待超过120万名患者。它有一个大型癫痫诊所(每年有6400多名患者和1.2万例癫痫就诊)和大量的癫痫手术病例(每年50例)。儿科急诊医学部门监督5个紧急护理和2个急诊科(EDs)，每年有17万人次访问。急诊科聘请了8名全职临床研究协调员(CRCs)，负责在临床访视期间招募患者参与研究。

    案例1:自动化癫痫干预

    背景

    第一个案例研究旨在促进难治性癫痫患者的早期手术干预，因为它已被证明可以改善认知结果、心理健康和生活质量[36]，以及增加质量调整生命年[37]以一种对病人来说相对安全的方法[38］．国家指南指出，在2次或2次以上抗癫痫药物充分试验后继续出现衰弱性癫痫发作的患者应考虑进行术前评估转诊[39］．从第一次癫痫发作开始，儿科患者平均在癫痫发作7年后接受手术，成人患者平均在癫痫发作20年后接受手术[40，41］．只有0.5%-1.5%的患者在符合临床候选手术标准的两年内接受了手术[42］．事实上，提高外科手术的使用已被证明是困难的。42因为这种高度专业化但关键的临床知识在临床护理中并不是无处不在。

    方法

    研究人员使用了诊断为癫痫、无癫痫发作或有癫痫切除手术史的患者的笔记文集来设计NLP特征。NLP为每个患者生成手术候选评分，得分越高表明手术候选可能性越高，得分越低表明癫痫发作自由度越高。接下来，naïve贝叶斯、支持向量机和随机森林模型使用之前工作中描述的回顾性数据开发[43］．图1描述从输入数据到输出推荐的系统管道。

    为了确保NLP系统的建议能够被实践所接受，我们通过将算法分类与癫痫学家的手动标签进行面对面比较，验证了算法的分类[2］．在实施临床护理之前，我们对该系统进行了为期1年的前瞻性评估，以测试其在临床环境中的准确性[44］．

    ‎
    图1所示。癫痫外科管道结构。从左到右:一系列Oracle PL/SQL查询提取癫痫患者数据，并以CSV格式导出到裸元安装服务器。数据分为以下3组:手术患者、无癫痫发作患者和预后未知患者。特征提取模块(即“训练特征”)分析自由文本注释并以SVM轻格式导出机器可读的特征向量。手术和无癫痫患者特征被发送到分类器训练模块来训练支持向量机模型。未知的患者特征被输入到最终训练的分类器中，该分类器为每个患者输出一个手术候选评分。所有预后未知的患者及其评分将被载入癫痫手术软件(ESS)数据库。得分最高的患者被发送到Epic web服务，该服务生成收文筐消息警报。所有患者及其记录都可以在ESS web应用程序中查看和搜索。 This entire process is run on a weekly basis, to continually incorporate new electronic health record data into the algorithm training.
    查看此图

    案例2:自动临床试验资格筛选器(ACTES)

    背景

    第二项个案研究旨在甄别可能符合急诊科临床试验招募资格标准的参与者。目前的做法是由中心医护人员和医院现场的医生手动筛选试验资格[45］．对于在临床访问期间出现的患者，理想情况下，筛查将在访问中尽早进行，以便在不延长其住院时间的情况下接近符合条件的候选人进行登记。然而，由于电子病历中记录了大量的数据，工作人员筛选相关信息是一项劳动密集型工作，特别是在一次访问的时间框架内。因此，基于EHR信息自动筛选和识别符合试验条件的患者有望为临床研究带来巨大好处。

    方法

    为了便于识别参与者，我们开发了一个基于机器学习nlp的系统actes [23，46它自动分析结构化数据和非结构化叙述笔记，以确定患者是否适合临床试验登记。为了进一步研究，我们评估了儿科急诊科临床试验患者的历史入组决定，并提取了EHR数据，包括crc经常审查的临床记录。然后，我们根据试验患者数据定制了机器学习和NLP算法。在我们最近的工作中，ACTES被整合到机构工作流程中，以支持实时患者筛查[44];有关系统发展的详情已于先前报道[46］．

    实现策略

    我们假设人工智能解决方案的成功实施依赖于以下5个关键步骤:

    1. 与实施现场相关的行业标准软件的集成。具体来说，系统需要调整以使用行业标准软件库。
    2. 访问EHR数据的流程自动化。这些系统需要与电子病历相连接，以便在没有人工干预的情况下提取输入数据。
    3. 鼓励用户反馈，为人工智能解决方案的最终设计提供信息。
    4. 将人工智能解决方案集成到典型的临床工作流程中。
    5. 性能评估和定期维护，以继续评估AI解决方案的效用。

    在构建AI技术之后，我们使用这5种策略实现了AI解决方案，以促进工具的成功部署。


    在研究设置中创建和验证算法后，我们将这2个AI解决方案作为NLP管道实现。这两个管道都遵循一个循序渐进的过程，从EHR中提取数据，处理数据，并以自动警报的形式提供建议，可以从研究系统实时发送到EHR (Epic systems)。要做到这一点，必须修改研究系统，以整合到临床工作流程中，如本节所述。

    行业标准软件

    在回顾了20多个不同的用于管理NLP管道的库之后，决定Java NLP库LingPipe [47]将用于特征提取和预处理，而scikit-learn中的LIBSVM Python实现[48将用于分类器[49］．ACTES中的NLP组件是建立在临床文本分析和知识提取系统之上的[50]，机器学习组件是用Java (Oracle Corporation)编写的。

    电子病历数据存取自动化

    对于癫痫干预AI，使用来自EHR关系数据库的Oracle PL/SQL查询提取患者数据。对于ACTES，开发了RESTful和SOAP web服务来实时提取EHR数据，如人口统计数据、药物订单和临床记录，这些数据存储在Oracle SQL数据库中。开发了一个基于网络的交互式仪表板，以可视化建议并接收crc的反馈。

    用户反馈为最终设计提供了依据

    人工智能解决方案的设计和集成来自最终用户的反馈。癫痫和ACTES语料库由提供者手动注释患者笔记创建。在整个算法设计和实现过程中，提供者都被包含在构建和最终集成中。首先，生物医学信息学团队跟踪供应商进行工作流观察。其次，生物医学信息学团队参加了包括教职员工和临床研究协调员在内的临床会议，至少花了10个小时来获得反馈，并确保设计是合适的。第三，在至少3次会议上分享了模型设计，以CDS工具的形式讨论使用AI解决方案并与之交互的过程。在CDS工具可以提供警报的情况下，会就其首选的警报方法(例如，电子邮件或短信警报)咨询提供商。在这两种人工智能技术中，供应商能够直接与机器学习建议进行交互，如下所示:

    • 对于癫痫手术干预，这些结果将显示在临床护理中，以建议手术咨询，并且根据建议产生的后续行动将反馈到应用程序中以提高性能。
    • 对于ACTES，使用临床研究协调员的资格条目来帮助训练和改进分类器。此外，ACTES还由供应商评估并改进了可用性和满意度，并发现ACTES易于使用和学习。

    融入临床工作流程

    两种人工智能技术都被整合到临床工作流程中，以支持临床实践。对于顽固性癫痫患者和即将就诊的患者，手术资格提前评估。对于被归类为潜在手术候选人的患者，电子病历收文篮将通过网络服务发送给他们计划看到的提供者。

    我们将ACTES集成到crc的工作流程中，以支持实时患者筛查[51］．该系统在一个安全的、符合《健康保险携带与责任法案》(HIPAA)的服务器上持续运行，以提取当前急诊症患者的结构化和非结构化EHR数据。对于每个临床试验，系统推荐的患者排名列表，以及他们的人口统计数据和临床信息，都显示在crc可用的仪表板上。信息每10分钟刷新一次，以适应实时更新。考虑到推荐的患者作为临床试验的潜在参与者，CRCs进行了额外的EHR筛查，以确认候选人的资格。当一个合格的候选人被确定，crc联系他或她注册按照标准的临床工作流程。

    绩效评估

    癫痫病AI技术于2016年4月12日上线，作为EHR发布周期的一部分，每周运行一次。周日，该系统根据1年无癫痫发作或之前接受过癫痫切除手术的患者的记录进行培训。这个训练有素的分类器评估所有其他“未知”的癫痫患者，这些患者在过去一年内至少有一次癫痫发作，但没有进行术前评估。因此，每周更新训练和测试患者的表格。该系统在识别手术候选人方面的表现与委员会认证的神经学家一样好(敏感性为71%，阳性预测值为77%)，并通过额外的培训进行改进，比神经学家更快地识别手术候选人[2］．作为持续算法开发的一部分，训练集中包含手术史的患者数量从2016年4月10日的102例患者增加到2019年10月6日的195例患者。

    ACTES患者识别系统于2017年10月1日上线。ACTES的前瞻性评价采用了时间运动研究、定量入组评估和从CRCs收集的评价后可用性调查[52］．在时间和动作研究中，一名观察员在2小时内以30秒的增量监测CRC所从事的活动。将每项活动花费的时间与使用ACTES之前的时间进行比较。本研究每月重复一次，为期4个月，并在crc和班次中分布。实施ACTES后，综合治疗中心的开支为12.9% (P<.001)电子筛选时间缩短[52］．入组的定量评估评估了筛选的患者数量、接近的患者数量和入组的患者数量。ACTES的使用显著提高了大多数试验的筛查患者数量，并提高了入组患者和入组患者数量，7项试验中有2项具有统计学意义[52］．最后，每月分析系统可用性调查和其他开放式问题的结果，以提高ACTES [52］．

    维护

    在前150周，癫痫系统的运行时间超过90%。在此期间，生物医学信息研究和生产IT人员解决了问题。对NLP系统进行了10个更改，执行脚本管道时出现了6个错误。从EHR中提取患者记录的问题是NLP系统运行延迟的最大原因，在150周中发生了12周(8%)。

    在试验阶段(2017-2018年)对ACTES工具进行了其他调整，以适应CRC需求。ACTES亦更新了3次，因为机构电子病历系统及其用于实时数据提取的web服务进行了重大更新。在评估期间，机构EHR系统和研究IT环境的更新导致多次系统故障，导致52周(4%)的运行中断不到2周。


    主要结果

    这项工作强调了CDS工具从研究环境到临床实践的集成和部署的主要修改。我们成功地将基于人工智能的技术添加到我们机构的以下2个不同的临床工作流程中:自动化癫痫手术干预工具和自动化临床试验资格筛选器(ACTES)系统。在整个过程中，我们确定成功地将这些工具集成到临床护理中需要适应行业标准、数据访问的自动化、与临床工作流程的逻辑集成以及持续的用户反馈。

    这项工作有几个重要的优点。我们实施了新颖的自动化机器学习工具，以有形的方式为我们的机构提供决策支持。这些工具很受欢迎，并简化了临床护理，以确定合格的患者进行手术或临床试验。我们部署这些工具的经验与Kawamoto等人提出的建议一致。53]，以成功推行CDS工具。我们的CDS工具是实时实施的，以在临床工作流程的自然点提供支持，以免破坏或延长护理时间。与他们的发现一样，我们的CDS工具在可能的情况下使用自动可用的EHR数据，以确保临床可扩展性和有效的可用性。在我们的案例中，我们增加了一个额外的测试层，我们在局部的临床环境中与临床护理并行地实施CDS工具，以在完全部署之前测试准确性，这允许在CDS工具成为临床工作流程的一部分之前对其进行持续的微调。

    偏倚评估

    我们评估了这两种工具的潜在偏见，以确保CDS建议不受种族差异的影响。癫痫手术候选人推荐背后的人工智能技术在患者人口统计学、社会经济特征和语言方面进行了偏见评估[54］．患者的种族、性别和主要语言不会影响AI的手术候选评分(P>。3.5for all).

    注意事项和限制

    在将研究工具应用于实时临床环境时，应考虑几个问题。与大多数记录保存系统一样，EHR系统需要定期升级和修复错误。这就需要持续的IT支持来保持管道的正常运行。应将EHR算法提取和管道特征放置到EHR升级队列中，以确保在每个升级周期对其进行评估。考虑到这一点，在与临床实践相结合时，应该留出用于操作和研究IT的资源，以确保系统的一致性。

    这些系统的成功部署和持续使用还需要与各自临床系统中的利益相关者密切合作。这种合作对于将研究成果无缝整合到日常临床实践中至关重要。如果没有有效终端用户的输入，就很难完全理解当前的流程、需求以及与工作流和数据相关的限制，从而优化预测。

    结论

    在临床环境中，两种AI解决方案的制定、开发和实时实施需要在集成之前使用公共、行业标准程序和现有的EHR web界面开发CDS工具和管道。在我们的工作中，我们发现CDS工具的成功很大程度上依赖于机器学习专家、研究合作者和运营IT专业人员之间的合作。此外，临床提供者和机构领导的纵向支持对于持续维护部署的CDS工具并仔细考虑其长期使用是必要的。

    致谢

    作者要感谢辛辛那提儿童医院医疗中心的神经学提供者、急诊提供者和生物医学信息学人员提供的无数反馈和支持。

    这项工作得到了辛辛那提儿童医院医疗中心、国家医学图书馆(5R01LM011124-03)和医疗保健研究和质量机构(1R21HS024977-01)的内部资金支持。BW的工作得到了Ruth L. Kirschstein博士预科个人国家研究服务奖(5F31NS115447-02)的支持。

    利益冲突

    JP和TG报告了一项使用自然语言处理识别手术候选人的专利，该专利已授权给辛辛那提儿童医院医疗中心，另一项专利已授权给辛辛那提儿童医院医疗中心，该专利涉及使用领域特异性扩散激活方法处理临床文本。

    1. 李志强，李志强。机器学习在医学中的应用。中华医学杂志2019年4月04日;38(14):1347-1358。［CrossRef］
    2. Cohen KB, Glass B, Greiner HM, Holland-Bouley K, Standridge S, Arya R，等。通过自然语言处理和机器学习预测小儿癫痫手术候选人的方法学问题。Biomed Inform Insights 2016年5月22日;8:BII.S38308。［CrossRef］
    3. Matykiewicz P, Cohen K, Holland KD, Glauser TA, Standridge SM, Verspoor KM，等。早期识别癫痫手术候选人使用自然语言处理。2013年发表于:2013年生物医学自然语言处理研讨会论文集;8月8日;保加利亚，索非亚，p. 1-9。
    4. 张x, Kim J, Patzer RE, Pitts SR, Patzer A, Schrager JD。基于自然语言处理和神经网络的急诊科入院预测2017年10月26日;56(5):377-389。［CrossRef] [Medline］
    5. 曾志，史辉，吴勇，洪志。生物信息学中的自然语言处理技术综述。计算数学方法2015;2015:674296-674210 [免费全文] [CrossRef] [Medline］
    6. 杨晓东，张晓东，张晓东，张晓东，等。从眼底照片中检测乳头水肿的人工智能。英国医学杂志2020年4月30日;382(18):1687-1695。［CrossRef］
    7. Gulshan V, Peng L, Coram M, Stumpe MC, Wu D, Narayanaswamy A，等。开发和验证的深度学习算法检测糖尿病视网膜病变的视网膜眼底照片。美国医学杂志2016年12月13日;316(22):2402-2410。［CrossRef] [Medline］
    8. 托马捷夫，葛洛特，雷伊，M, Zielinski, Askham H, Saraiva，等。持续预测未来急性肾损伤的临床应用方法。自然2019 8月31日;572(7767):116-119 [免费全文] [CrossRef] [Medline］
    9. Esteva A, Kuprel B, Novoa RA, Ko J, Swetter SM, Blau HM，等。利用深度神经网络对皮肤癌进行皮肤科医生级别的分类。自然杂志2017年1月25日;542(7639):115-118。［CrossRef］
    10. 索赔数据支持医疗保健质量测量的潜力。兰德公司，2003年。URL:https://www.rand.org/pubs/rgs_dissertations/RGSD171.html[2022-11-17]访问
    11. 陈晓明，杨晓明。自然语言处理的研究进展。科学通报2015年7月17日;349(6245):261-266。［CrossRef] [Medline］
    12. Melton GB, Hripcsak G.使用自然语言处理出院总结的不良事件自动检测。中华医学杂志2005 july 01;12(4):448-457。［CrossRef］
    13. 马志刚，李志刚，李志刚，等。使用自然语言处理在电子病历中自动识别术后并发症。中国医学杂志2011年8月24日;306(8):848-855。［CrossRef] [Medline］
    14. Bates DW, Evans RS, Murff H, Stetson PD, Pizziferri L, Hripcsak G.利用信息技术检测不良事件。美国医学信息学会2003年3月1日;10(2):115-128 [免费全文] [CrossRef] [Medline］
    15. Petratos GN, Kim Y, Evans RS, Williams SD, Gardner RM。比较计算机化药物不良事件监测系统对提高住院患者临床决策支持的有效性。应用临床通报2017年12月16日;01(03):293-303。［CrossRef］
    16. Tinoco A, Evans RS, Staes CJ, Lloyd JF, Rothschild JM, Haug PJ。不良事件的计算机监测与人工复查的比较。J Am Med Inform association 2011 july 01;18(4):491-497 [免费全文] [CrossRef] [Medline］
    17. 康威M，道林JN，查普曼WW。使用主诉进行综合征监测:北美基于主诉分类器的综述。J Biomed Inform 2013 Aug;46(4):734-743 [免费全文] [CrossRef] [Medline］
    18. 叶勇，徐飞，李强，李强。基于自然语言处理和贝叶斯网络分类器的急诊报告流感检测。美国医学信息学会2014年9月01日;21(5):815-823 [免费全文] [CrossRef] [Medline］
    19. Savova GK, Olson JE, Murphy SP, Cafourek VL, Couch FJ, Goetz MP，等。在电子病历中自动发现乳腺癌内分泌治疗的药物治疗模式。J Am Med Inform association 2012 Jun 01;19(e1):e83-e89 [免费全文] [CrossRef] [Medline］
    20. Dublin S, Baldwin E, Walker RL, Christensen LM, Haug PJ, Jackson ML，等。从放射学报告中识别肺炎的自然语言处理。pharmacepidemiology Drug Saf 2013 Aug 01;22(8):834-841 [免费全文] [CrossRef] [Medline］
    21. Elkin PL, Froehling D, Wahner-Roedler D, Trusko B, Welsh G, Ma H，等。基于nlp的自由文本放射报告中肺炎病例的识别。2008年11月6日172-176 [免费全文] [Medline］
    22. Friedman C, Alderson PO, Austin JHM, Cimino JJ, Johnson SB.用于临床放射学的通用自然语言文本处理器。美国医学信息学会1994年3月1日;1(2):161-174 [免费全文] [CrossRef] [Medline］
    23. 李丽娟，李丽娟，李丽娟，李丽娟，等。为急诊儿科患者开发和评估自动阑尾炎风险分层算法。J Am Med Inform association 2013年12月01;20(e2):e212-e220 [免费全文] [CrossRef] [Medline］
    24. Branch-Elliman W, Strymish J, Kudesia V, Rosen AK, Gupta K.用于实时导管相关尿路感染监测的自然语言处理:一项试行实施试验的结果。感染控制与流行病学2015年9月26日;36(9):1004-1010。［CrossRef] [Medline］
    25. 曹国杰，涂文文，曹志强，袁文强，等。临床决策支持自动化指南:知识工程和实施。AMIA年度诉讼程序2016;2016:1189-1198 [免费全文] [Medline］
    26. Klein ME, Parvez MM, Shin J.药物基因组学在个性化精准医疗中的临床实施:障碍和解决方案。中国医药科学，2017年9月;106(9):2368-2379。［CrossRef] [Medline］
    27. Kilsdonk E, Peute LW, jasper MWM。影响基于指南的临床决策支持系统实施成功的因素:系统回顾和差距分析。国际医学杂志2017年12月;98:56-64。［CrossRef] [Medline］
    28. Castillo RS, Kelemen a .成功的临床决策支持系统的考虑。compput Inform Nurs 2013 7月;31(7):319-26;测试327 - 8。［CrossRef] [Medline］
    29. Garg AX, Adhikari NKJ, McDonald H, Rosas-Arellano MP, Devereaux PJ, Beyene J，等。计算机化临床决策支持系统对从业者表现和患者结果的影响:系统回顾。美国医学杂志2005 3月9日;293(10):1223-1238。［CrossRef] [Medline］
    30. 李志强，李志强，李志强，等。在基于规则的临床决策支持警报和提醒中防止故障的最佳实践:Delphi研究的结果。Int J Med Inform 2018 10月;118:78-85 [免费全文] [CrossRef] [Medline］
    31. Abràmoff MD, Lavin PT, Birch M, Shah N, Folk JC。基于人工智能的自主诊断系统在初级保健办公室检测糖尿病视网膜病变的关键试验。NPJ数字医学2018年8月28日;1(1):39 [免费全文] [CrossRef] [Medline］
    32. 霍龙TC，潘迪安B，阿达帕AR，乌里亚斯E, Save AV，卡尔萨SSS，等。利用刺激拉曼组织学和深度神经网络近实时术中脑肿瘤诊断。Nat Med 2020年1月;26(1):52-58 [免费全文] [CrossRef] [Medline］
    33. Titano JJ, Badgeley M, Schefflein J, Pain M，苏A，蔡M，等。急性神经事件颅骨图像的自动深度神经网络监测。医学2018年9月13日;24(9):1337-1341。［CrossRef] [Medline］
    34. 王鹏，刘旭，Berzin T, Glissen Brown J，刘鹏，周超，等。深度学习计算机辅助检测系统对结肠镜检查中腺瘤检测的影响(CADe-DB试验):一项双盲随机研究。Lancet Gastroenterol Hepatol 2020 Apr;5(4):343-351 [免费全文] [CrossRef］
    35. 崔克利，康MG，班尼特TD，格拉斯哥RE，霍根H，高DP，等。将临床决策支持设计的最佳实践与实际稳健的实施和可持续性模型相结合:实施科学方法。J Med Internet Res 2020年10月29日;22(10):e19676 [免费全文] [CrossRef] [Medline］
    36. Engel J, McDermott MP, Wiebe S, Langfitt JT, Stern JM, Dewar S，早期随机手术癫痫试验(ERSET)研究组耐药颞叶癫痫的早期手术治疗:一项随机试验。JAMA 2012 Mar 07;307(9):922-930 [免费全文] [CrossRef] [Medline］
    37. 崔海龙，李丽娟，李丽娟，等。癫痫手术治疗耐药颞叶癫痫:一个决策分析。中国医学杂志2008年12月3日;300(21):2497-2505。［CrossRef] [Medline］
    38. 恩格尔J，韦贝S，弗兰奇J，斯珀林M，威廉森P，斯宾塞D，等。实践参数:癫痫的颞叶和局部新皮质切除术。癫痫病2003 Jun;44(6):741-751 [免费全文] [CrossRef] [Medline］
    39. Cross JH, Jayakar P, Nordli D, Delalande O, Duchowny M, Wieser HG，国际抗癫痫联盟，儿童癫痫手术小组委员会，神经外科和儿科委员会。儿童癫痫手术转诊和评估的建议标准:儿童癫痫手术小组委员会的建议。癫痫2006 Jun;47(6):952-959 [免费全文] [CrossRef] [Medline］
    40. 崔H, Carlino R, Heiman G, Hauser WA, Gilliam FG。过去二十年来颞叶癫痫手术前癫痫持续时间的评估。Epilepsy Res 2009 Oct;86(2-3):224-227 [免费全文] [CrossRef] [Medline］
    41. Kwan P, Schachter SC, Brodie MJ。耐药性癫痫。中华医学杂志2011年9月8日;36(10):919-926。［CrossRef］
    42. Englot DJ, Ouyang D, Garcia PA, Barbaro NM, Chang EF。1990-2008年美国癫痫手术趋势。神经病学2012年3月21日;78(16):1200-1206。［CrossRef］
    43. 张晓东，张晓东，张晓东。基于支持向量机学习的输出空间模型。见:第21届机器学习国际会议论文集。2004年发表于:ICML '04;7月4 - 8;班夫，阿尔伯塔省，加拿大。［CrossRef］
    44. Wissel BD, Greiner HM, Glauser TA, Holland-Bouley KD, Mangano FT, Santel D，等。一种机器学习模型的前瞻性验证，该模型使用提供者记录来确定癫痫切除手术的候选人。癫痫2020年1月29日;61(1):39-48 [免费全文] [CrossRef] [Medline］
    45. Embi PJ, Payne PRO。临床研究信息学:新兴领域的挑战、机遇和定义。JAMIA 2009 May 01;16(3):316-327。［CrossRef］
    46. 倪毅，Kennebeck S, Dexheimer JW, McAneney CM，唐海华，T凌仁，等。自动化临床试验资格预审:提高急诊科临床试验患者识别的效率。J Am Med Inform association 2015年1月;22(1):166-178 [免费全文] [CrossRef] [Medline］
    47. Baldwin B, Dayanidhi K.自然语言处理与Java和LingPipe Cookbook。英国伯明翰:Packt Publishing Ltd;2014.
    48. Pedregosa F, Varoquaux G, Gramfort A, Michel V, Thirion B, Grisel O，等。Scikit-learn: Python中的机器学习。J Mach Learn Res 2011; 12:25 -2830。［CrossRef］
    49. 支持向量机的文本分类:学习与许多相关的特征。:施普林格柏林海德堡;1998年发表于:机器学习:ECML-98;1998;柏林，海德堡，第137-142页。［CrossRef］
    50. Savova GK, Masanz JJ, oggren PV, Zheng J, Sohn S, Kipper-Schuler KC，等。梅奥临床文本分析和知识提取系统(cTAKES):架构，组件评估和应用。中国医学信息杂志2010;17(5):507-513 [免费全文] [CrossRef] [Medline］
    51. 徐志伟，陈志伟，陈志伟，等。儿科急诊科临床试验资格筛选的时间动态研究。儿科急诊护理2019年12月;35(12):868-873 [免费全文] [CrossRef] [Medline］
    52. 倪颖，Bermudez M, Kennebeck S, Liddy-Hicks S, Dexheimer J.急诊科临床试验资格的实时自动患者筛选系统:设计和评估。JMIR Med Inform 2019年7月24日;7(3):e14185 [免费全文] [CrossRef] [Medline］
    53. 川本K, Houlihan CA, Balas EA, Lobach DF。使用临床决策支持系统改进临床实践:对试验的系统回顾，以确定对成功至关重要的特征。BMJ 2005 Apr 2;330(7494):765 [免费全文] [CrossRef] [Medline］
    54. Wissel BD, Greiner HM, Glauser TA, Mangano FT, Santel D, Pestian JP，等。癫痫机器学习算法在医生笔记上训练的偏见调查。癫痫2019 9月23日;60(9):e93-e98 [免费全文] [CrossRef] [Medline］

    ‎
    发动:自动临床试验资格筛选器
    人工智能:人工智能
    cd:临床决策支持
    儿童权利公约:临床研究协调员
    艾德:急诊科
    电子健康档案:电子健康记录
    它:信息技术
    NLP:自然语言处理

    编辑:T Hao;提交08.03.22;A Keniston, H Monday, G Nneji同行评审;对作者11.07.22的评论;修订版本收到01.09.22;接受19.09.22;发表16.12.22

    版权

    ©Lara J Kanbar, Benjamin Wissel, Yizhao Ni, Nathan Pajor, Tracy Glauser, John Pestian, Judith W Dexheimer。最初发表在JMIR医学信息学(https://medinform.www.mybigtv.com)， 16.12.2022。

    这是一篇开放获取的文章，根据创作共用署名许可协议(https://creativecommons.org/licenses/by/4.0/)的条款发布，允许在任何媒介上不受限制地使用、分发和复制，前提是正确引用了首次发表在JMIR医学信息学上的原创作品。必须包括完整的书目信息，https://medinform.www.mybigtv.com/上的原始出版物的链接，以及此版权和许可信息。
    Baidu
    map