基于自适应机器学习的医疗设备调节中的算法变更协议

介绍

自动图像分析和分割[1]，自主软组织缝合术[2]和脑机接口[3.这些技术直到最近还只是科幻小说里的想象。它们现在都代表了基于ml的医疗保健工具的最先进水平，并且都有一个共同的特点:所有这些系统都是根据患者数据进行训练的，并且可以通过再训练和基于新的患者数据快速自动地改进。机器学习是人工智能方法的一个子集，这个观点处理分类为医疗设备的机器学习应用程序的子集。随着时间的推移，ML模型将保持静态的概念是学习概念的诅咒。技术正在迅速发展，以实现真正的实时机器学习，当监管制度允许时，基于机器学习的医疗保健工具有可能从新的观察和持续使用中“学习”，并在“工作中”完全重新训练它们的模型[4，5]。

许多基于机器学习的医疗保健工具在欧盟(EU)和美国(以及大多数其他司法管辖区)被归类为软件即医疗设备(在本观点中称为基于机器学习的SaMD，该术语用于指从患者数据集中学习并将在投放市场后进行进一步培训的技术)。学习和更新模型对监管提出了挑战，对于基于ml的SaMD来说更是如此，因为它将实时或接近实时地从数据中学习。这种类型的变化带来了新的监管挑战:这些变化往往会影响算法的基本临床安全性、临床性能和临床效益。他们是否应该要求全面的监管重新评估，这一过程通常需要数月时间?或者，是否可以建立新的、更快的、强有力的质量监督和批准方法?本观点比较了美国和欧盟监管机构提出的不同建议，以适应现有的医疗器械框架，包括考虑学习基于ml的SaMD。我们论点的关键在于，监管机构必须做出高度主动的回应。美国食品和药物管理局(FDA)和欧盟已经提出了策略。FDA的方法是结构化和全面的，而欧盟的方法与美国的方法重叠，但缺乏详细的要求，也没有涉及详细的利益相关者咨询。

有证据表明，正在开发对基于ml的SaMD进行更细致入微的监管。美国医学信息协会(American Medical Informatics Association) 2021年的一份立场文件建议采取积极主动的监管方法，以改善临床决策支持(CDS)监管，包括透明度标准、实际表现(RWP)监测要求和改进的上市后监督(PMS)策略[6]。Epic败血症模型(Epic sepsis model, ESM)是一种广泛应用的专有败血症预测模型，已在美国数百家医院中使用，最近对该模型进行了外部验证，发现该模型无法准确识别败血症的发病[7]。作者得出结论，广泛采用这种CDS，尽管其性能不佳，引起了对败血症管理的根本关注。在我们看来，这也引起了监管监督和经前综合症的担忧。ESM是一种惩罚逻辑回归模型，作为广泛使用的电子健康记录系统的一部分，它是根据2013年至2015年三个卫生系统中405,000名患者就诊的数据开发和验证的[7]。虽然有关ESM的公开信息有限，但我们认识到它不是自适应CDS(定义见[6]);然而，所使用的ML方法有可能在未来的自适应CDS系统中使用。即使作为静态CDS系统的一个例子，基于PMS/RWP监测的定期更新也将构成该CDS生命周期的一部分，从而大大提高了患者的安全性。这个观点中的许多考虑都适用于这个例子。

对以ml为基础的SaMD的监管已被确定为阻碍其临床应用的较大障碍之一[8]。在美国对基于ml的医疗软件的探索发现，许多工具不受FDA的监管，没有FDA维护的基于ml的SaMD批准的公共记录/数据库，许多设备是通过510(k)许可途径获得批准的(声称与已经批准的设备具有实质等同性)，并且提供了特定的临床证据供批准，这完全来自回顾性而不是前瞻性数据[7，8]。ML的一些医学应用在[7，8被FDA归类为低风险或不归类为基于ml的SaMD。对于低风险的应用程序，现有的监管框架可能就足够了。然而，对于由[8，9]，以及自适应基于ml的SaMD和自主应用，欧盟、美国和全球都需要更智能的监管，以确保患者安全，并消除采用和进步技术的障碍[10-13]。

学习基于ml的SaMD的现行监管框架

在个体患者诊断或治疗中发挥作用的基于ml的医疗保健工具目前在美国和欧盟作为软件作为医疗设备进行监管。自1938年《联邦食品、药品和化妆品法案》(FD&C法案)以来，医疗器械的监管已被纳入美国立法，1976年《FD&C法案》的医疗器械修正案和随后的更新更全面[14]。在欧盟，自医疗器械指令93/42/EEC和有源植入医疗器械指令90/385/EEC以来，已制定了立法框架，并于最近更新为医疗器械规例(MDR) [15，16]。美国和欧盟的框架都严重依赖于指导方针和协调规范，这些准则和规范为医疗设备的开发和部署定义了一套标准化的最佳实践。目前形式的两种监管框架都没有充分考虑到基于ml的系统的特殊属性。

从历史上看，由于硬件医疗器械先于软件医疗器械，相对静态产品的原则(即从最初的概念到早期和后期的开发阶段，验证，验证，临床测试，批准和市场发布遵循线性步骤)是合乎逻辑的。随着医疗器械内软件的建立，医疗器械监管的基本原则在很大程度上与软件相同。允许软件的特殊属性;然而，立法本身的细节程度很低[15]，而是通过一套国际标准提供，包括软件生命周期标准[17，软件可用性测试，验证，发布和更新。最初，这些过程被要求以线性“瀑布”级联的方式进行，必须遵循软件更新、发布和批准[17]。后来的国际指南(见[18])提供了在敏捷框架内开发SaMD的方法，敏捷框架是公认的软件设计的最佳方法[19]，这是一种迭代和增量的软件开发模型。无论是使用瀑布式方法还是敏捷方法，国际指南都提供了充分验证和验证SaMD软件的方法，这是其安全性和有效性的先决条件。

当前方法的局限性

这就提出了一个问题，“当前的立法是否为基于ml的SaMD提供了监管批准框架?”虽然负担沉重，但欧盟目前的方法可以(并且已经)用于基于ml的SaMD(见[20.])。SaMD制造商可以优化他们的软件开发过程，以最大限度地提高他们在这个线性过程中的效率，特别是对于记录更新之间模型更改对SaMD性能的影响(这些是“更改控制”的方面，医疗器械质量管理系统的基本原则)。当应用于基于ML的SaMD时，软件验证和确认本身是不够的，因为它们不能确保ML模型是安全的;它可能存在与低质量输入数据或设计不良的ML算法相关的安全问题。

制造商倾向于将ML模型更新信息降级为软件开发生命周期(SDLC)活动和上市后临床随访(PMCF)。尽管传统的PMCF和SDLC是非常有价值的活动，只要它们在正确的环境和阶段中执行，它们通常不足以解决ML问题。SDLC活动的重点是软件设计控制，不能确保临床可接受的机器学习性能(即，一个软件可以完美地编写和记录，但它所托管的机器学习可能会因为机器学习模型问题而失败)。当前PMCF实践不适合ML模型更新的一个原因是，它们通常在SaMD更改后仅数月至数年就生成足够数量的患者数据。此外，从历史上看，PMCF方法中典型探索的数据量不足以满足现代数据驱动学习算法的要求。正如本观点后面所讨论的那样，可以对PMCF进行调整，以允许快速收集与ML模型更新相关的详细数据。PMCF为此目的的适应，以及该数据流对设备监管状态的影响的系统“协议”的定义，是提出的新监管方法的基础。

建议的解决方案:美国FDA行动计划

机器学习算法和输入数据的适当性以及派生的机器学习模型的安全性等问题在最近的标准中得到了一定程度的解决，其中一些标准仍在开发中(参见例如ISO[国际标准化组织]/IEC[国际电工委员会]TR 24028关于人工智能的可信度[21]和ISO/IEC DTR 24027关于人工智能系统和人工智能辅助决策中的偏见[22])，但尚未在立法中以联合的方式加以解决。然而，这些问题在美国FDA的2021年行动计划中得到了新颖而全面的解决[23]，它有效地为ML模型验证提供了路线图。FDA已就适应性ml基SaMD的监管审批策略进行了结构化咨询，并发布了一份全面的行动计划[23，24]，这一直伴随着与文学主题的高度接触[25-27]。行动计划尚未完全解决本观点所述的问题，因为行动计划尚未完成或实施。然而，FDA的积极和开放的方法是值得赞扬的。

该行动计划清楚地认识到，基于自适应ml的SaMD对传统方法提出了挑战:“FDA的传统医疗器械监管范式不是为自适应人工智能和机器学习技术设计的”[23]。FDA于2019年4月启动了正式的在线咨询程序[28-在一份精心构思的详细咨询文件的指导下作出贡献，并于2020年2月举办了一次公开研讨会，随后于2021年1月发布了行动计划[23]。咨询文件和行动计划基于FDA的上市前计划，并考虑到国际医疗器械监管机构论坛(IMDRF)医疗器械风险分类原则[29]，利益-风险框架，软件修改指南，以及基于组织的整体产品生命周期方法。良好的机器学习实践(GMLP)原则将用于确保严格的基于ml的SaMD开发。算法变化将为用户透明地标记，同时将纳入确保鲁棒性、识别和消除偏差的方法。对于每个设备，设想一个由两部分组成的预定变更控制计划(PCCP)。这将包括一个SaMD预规范(SPS)——一个预先确定的变更控制计划，列出允许修改的范围——和一个算法变更协议(ACP;注意，变化的是预测模型，见文本框1)，载列以物料管理为基础的物料管理策略，在卫生防护措施的范围内推行已界定的改变所采用的方法。ACP一步一步地描述了需要遵循的程序，以使修改达到其目标，并使基于ml的SaMD保持安全有效。值得注意的是，该行动计划在利用基于ml的SaMD的迭代改进能力方面具有优势，同时通过持续的RWP监测确保患者安全。下一步，FDA将于2021年发布完整的PCCP指南草案[23]。

基于acp的创新方法能否充分确保安全?

FDA行动计划将改变的现状有一个基本原则，即医疗器械在批准前应该有明确的定义、明确的测试和精心的文件记录，然后应该在市场上有效地保持不变的临床安全性、性能和益处，这应该通过严格的变更控制流程和上市后监督来确保。临床行为的任何实质性改变都需要重新批准。该框架在可追溯性和安全监督维护的简单性方面具有优势。缺点是该框架禁止基于ml的SaMD的快速更改。FDA行动计划有效地提出了相同的系统，除了可以预先定义基于ml的自适应SaMD临床行为变化的边界，以及监督变化程度和市场上产生的影响的方法。如果这是一个范式转变，这是一个小的转变——它有效地将新产品修订准备阶段的批准和上市后对变化的评估转变为上市前对设备可接受的变化的全面考虑。

根据定义，不属于预先确定的风险评估阈值范围的变化是不允许的，并且需要监管机构在批准市场之前进行正常的审查程序。FDA在行动计划中指出，“利益相关者提供了关于SPS/ACP中可能包含的元素的具体反馈，以支持SaMD及其相关算法随着时间的推移而变化的安全性和有效性”，并通过承诺详细指导SPS和ACP中应该包含的内容来支持基于ml的SaMD算法的安全性和有效性。23]。作者认为，FDA行动计划中设定的总体原则(即预先定义市场上可接受的临床安全性、性能和益处，并对这些进行RWP监测)代表了一种既合理又相称的方法，并且可以确保患者安全，前提是监管机构充分参与对RWP监测数据的监督和在PCCP背景下对这些数据的评估。

欧盟人工智能法案

继欧盟委员会于2020年2月发表人工智能白皮书及随后的公众咨询后[30.，31]，欧盟委员会于2021年4月发布了一份人工智能法案草案[32]。该立法草案为人工智能应用制定了统一的规则，并将经典的欧盟产品符合性和CE标志概念扩展到所有“高风险”人工智能应用。该立法草案在核心方法上与耐多药非常相似，都是基于产品预期用途和上市后监测系统。人工智能在医疗设备中的所有使用都被定义为“高风险”，立法草案旨在与MDR兼容。[16]，由与MDR相同的公告机构进行监督(尽管关于监督如何运作的细节仍有待建立)，并且设备将由代表MDR和人工智能法案符合的单一ce标志覆盖[16，32]。令人惊讶的是，在MDR、其附件或相关指南中没有提及ML (MDR [16]及医疗仪器协调小组指引[33，34])，尽管这些文件是在2017年或之后发布的。实质上，新的人工智能法案草案扩展了MDR [16把它带入人工智能时代。

FDA对基于ml的SaMD法规提出了明确而重点突出的公开建议，以框架公众咨询的讨论。相比之下，在立法草案之前，欧盟委员会就2020年白皮书进行的磋商没有相关的公开提案，而且涉及面很广，涉及所有高风险的人工智能应用，而不仅仅是医疗保健。我们研究了对咨询的贡献，尽管有一些经过深思熟虑的提交，但总体而言，关于如何在欧盟监督基于ml的SaMD的具体讨论很少。立法草案也反映了提案中缺乏细节的情况。在欧盟医疗器械立法中，该草案首次描述了acp的概念，但与FDA的行动计划不同[23] -这些都是隐含的，而不是具体命名或详细列出他们的要求。同样，立法草案也没有制定类似于FDA的PCCP方法，尽管再次暗示了这样做的必要性。

立法草案中的关键条款如下:

根据欧盟协调立法监管的产品普遍存在的实质性修改概念，每当发生可能影响系统符合本法规的变更或系统预期目的发生变化时，人工智能系统都应进行新的合格评定。此外，对于投放市场或投入使用后继续“学习”的人工智能系统(即，它们自动适应功能的执行方式)，有必要提供规则，确定由提供商预先确定并在合格评定时进行评估的算法及其性能的更改不应构成实质性修改。

描述了上市后绩效监测的重要性，但没有提供在基于ml的SaMD背景下对此的特殊考虑的细节:“所有供应商都应该有一个上市后监测系统。该系统也是确保更有效和及时地解决人工智能系统在投放市场或投入使用后继续‘学习’可能出现的风险的关键。”

欧盟监管:还需要什么?

2020年9月，欧盟将对基于ml的SaMD的法律要求进行全面分析[35]是由欧洲医疗器械贸易协会(欧洲放射、电子医疗和保健信息技术行业协调委员会[COCIR])开展的，该委员会得出的结论是，可以以符合MDR的方式进行部署，但建议应在制定国际标准的支持下提供实用指导。更具体地说，小组建议采用描述软件生命周期过程的国际标准(IEC 62304) [17]应该更新，要求制造商为基于ml的自适应SaMD定义ACP。COCIR的建议已载于该标准的“正在检讨”新版本[36]。我们同意，标准的更新是迈向清晰框架的重要基石，但变化可能需要很长时间的酝酿。简单地更新标准文件可能不会带来欧盟公告机构所要求的清晰度，使他们能够做出批准学习基于ml的SaMD所需的判断。对IEC标准的修改也是离散的，并不能保证欧盟监管框架的凝聚力。此外，标准的更新通常由一个狭窄的领域专家小组进行;在上面的示例中，专家组将主要由医疗设备软件生命周期专家组成。正如FDA充分承认的那样，关于适应性ml - SaMD新监管框架设计的磋商还应汇集上市后监测、RWP测量、临床评估和标签方面的专家以及患者代表。虽然FDA没有特别说明，但我们认为实时自适应机器学习方法的专家也应该成为这些讨论的关键部分，这种方法可能越来越多地用于基于ML的SaMD。等待已久的欧盟指南并没有与人工智能法案草案一起发布，因此对于基于ml的自适应SaMD的acp将有明确的法律要求，但没有详细说明acp应该如何实施。

如果没有为自适应ml的SaMD上市前审查、ACP或制造商对市场上系统的监督提供标准化程序，则对欧盟有几个主要影响。满足要求所需的不明确或未指定的监管方法可能导致框架过于繁重，不值得制造商在特定区域部署其技术。这可能会使那里的患者处于相当不利的地位，因为他们可能无法获得新的诊断、治疗或预防方法，或者可能要经过很长时间才能获得这些方法。不明确的监管策略也可能严重不利于欧盟人工智能业务的增长和繁荣。最后，正如在欧盟和美国医疗器械协调和监管的一般背景下所讨论的[6，37)，不明确的监管要求不太可能起到确保安全的作用，因为它们很可能导致监管监督和执行极不平衡。

目前尚不清楚欧盟对适应性基于ml的SaMD的详细方法将在多大程度上借鉴美国FDA已经进行的进展良好的协商过程的结果。其他国际方法，例如IMDRF和世卫组织/国际电信联盟为机器学习模型基准制定独立标准评估框架的联合策略[38]，也可以为欧盟的做法提供意见;然而，欧盟委员会需要采取一致和迅速的行动，咨询并制定欧盟特定的指导方针，使供应商能够“建立[…]算法及其性能的变化是预先确定的。”本观点已经详细讨论了美国FDA方法的好处，但正如Cohen等人在2020年7月的观点中详细描述的那样[19)，美国做法的某些方面不容易适用于欧盟。在三个领域需要欧盟特定的解决方案:(1)与更新问题相关的欧盟数据保护考虑，(2)欧盟相对不太成熟的RWP监测系统，以及(3)欧盟在公众认知和关于人工智能作用的社区价值观方面的差异。第2点可以通过在拟议的欧盟数据库中针对独立高风险人工智能系统的投诉和事件登记来部分解决，但立法草案中尚未充分定义这一点，无法确定这一点。

我们认为，欧盟需要为基于ml的自适应SaMD acp和RWP监测提供具体指导方针。等待通过统一国际标准来实现协调是一种没有成功记录的方法，目前尚不清楚仅采用国际方法是否足以满足欧盟的特殊情况。这不应该成为欧盟基于ml的SaMD生态系统发展的基础，我们依靠这个生态系统为欧洲社会和经济带来医疗人工智能的好处。我们需要的是一种明确的标准化方法，类似于FDA已有2年历史的方法，该方法为基于ml的SaMD批准、上市后供应商和监管监督设定了明确的程序。这可以通过欧盟医疗器械协调小组发布的指导来实现，无论是否有重点的公众咨询，该小组应该将FDA行动计划、COCIR报告和正在制定的协调标准中涉及的方面结合起来[23，35，36]。

欧盟规管医疗仪器的方法因缺乏协调和确保病人安全的方法而受到批评[37]。尽管这两个方面都因MDR而得到了改善[16]通过为患者提供更大的透明度，以及建立一个中央警戒和PMS数据库(EUDAMED)，市场分散、缺乏透明度和协调的关键潜在问题仍然存在[37]。这一观点所解决的主要问题是，对卫生人工智能的主动监督可能继续缺乏标准化采用，因此欧盟人工智能法案的可能性[32未能实现其协调人工智能监管、确保未来监管和基于欧盟ml的SaMD安全的目标。我们呼吁制定详细的行动计划和公众咨询，与FDA 2020年的方法相呼应，这将使制造商和医学界的其他利益相关者能够就要求进行讨论，并明确了解与监督、市场监督、安全和性能检查点相关的要求，并对基于ml的SaMD采用做出反应(即ACP和相关RWP监测和ACP机制的细节)。