通过卷积神经网络管理重症监护病房医疗消耗品的深度学习方法:技术概念验证研究

简介

重症监护室(icu)的日常工作消耗大量的医疗物资。据估计，他们85%的医疗保健费用由三个成本类别承担，即员工、临床支援服务和消耗性医疗材料[1，2］．后者包括，例如，无菌一次性材料(如静脉导管或手术刀)，身体护理材料(如吸收垫，一次性皮瓣)，或小材料(如针，棉签或抹刀)。国际重症护理资源使用计划(IPOC)的一项研究量化了四个欧洲国家一次性用品的每日成本在139.5欧元(152.9美元[美元])(104.9欧元[115美元]-177.2欧元[194.2美元])和29.6欧元(32.4美元](17.5欧元[19.2美元]-59.7欧元[65.4美元])之间，药物和液体的每日成本在183.3欧元[200.9美元](150.6欧元[165美元]-217.4欧元[238.3美元])和65.3欧元[71.6美元](42.2欧元[46.2美元]-91.5欧元[100.3美元])之间[1］．材料通常集中存储在一个部门的位置，如材料仓库或集中的房间，从那里只取出日常所需的材料，并存储在靠近患者的地方。这与传染性患者尤其相关，因为在患者出院时，出于卫生原因，可能被污染的物质可能必须予以处理。

由于重症监护室治疗的复杂性，重症监护室的融资通常基于固定费率的报销方案[3.]，导致在单位内每天都有固定的住院报销，而不考虑入院原因、疾病或由此产生的开支。在这一方案中，个别医疗或护理措施只有在特殊情况下(如输血或非常复杂的干预)才可获得额外费用。由于上述材料的消费也是由一次性报销的款项提供的，这意味着一次性医疗材料的消费很难按患者的情况进行记录。对于患有某种特定疾病的单个患者需要多少材料在很大程度上是未知的，因此不可能在这方面进行分析，即使这些问题在日常实践中高度相关。对于存储和投资来说尤其如此，因为次优管理会导致不必要的高存储维护成本。此外，从科学的角度来看，及时、准确地记录医疗耗材是至关重要的，在日常科学工作中，医疗措施没有及时记录尤为明显。例如，输液液的管理通常在程序开始几分钟后才被记录。4］．这使得回顾性数据分析(例如在机器学习领域)变得相当困难，因为行动和反应通常与时间密切相关，从而使得对措施和数据分析的科学评估明显更加耗时[5］．

在一些医院，当在患者现场使用一次性材料时，可以通过扫描材料特定条形码来解决这个问题，从而实现针对患者的计费。然而，这意味着每一件物品都需要用单独的代码标记。无线射频识别(RFID)的使用已在病人护理的情况下进行评估，但这需要安装专门的阅读器基础设施和相关的管理系统[6］．然而，由于其物理结构或相对于标记技术的低价格，应用上述技术对相关部分材料(如棉签、针)进行识别是不可能的。对于这一问题，迫切需要一种智能的、具有成本效益的解决方案，开发的解决方案必须符合ICU的具体需求，具有以下特点:(1)识别没有明确标签的材料(如条形码、射频标签);(2)达到icu的高质量和卫生标准(理想情况下尽量减少接触互动);并且(3)具有最小的资源消耗(如成本、时间、训练和计算能力)[7］．最值得注意的是，该系统必须满足重症监护医学敏感领域的高数据保护要求。

本工作的目的是开发和评估一种基于卷积神经网络的新型医疗耗材客户-服务器识别系统Consumabot，以解决重症监护医学领域的上述挑战。我们首先描述了技术背景(硬件和机器学习)，考虑到ICU行业的具体限制和挑战。在概念验证研究中，我们评估了系统在真实ICU环境的不利情况下的性能，评估了在现实世界医院环境中应用的可行性。

方法

总体布局

我们对icu的技术、医疗和经济环境进行了全面分析，并确定了系统的具体需求。这包括对耗材进行视觉和非接触识别的必要性的识别，以及在病床附近进行检测以方便分配给单个患者。基于这些考虑，我们开发了Consumabot的分布式概念:多个低成本的检测单元位于靠近病床的位置，然后这些单元通过无线连接到具有高计算能力的本地训练服务器，进行模型训练。此服务器直接连接到医院数据库和电子健康记录(EHR)后端(图1)。

‎ 查看此图

硬件设置

床头检测单元(客户端)的硬件平台选择了市售的单板计算机树莓派。树莓派是一种廉价、广泛使用的小型单板计算机，最初是为了促进学校和发展中国家的基础计算机科学教学而开发的。该系统架构由剑桥大学开发，现在由慈善基金会树莓派基金会推广。8］．低功耗，不需要主动冷却，可连续运行数周，是床头检测单元的理想平台。由于该系统的普及，多功能扩展是可用的(例如，一个强大的摄像头和卫生的外壳)。事实上，树莓派已经广泛应用于医疗保健领域的不同物联网(IoT)应用。9-11］．

在这项工作中，我们专门使用树莓派3 Model B作为检测单元(客户端)，配备了四核处理器ARM Cortex A53，一个网络和无线网卡，以及1gb的随机可访问内存。树莓派基金会2.1版的官方摄像头模块，分辨率为800万像素(图2B)，以及带有7英寸显示屏的触摸屏监控模块，用于与软件交互(图2D)被使用了。整个装置安装在一个稳定的聚乙烯外壳内(图2C)，摄像机使用平带状电缆定位(图2e).局部识别模块无法用于神经网络的训练，因为处理器的计算能力太低，导致训练时间过长。

‎ 查看此图

因此，建立了一个计算能力更强的训练服务器。该服务器配备了Intel Xeon Gold 6140处理器和四个专用处理器核，在单状态硬盘上有40gb的存储空间，在常规磁性硬盘上有320gb的存储空间用于生成的训练数据。识别模块和服务器都使用Debian发行版中的开源操作系统Linux [12］．

培训设置和机器学习方案

Consumabot的软件骨干是用Python开发的，Python是机器学习领域经常使用的编程语言。Python的一个主要优势是广泛的机器学习工具的可用性，如NumPy，用于数据预处理，scikit-learn，用于数据挖掘，或Keras作为高级神经网络接口。为了对机器学习后端建模，我们采用了卷积神经网络(CNN) [13］．卷积(折叠)结构使cnn特别适合处理视觉信息，特别是在图像识别和分类领域[14-16］．然而，人工开发神经网络非常耗时，因此经常使用已经开发出基本数学和预处理步骤的软件框架。Consumabot使用软件库TensorFlow，一个简化以数据流为中心程序编程的软件框架[17]，并且在Consumabot的源代码中包含了一些用于重新训练图像分类器的改编编程代码元素[18］．由于完整神经网络的训练是一个复杂且计算密集的过程，我们应用了一种称为迁移学习的技术，这是一种机器学习方法，其中为一个任务开发的模型被重用为第二个任务的模型的起点[19］．在迁移学习中，基本的处理图像识别步骤，如边缘、物体、图片元素的识别，已经在许多迭代步骤中进行了训练，而分类任务只在最后一步分配给神经网络，这类似于对婴儿的训练。然而，需要注意的是，分类的质量取决于各自网络训练的特异性。因此，在图像上训练的神经网络在这个领域比在自然语言处理等领域获得更好的结果，这就需要选择一个特定于任务的、合适的、预训练的网络。

在训练的第一步中产生了瓶颈，它们是位于输出层正下方的网络层[20.］．由于每个图像都被使用了几次，因此瓶颈在训练期间不会改变，因为它们可以创建一次并临时存储。在第二步中，从训练数据集中选择一组随机图像，并将其与瓶颈相关联，放置在输出层中。然后将网络分类的预测与正确的分类进行比较，向后调整层的权重(反向传播)[21］．使用Tensorboard(一种用于监控神经网络训练的软件)跟踪分类精度和训练进度[17，21］．

分类与反馈

系统的内部结构必须考虑ICU环境的特殊性。探测模块的摄像头每秒钟拍摄一张照片，并将其存储在存储卡上。来自相机的图像被呈现给识别单元的训练模型，然后预测被识别物体的概率。如果检测到空表面以外的任何物体，则选择具有最大概率的识别对象并呈现给用户。按下存储在数据库中按钮，然后将材料注册到培训服务器的数据库中。这导致了对人类分类的额外确认步骤，因为只有被确认分类正确的图像才会被纳入进一步的训练。为了便于在线学习，每隔一段时间将存储的正确识别材料的图像作为训练数据传输到训练服务器，训练神经网络模型。得到的模型(重新训练的图)分布在识别单元之间，从而能够更好地识别所需的消耗品。最后，利用控制服务器的数据库对数据进行进一步处理，进行分析或优化。

现场研究

完成培训后，我们在亚琛大学医院的ICU安装了硬件。由于特定的照明和环境条件，在真实的ICU条件下测试系统是必须的。中指定的20个对象文本框1利用摄像头的识别单元进行分类。物体的不同旋转和方向被选择来对应实际的应用领域。为了模拟典型临床工作流程的不利情况，我们总共模拟了三种场景:(1)场景一，材料的呈现对检测单元没有任何视觉障碍;(2)场景二，在常规临床工作流程中，材料被覆盖50%以模拟视觉障碍;(3)场景三，次要材料(皮肤消毒瓶)出现在视野中，而该材料呈现时没有视觉障碍。

每种材料向系统呈现10次。如果一个物体正确地出现在屏幕上是最可能的分类(准确度最高)，那么它就被归类为正确。

硬件设置和训练过程的完整视频可以在多媒体附件1．

我们进行了重复测量，采用Geisser-Greenhouse校正的单向方差分析(ANOVA)和Tukey 's多重比较检验，对每个比较计算个体方差。这是为了评估场景2和场景3中不利条件与场景1中无遮挡视图的影响。所有计算均使用GraphPad Prism 8.1.2 (GraphPad Software Inc, San Diego)进行。

结果

主要研究结果

我们在一个真正的ICU环境中训练系统，考虑到特殊的照明条件和其他情况。我们从不同类别、不同尺寸、不同格式中随机选取了共20种常见医疗耗材进行系统现场培训(文本框1)。向系统提供了一个空场景，其中没有任何材料作为参考。

系统的建立和培训

图3显示了Consumabot的整体设置。最初的训练是使用新开发的数据生成脚本进行的，生成了一系列100张待识别医疗耗材的图像。总共生成了2000张图像。对于训练，我们使用1800/2000(90%)张图像，并从这个训练集中随机挑选200张图像进行验证。最后，选取剩余的200/2000(10%)进行测试。我们运行系统500个epoch，或训练步骤(训练、验证和测试)，每个epoch每个项目包含100个随机选择的图像。

CNN的顶层接收每个图像的1001维向量作为输入，我们在这个向量表示之上训练一个softmax层[22］．假设softmax层包含N个标签，这对应于学习到的权值和偏差对应的1001 × N个模型参数的学习。

为了选择合适的网络，我们考虑了不同卷积神经网络的识别精度。为此，我们使用了排名前1的分数[23］．简而言之，在此过程中，预测类多项分布()，并与顶部分类的外观进行比较作为目标标签(具有最高的概率)。然后计算前1分，即预测标签与目标标签匹配的次数，除以评估的数据点数。选择正确的模型还需要考虑计算需求，因为识别模块的计算能力是有限的。比较MobileNet、AlexNet、GoogleNet和VGG16，我们决定应用MobileNet，这是一种用于移动和嵌入式视觉应用程序的高效模型，作为低计算能力要求和图像分类高精度之间的妥协[24］．

‎ 查看此图

训练设置和机器学习方案的评估

图4展示了学习算法在训练和验证数据集上的性能。在60个训练步骤和150个验证步骤之后，我们观察到模型预测的准确率为>99%，这是由真阳性与总出现次数的关系定义的。在训练阶段，预测精度逐渐接近并保持不变，显示出较高的预测精度。值得注意的是，没有过度拟合的迹象[25]，这种现象表现为训练精度的增加或不变，而验证精度则观察到下降。因此，由于我们的模型没有显示出任何过度学习的迹象，因此对学习模型输出的泛化是适用的。平滑线性滤波器的解释多媒体附件2．

‎ 查看此图

像所有常见的机器学习技术一样，所使用的模型也需要一个必须最小化的代价函数。我们使用交叉熵作为代价函数[26]:

我们应用这个函数来量化训练集和验证集的两个概率分布之间的差异。如图5，我们的模型显示了一个理想的交叉熵<0.03，在验证集大约170个迭代步骤和训练集100个迭代步骤后具有渐近稳定性(图5)。至于图4，平滑线性滤波器解释为多媒体附件2．

‎ 查看此图

中提供了完全训练的模型(图可视化、再训练图、标签列表)多媒体附录3而且4．

现场研究

然后，我们在亚琛大学医院的ICU进行了现场研究，考虑到特殊的照明条件和由于临床工作流程造成的不利情况。20种消耗品中的每一种都被展示给检测单元10次，如果它们在屏幕上正确出现且相关概率最高(表1)。对于全新的消耗品或重新训练的数据生成，如果先前训练的消耗品显著改变了其外观，则大约需要100秒(每张图片1秒，100张图片)。如方法部分所述，我们模拟了不利的视觉条件。出于可比性考虑，模型训练中不包含人类反馈，仅根据前100张训练图像进行分类。在表1，精度以1的分数提供，因为在0.7识别精度代表70%(7/10)正确的预测。

在无障碍物视觉条件下，模型表现出良好的识别性能，平均识别精度为0.85 (SD为0.11)。具有大表面积和许多可区分的视觉特征的材料(例如一次性袋式阀口罩[平均识别精度1.0]或无菌注射器[平均识别精度0.9])具有特别好的检出率。对于只能通过颜色区分的材料(例如，不同颜色的静脉[IV]通道)，Consumabot对灰色静脉通道(平均0.8)和橙色静脉通道(平均0.6)的识别精度较低(图6，表1)。

在材料表面积被50%覆盖的情况下，系统显示出较低的，但仍可接受的平均识别精度为0.71 (SD 0.13)。对于表面小或特征不太明显的材料(例如氧气管)，识别精度在它被覆盖(平均0.9)和被覆盖(平均0.6)之间下降了0.3。

在场景中存在多个元素的场景中评估系统的性能，结果显示平均识别精度为0.78 (SD为0.11)。与场景中出现的次要材料相比，对于小元素，这主要导致识别精度下降(例如，对于无覆盖场景中的药物安瓿[平均0.8]，而对于多元素场景[平均0.6])。

我们还进行了重复测量的方差分析，以量化不同场景的影响，代表不利的现实环境。方差分析和其他统计分析的结果给出表2-4．

‎ 查看此图

组间观察结果的独立性，无球形，并假设分析为正态分布。方差分析结果显示各组间差异显著(F=16.2;P<措施;R²= 0.46)事后Tukey多重比较检验分析显示，未覆盖队列与部分覆盖队列之间存在显著差异(P=措施;95% ci 0.08-0.2)。在未覆盖的场景和有多个消耗品的场景之间还观察到了进一步的显著差异(P=措施;95% CI 0.02-0.11)，但非覆盖组与多种消耗品之间的差异无统计学意义(P= 0。06)。

讨论

在这项工作中，我们开发并评估了Consumabot，这是一种新型的非接触式视觉识别系统，用于跟踪icu中的医疗耗材，使用分布式客户机-服务器架构上的深度学习方法。在我们在真实ICU环境中的概念验证研究中，我们观察到该系统在医疗耗材选择方面具有很高的分类性能，从而证实了其在现实世界医院环境中的广泛适用性。

在基础数学研究和技术进步的基础上，今天的机器学习技术有潜力推动icu朝着更可持续的、数据驱动的环境发展。特别是，来自其他科学学科的贡献，如生物学和工程学，在神经网络的质量和可用性方面取得了重大突破，从而形成了Consumabot的骨干。开发处理复杂视觉信息的软件不再是一项需要专门硬件和软件的任务，因为现在甚至不需要专业知识就可以训练复杂的神经网络。这使得研究人员和医疗专业人员能够将人工智能的应用扩展到今天的商业应用之外，例如在自然语言处理领域[27，28]，或意图，或模式分析[29]，在不断增长的数据量中。

在这项工作中，我们展示了在ICU背景下应用基于设备的、基于深度学习的光学材料识别计算平台的可行性。使用卷积神经网络基础设施，Consumabot系统在耗材分类方面一直取得了良好的效果，因此是一种直接识别医疗耗材并将其登记到医院EHR系统的可行方法。选择基于MobileNet的迁移学习技术可以保证快速的训练时间，同时保持稳定的高识别率，在保持适度的模型大小的同时实现高精度和低计算需求的最佳妥协。使用光学识别方法考虑到ICU的特定条件，例如需要低维护、卫生、无接触的解决方案。MobileNet的使用使我们能够将Consumabot应用于成本低廉、计算能力较弱的树莓派平台，同时保持可接受的识别速度。这证实了在医疗保健领域使用树莓派平台的可行性，正如之前的多部作品所描述的那样[11，30.，31］．即将到来的单板计算机计算能力的增加可能会使系统的分布式客户-服务器结构变得不必要，因为训练可以直接在识别单元上进行。这将使其能够在没有网络连接的环境中直接使用(如农村地区)，有可能促进欠发达的医疗基础设施和卫生保健系统中的科学研究。因此，我们相信，Consumabot最终将使医院降低与耗材相关的成本，从而使他们能够将资源用于更高质量的护理(例如，通过雇用更多的医疗人员)。

然而，进行的现场研究显示出优化的潜力，特别是对于标准医疗耗材(例如，不同尺寸的静脉通道)，因为它们没有显示出完全令人满意的识别率。如果区分特征不清晰可见，部分被遮盖，或者场景中存在多个消耗品，就会发生这种情况。为了解决这个问题，推荐用户培训课程，并注明必须清楚地展示识别功能。此外，由于实施了Consumabot的反馈机制，在ICU的日常使用中，随着训练数据的增加，模型的性能可能会提高。需要进一步开发该软件，并评估其使用更大规模医疗耗材的性能。探测单元不知道的物体的出现导致预测可信度低。在我们的原型中，我们展示了这个信心因子(参见多媒体附件1)发给使用者。当在许多对象对系统未知的场景中使用Consumabot时(例如，如果系统只用于检测某些对象)，软件应该调整为只显示高于某个置信度阈值的预测。此外，需要评估并行运行的多个检测单元的性能，因为可能会发生模型分布中的潜在冲突。

但总的来说，结果是令人满意的，足以促进耗材在实践和研究中的进一步使用和开发。该系统在保证icu质量和卫生标准的同时，满足了无明确标识的材料识别要求。该系统将使回顾性数据分析(例如，在机器学习领域)变得相当容易，并使行动和反应之间直接相关的时间关键研究成为可能。该原型机的能力可能会通过集成视觉、多目标检测算法而得到增强，从而使其能够并行检测多个目标。此外，通过集成麦克风阵列来支持语音命令，可以减少对触觉手动确认的需求。检测单元的完整源代码、预训练模型和训练脚本已在开源许可证Apache 2.0下发布，2004年1月[32]，并随手稿发布了详细的组装说明，以鼓励和帮助其他研究人员为系统的开发做出贡献，并在不增加ICU患者经济负担的情况下评估系统在其他用例中的可用性和可行性[33］．