JMIR J医疗互联网服务 医学互联网研究杂志 1438 - 8871 卡塔尔世界杯8强波胆分析 加拿大多伦多 v24i1e34415 34982041 10.2196/34415 原始论文 原始论文 一种深度残差U-Net算法自动检测和定量腹水的腹水计算机断层扫描图像在急诊科获得:模型开发和验证 Eysenbach 冈瑟 Changwon Tianlin Ko 胡恩 MSc 1 https://orcid.org/0000-0001-7807-215X 吉米 医学博士 2 https://orcid.org/0000-0002-8832-6165 Kyung赢得 医学博士 3. 4 https://orcid.org/0000-0002-1532-5970 Heewon MSc 1 https://orcid.org/0000-0002-4039-1419 Ko Yousun 博士学位 5 https://orcid.org/0000-0002-2181-9555 洁马 医学博士 2 https://orcid.org/0000-0001-9018-4971 Jei昭熙 医学博士 2 https://orcid.org/0000-0002-2231-820X Jinseok 博士学位 1
生物医学工程系 庆熙大学 1732年,Deogyeong-daero Giheung-gu Yongin-si 17104 大韩民国 82 312012570 gonasago@khu.ac.kr
https://orcid.org/0000-0002-8580-490X
生物医学工程系 庆熙大学 Yongin-si 大韩民国 放射科 亚洲大学医学院 大韩民国 放射科 峨山医院 蔚山大学医学院 首尔 大韩民国 放射学研究所 峨山医院 蔚山大学医学院 首尔 大韩民国 生物医学研究中心 峨山生命科学研究所 峨山医院 首尔 大韩民国 通讯作者:Jinseok Lee gonasago@khu.ac.kr 1 2022 3. 1 2022 24 1 e34415 22 10 2021 15 11 2021 30. 11 2021 30. 11 2021 ©Hoon Ko, Jimi Huh, Kyung Won Kim, Heewon Chung, Yousun Ko, Jai Keun Kim, Jei Hee Lee, Jinseok Lee。最初发表于《医疗互联网研究杂志》(//www.mybigtv.com), 03.01.2022。 2022

这是一篇开放获取的文章,根据创作共用署名许可(https://creativecommons.org/licenses/by/4.0/)的条款发布,允许在任何媒介上无限制地使用、分发和复制,前提是正确引用最初发表在《医学互联网研究杂志》上的原创作品。必须包括完整的书目信息,//www.mybigtv.com/上的原始出版物的链接,以及此版权和许可信息。

背景

在计算机断层扫描(CT)图像上检测和定量腹腔内游离液(即腹水)是发现紧急或紧急情况的必要过程。在急诊科,腹水的自动检测和定量将是有益的。

客观的

我们的目标是开发一种人工智能(AI)算法,用于使用单一深度学习模型(DLM)同时自动检测和量化腹水。

方法

我们开发了基于深度残差U-Net、U-Net、双向U-Net和复发残差U-Net (R2U-Net)算法的二维DLMs,用于在腹腔CT图像上分割腹水区域。基于分割结果,DLMs将CT图像分为腹水图像和非腹水图像,检测腹水。AI算法使用来自160名受试者(80名有腹水,80名没有腹水)的6337张CT图像进行训练,并使用来自40名受试者(20名有腹水,20名没有腹水)的1635张CT图像进行测试。评估了人工智能算法对腹水检测的诊断准确性和腹水区域分割的准确性。在这些DLMs中,我们提出了一种性能最好的AI算法。

结果

深度残差U-Net模型的分割精度最高,平均交叉/联合(mIoU)值为0.87,其次是U-Net、双向U-Net和R2U-Net模型(mIoU值分别为0.80、0.77和0.67)。深层残差U-Net模型的检测精度最高(0.96),其次是U-Net、双向U-Net和R2U-Net模型(分别为0.90、0.88和0.82)。深度残差U-Net模型也具有高敏感性(0.96)和高特异性(0.96)。

结论

我们提出了一种基于深度残差u - net的人工智能算法,用于腹腔CT扫描腹水的自动检测和定量,该算法性能优异。

腹水 计算机断层扫描 深层剩余u型网 人工智能
简介

目前,腹部和骨盆的计算机断层扫描(CT)仍然是因腹痛或创伤而到急诊科就诊的患者的主要方式,特别是在时间紧迫的情况下[ 1].在紧急情况下,需要立即进行CT评估,但有限的放射资源可能会阻碍或延迟对需要紧急干预或手术的患者的识别[ 2].为了克服这些挑战,使用深度学习模型(DLM)来检测CT图像上的关键发现的人工智能(AI)技术的发展可能是一种可能的解决方案[ 3.].

在腹腔CT图像上,一些表现表明紧急或紧急情况,包括腹水(即腹腔内游离液体)、游离气体、脓肿和脂肪滞留[ 1].其中,腹水是各种急腹症和腹腔内器官损伤的常见症状[ 4].此外,腹水的定量也很重要,因为游离液的量可能与损伤的严重程度有关[ 5].

只有一项研究开发了一种检测腹水的DLM,但DLM没有量化液体的量。该研究使用卷积神经网络(CNN)分类算法区分有流体的CT图像和没有流体的CT图像,其灵敏度达到85%,特异性达到95% [ 3.].与该研究相比,我们尝试开发一种AI分割算法,可以同时进行腹水的检测和腹水体积的量化。分割值为零表示没有腹水,腹水面积的分割值可以用来量化腹水的确切体积。此外,我们尝试提高AI算法的检测精度。

最近,一些最先进的用于CT图像分割的DLM算法被提出,包括U-Net [ 6],双向U-Net [ 7],循环残差U-Net (R2U-Net) [ 8],深度残差U-Net CNN [ 9].U-Net是一种具有编码器-解码器架构的深度学习网络,它采用跳过连接来结合编码器的低级特征映射和解码器的高级语义特征映射。由于U-Net允许同时使用位置和上下文,并且只需要很少的训练样本就能很好地工作,因此在医学图像分割中得到了广泛的应用[ 10- 13].此外,基于U-Net的各种模型,如双向U-Net、R2U-Net和深度残差U-Net已应用于医学图像分割。

其中,我们假设深度残差U-Net可能是分割的最佳算法,因为它结合了残差学习和U-Net的优点。残差网络有几个优点[ 14- 16].首先,它加快了深度网络的训练速度。其次,通过增加网络深度而不是扩大网络,它需要更少的参数。第三,它减少了梯度消失问题的影响。最后,它提供了较高的网络性能,特别是在图像分类和分割精度。但是,目前还没有报道使用深度残差U-Net算法对CT图像上的腹水进行分割。因此,我们的目标是开发一种优化的深度残差U-Net算法来检测和量化CT图像上的腹水,并与其他最先进的网络进行性能比较。

方法 病人

本研究得到亚洲大学医院机构评审委员会的批准。知情同意被放弃。从2020年1月1日至3月1日,共有1055名患者前往急诊室并进行了腹腔CT扫描。其中205例患者在CT图像上发现腹水。排除5例仅行CT平扫的患者后,我们将200例患者纳入腹水组。在其余850例无腹水的患者中,我们选择了200例年龄和性别匹配的对照组,使用R软件(4.0.2版本;R基金会)。从腹水组和对照组的患者中,我们随机选择了100名腹水患者和100名无腹水患者进行AI模型的训练和测试。

总结对照组和腹水组患者的临床特点 表1.对照组200例患者中,原因不明的腹痛(n=140, 70.0%)是腹盆CT正常最常见的疾病类别。相反,在腹水组,200例患者中,癌症(n=42, 21.0%)、肝硬化(n=52, 26.0%)、钝性创伤(n=37, 18.5%)和感染(n=28, 14.0%)是急诊科就诊的主要原因。腹水主要发生在盆腔。

对照组和腹水组参与者的人口统计学和临床资料。

变量 对照组(n=200) 腹水组(n=200)
人口统计资料
性别,n (%)
92 (46.0) 101 (50.5)
男性 108 (54.0) 99 (49.5)
年龄(年),平均值(SD) 59.7 (13.8) 60.2 (15.3)
腹水量,n (%)
0 (0) 92 (46.0)
温和的 0 (0) 47 (23.5)
0 (0) 61 (30.5)
疾病类别,n (%)
癌症 14 (7.0) 42 (21.0)
充血性心力衰竭 0 (0) 3 (1.5)
肝硬化 1 (0.5) 51 (25.5)
急性肝衰竭 0 (0) 3 (1.5)
感染 7 (3.5) 28日(14.0)
腹部钝伤 5 (2.5) 37 (18.5)
术后状态 32 (16.0) 5 (2.5)
肠梗阻 1 (0.5) 10 (5.0)
肾功能衰竭 0 (0) 10 (5.0)
腹痛原因不明 140 (70.0) 11 (5.5)
CT图像采集与分析

所有患者均使用多通道多探测器扫描仪(Somatom Definition Edge或Somatom Definition AS, Siemens Healthineers)进行腹腔CT扫描。通过静脉注射100 - 150ml非离子造影剂(Iopamiro 300, Bracco Imaging;Omnipaque 300, GE Healthcare),速率为2.5至3 mL/s。扫描参数如下:光束准直,0.75 mm;切片厚度,5mm;有效管电流-时间充电,200 ~ 260 mAs;电压,100至120千伏安。在本研究中,我们只使用对比增强CT图像。如果有多相CT图像,我们选择门静脉期CT图像进行AI训练和验证。

腹部放射科专家(JH,有13年经验)从腹水组(100例患者2461张图像)中选择了显示腹水的CT切片。然后,放射科医生从对照组(100名患者的5511张图像)中选择相应的CT切片。放射科医生使用ImageJ软件(version 1.53j;美国国立卫生研究院(National Institutes of Health)),这些都是基本事实的标签。

训练与验证数据集与扩充

表2总结训练数据集和测试数据集,将训练数据集和测试数据集按8:2的比例随机分层分为训练集和测试集。该测试集仅用于开发模型的独立测试,从未用于训练和内部验证。

然后将训练数据集进一步分离,用于训练模型(训练集的80%)和进行内部验证(训练集的20%)。为了平衡两组图像并减少对训练数据的过拟合,我们采用了图像增强。我们随机绘制训练图像,并将其应用于-10到10度之间的角度旋转和垂直和水平翻转的随机组合。最后,总共增强了48,874张CT图像:24,437张来自腹水患者,24,437张来自健康受试者。

训练和测试数据集的摘要。

集团 训练数据,n (%) 测试数据,n (%) 总计,n (%)
主题(n = 160) 图像(n = 6337) 主题(n = 40) 图像(n = 1635) 主题(n = 200) 图像(n = 7972)
腹水 80 (50.0) 1969 (31.1) 20 (50.0) 492 (30.1) 100 (50.0) 2461 (30.9)
控制 80 (50.0) 4368 (68.9) 20 (50.0) 1143 (69.9) 100 (50.0) 5511 (69.1)
预处理

对于训练和测试数据集中的所有图像,我们首先根据医学数字成像和通信(DICOM)标准设置腹部窗口,即窗口宽度为400 Hounsfield Unit (HU),窗口水平为60 HU。随后,我们将DICOM图像和掩码图像从512 × 512像素的图像向下采样到256 × 256像素,并将像素值归一化到0到1之间。

深度剩余u型网

提出了一种基于单张腹部CT图像的腹水区域分割模型,该模型采用深度残差U-Net算法。 图1展示了我们提出的模型的体系结构,它由三个部分组成:编码器、桥接器和解码器。在编码器部分,作为输入的标准化256 × 256像素图像被编码成更密集的表示。另一方面,解码部分通过像素级分类恢复腹水区域。桥接部分连接编码和解码部分。

在本研究中,我们使用残差学习方法来促进深度神经网络的训练,并利用腹部CT图像中腹水分割性能的提高。每个残差块由两条路径组成。一条路径是经过批处理归一化、激活和卷积层的前向传递,这些层重复两次。另一条路径是跳过连接。两个路径的输出被添加为单个输出。在编码器部分(即残差块1-4),残差块的输出被馈送到后续残差块和解码器部分的残差块之一(即残差块6-9)。因此,在解码器部分,剩余块有两个输入:一个来自编码器,另一个来自之前的剩余块输出。在桥接部分,另一个残差块(即残差块5)连接编码部分和解码部分。在这项研究中,我们发现每个编码器和解码器部分的四个残差块在腹水分割中提供了最好的性能。我们将在结果部分描述我们的数值结果和比较。 For all residual blocks, we used the rectified linear unit activation function.

表3总结了卷积层的超参数和每个残差块的输出大小。将归一化的256 × 256 × 3像素图像作为输入输入残差块1,在残差块1中使用两个卷积层,其中有32个3 × 3像素内核,步幅为1,填充为零。将残差块1中大小为256 × 256 × 32像素的激活图分别输入残差块2和残差块9。在残差块2中,我们使用了两个具有64个3 × 3像素内核的卷积层,步长为2和1,填充为零。将残差块2中大小为128 × 128 × 64像素的激活图分别输入残差块3和残差块8。在残差块3中,我们使用了两个具有128个3 × 3像素内核的卷积层,步长为2和1,填充为零。将残差块3中大小为64 × 64 × 128像素的激活图分别输入残差块4和残差块7。在残差块4中,我们使用了两个具有256个3 × 3像素内核的卷积层,步长为2和1,填充为零。将残差块4中大小为32 × 32 × 256像素的激活图送入残差块5,在残差块5中,我们使用两个卷积层,具有512个3 × 3像素内核,步长为2和1,填充为零。

将残差块5中大小为16 × 16 × 512像素的激活图馈送到残差块6中,在残差块6中输入先上采样到32 × 32 × 512像素。在残差块6中,我们使用了两个具有256个3 × 3像素内核的卷积层,步幅为1,填充为零。将残差块6中大小为32 × 32 × 256像素的激活图输入残差块7中,并与残差块3的输出进行拼接。当两个输入连接起来时,残差块6的输出被上采样以匹配大小。在残差块7中,我们使用了两个具有128个3 × 3像素内核的卷积层,步幅为1,填充为零。将残差块7中大小为64 × 64 × 128像素的激活图输入残差块8中,向上采样并与残差块2的输出进行拼接。在残差块8中,我们使用了两个具有64个3 × 3像素内核的卷积层,步幅为1,填充为零。将残差块8中大小为128 × 128 × 64像素的激活图输入残差块9中,向上采样并与残差块1的输出进行拼接。在残差块9中,我们使用了两个具有32个3 × 3像素内核的卷积层,步幅为1,填充为零。

然后将大小为256 × 256 × 32像素的激活映射以单个1 × 1像素内核和步幅为1输入卷积层。生成的大小为256 × 256 × 1像素的激活图最终被送入sigmoid层,该层提供了腹水存在或不存在的像素概率。

我们提出的基于单个腹部计算机断层扫描(CT)图像的腹水区域分割模型的架构。ReLU:整流线性单元。

根据每一层和单位层的卷积层的超参数。

模型部件、单元级别和层 内核 的进步, 输出大小,像素
滤镜大小,像素 过滤器、n
输入
N/A一个 N/A N/A N/A 256 × 256 × 3
编码器
剩余块1
卷积层1 3 × 3 32 1 256 × 256 × 32
卷积层2 3 × 3 32 1 256 × 256 × 32
剩余块2
卷积层3 3 × 3 64 2 128 × 128 × 64
卷积层4 3 × 3 64 1 128 × 128 × 64
剩余块3
卷积层5 3 × 3 128 2 64 × 64 × 128
卷积层6 3 × 3 128 1 64 × 64 × 128
剩余块4
卷积层7 3 × 3 256 2 32 × 32 × 256
卷积层8 3 × 3 256 1 32 × 32 × 256
剩余块5
卷积层9 3 × 3 512 2 16 × 16 × 512
卷积层10 3 × 3 512 1 16 × 16 × 512
译码器
剩余块6
卷积层11 3 × 3 256 1 32 × 32 × 256
卷积层12 3 × 3 256 1 32 × 32 × 256
剩余块7
卷积层13 3 × 3 128 1 64 × 64 × 128
卷积层14 3 × 3 128 1 64 × 64 × 128
剩余块8
卷积层15 3 × 3 64 1 128 × 128 × 64
卷积层16 3 × 3 64 1 128 × 128 × 64
剩余块9
卷积层17 3 × 3 32 1 256 × 256 × 32
卷积层18 3 × 3 32 1 256 × 256 × 32
输出
N/A
卷积层19 1 × 1 1 1 256 × 256 × 1
N/A
乙状结肠层 N/A N/A N/A 256 × 256 × 1

一个N/A:不适用;此模型部件不包含此参数。

实现

我们使用TensorFlow包(版本1.14.0)实现了我们提出的模型,该包提供了一个Python(版本3.6.8;Python软件基金会)应用程序编程接口的张量操作。我们还使用Keras(版本2.2.4)作为TensorFlow的官方前端。我们使用Adam优化器训练模型,学习率为0.0001,批大小为16,损失函数为二进制交叉熵和骰子损失[ 17]在GeForce GTX 1080 Ti GPU (NVIDIA Corporation)上。

性能评价采用5倍交叉验证,验证其泛化能力。对增强训练数据集(n=48,874)进行随机洗牌,分层分为5个相等的组。随后,选择四组进行模型训练,其余组用于验证。通过移动内部验证组,这个过程重复了五次。然后,根据每个历元对五个内部验证组的平均验证成本求平均值,找出验证成本最低的最优历元。只有在使用训练和验证数据集对模型进行完全训练后,才对测试数据集进行评估。

绩效评估

我们首先研究了剩余块数的影响。为了进行比较,我们对2到5个残留块重复了5次交叉验证的相同程序。为了进一步的性能比较,我们将我们提出的方法与U-Net [ 6],双向U-Net [ 7],及R2U-Net [ 8].

对于分割评估,我们量化了平均交集除以联合(mIoU),它被定义为交集的大小除以联合的大小。特别是对于非腹水图像,没有像素被分割,因为我们将值量化为零。如果非腹水图像没有分割结果,我们将其值量化1。

除了分割性能,我们还评估了检测性能。如果mIoU值等于或大于某个阈值,则通过腹水图像进行声明。对于检测性能,我们绘制了受试者工作特征(ROC)曲线,并计算了ROC曲线下的面积(AUROC)。随后,我们还评估了敏感性、特异性、准确性、平衡准确性、精密度和F1评分。更具体地说,我们计算了真阳性(TPs)、假阳性(FPs)、真阴性(TNs)和假阴性(FNs),并计算了以下指标:

灵敏度= TP / (TP + FN) (1) 特异性= TN / (TN + FP) (2) 精度= (TP + TN) / (TP + TN + FP + FN) (3) 平衡准确度=(敏感性+特异性)/ 2 (4) 精度= TP / (TP + FP) (5) F1得分= 2 ×(灵敏度×精度)/(灵敏度+精度) (6)

其中TP是正确归类为腹水的腹水数据量,TN是正确归类为正常的非腹水数据量,FP是错误归类为腹水的非腹水数据量,FN是错误归类为正常的腹水数据量。两位腹部放射科医生(JH和KWK)也通过系统回顾所有原始CT图像和测试数据集的AI结果,评估了影响腹水检测和分割性能的因素。

结果 交叉验证中的性能

表4总结了各种人工智能模型分别使用mIoU和AUROC对腹水分割性能和腹水检测精度的交叉验证结果。具有不同残差块数的深度残差U-Net模型通常比其他最先进的方法提供更高的mIoU和AUROC值[ 6- 8].在具有不同残差块数的深度残差U-Net模型中,具有4个残差块的模型分割性能mIoU最高(0.87),检测性能AUROC最高(0.99)。具有4个残差块和5次交叉验证的深度残差U-Net模型的训练计算时间为27小时。测试的总体计算时间为30分钟。

训练数据集的交叉验证结果,比较mIoU的分割性能和AUROC的跨模型检测。

模型 mIoU一个(SD) AUROCb(SD)
深残U-Net(两块残块) 0.86 (0.03) 0.97 (0.02)
深残U-Net(3个残块) 0.86 (0.02) 0.98 (0.01)
深残U-Net(4个残块) 0.87 (0.02) 0.99 (0.01)
深残U-Net(5个残块) 0.69 (0.46) 0.69 (0.01)
U-Net [ 6 0.84 (0.02) 0.96 (0.01)
双向U-Net [ 7 0.82 (0.01) 0.91 (0.01)
经常性剩余U-Net [ 8 0.74 (0.02) 0.90 (0.01)

一个mIoU: mean intersection over union;这是分割性能的一个指标。

bAUROC:受试者工作特征曲线下面积;这是检测精度的一个指标。

我们还研究了每个残差块中卷积层数的影响。 表5总结了卷积层数由2层变为4层时的交叉验证结果。结果表明,每个残差块中有2个卷积层的深度残差U-Net模型mIoU(0.87)和AUROC(0.99)值最高,其次是3个卷积层(mIoU=0.83, AUROC=0.98)和4个卷积层(mIoU=0.69, AUROC=0.69)。

每个残差块中卷积层数对与训练数据集交叉验证结果的影响。

模型 mIoU一个(SD) AUROCb(SD)
深度残差U-Net,每个残差块有两个卷积层 0.87 (0.02) 0.99 (0.01)
深度残差U-Net,每个残差块有三个卷积层 0.83 (0.03) 0.98 (0.02)
深度残差U-Net,每个残差块有四个卷积层 0.69 (0.02) 0.69 (0.01)

一个mIoU: mean intersection over union;这是分割性能的一个指标。

bAUROC:受试者工作特征曲线下面积;这是检测精度的一个指标。

测试数据集的性能

表6总结了使用mIoU的分割性能和使用AUROC的检测精度的测试数据结果,当卷积层数从2到4变化时。与交叉验证结果相似,这些结果也表明,具有四个残差块包括两个卷积层的深度残差U-Net模型在隔离测试数据集(n=1635)下具有最高的mIoU(0.87)和AUROC(0.96)。

利用每个残差块中的两个卷积层,我们还对分割和检测性能进行了评估和比较。为了进行性能比较,我们将剩余块的数量从2个更改为5个,并使用测试数据集测试每个模型。此外,我们还使用U-Net、双向U-Net和R2U-Net进行了测试。 表7总结了性能比较。结果还表明,含有4个残块的深层残差U-Net具有最高的mIoU和AUROC值。我们还注意到,含有3个残块的深度残差U-Net方法也提供了较高的mIoU和AUROC值,高于其他任何一种最先进的方法,这表明深度残差U-Net方法更适合于腹水的分割和检测。

中给出了腹水分割的代表性图像 图2.左列(A)为原始CT图像和ground-truth masking图像。使用我们提出的模型(B)显示了5个腹水分割结果的例子,并将其与U-Net (C),双向U-Net (D)和R2U-Net (E)进行了比较。我们提出的模型正确地分割了腹水区域,无论其图案和大小(B列中顶部的4个面板)。此外,对于非腹水图像,分割结果没有显示(B列中底部的面板)。

表8以敏感性、特异性、准确度、平衡准确度、精密度、F1评分等指标对检测准确度的检测数据结果进行汇总。具有4个残块的深度残差U-Net提供了最高的准确性指标:敏感性=0.96,特异性=0.96,准确度=0.96,平衡准确度=0.96,精密度=0.91,F1评分=0.93。基于这些结果,我们提出了带有四个残块的深度残差U-Net作为腹水自动检测和腹水分割的最佳AI算法。

每个残差块中卷积层数对具有四个残差块的深度残差U-Net模型测试数据集结果的影响。

模型 mIoU一个(SD) AUROCb
深度残差U-Net,每个残差块有两个卷积层 0.87 (0.26) 0.96
深度残差U-Net,每个残差块有三个卷积层 0.84 (0.27) 0.94
深度残差U-Net,每个残差块有四个卷积层 0.74 (0.31) 0.72

一个mIoU: mean intersection over union;这是分割性能的一个指标。

bAUROC:受试者工作特征曲线下面积;这是检测精度的一个指标。

基于测试数据集的人工智能模型的分割性能和检测精度。

模型 mIoU一个(SD) AUROCb
深残U-Net(两块残块) 0.81 (0.33) 0.87
深残U-Net(3个残块) 0.86 (0.28) 0.93
深残U-Net(4个残块) 0.87 (0.26) 0.96
深残U-Net(5个残块) 0.70 (0.46) 0.70
U-Net [ 6 0.80 (0.33) 0.90
双向U-Net [ 7 0.77 (0.35) 0.86
经常性剩余U-Net [ 8 0.67 (0.41) 0.81

一个mIoU: mean intersection over union;这是分割性能的一个指标。

bAUROC:受试者工作特征曲线下面积;这是检测精度的一个指标。

使用每种模型的腹水分割结果的五个例子。A.原始计算机断层扫描(CT)图像和地面真相掩蔽图像。B.我们提出的模型。C. U-Net模型。D.双向U-Net模型。E.循环剩余U-Net模型。每一行代表一个不同的CT图像示例。蓝色代表真实的掩蔽图像,红色代表分割后的图像。

基于测试数据集的人工智能模型检测性能指标。

模型 灵敏度 特异性 精度 平衡精度 精度 F1的分数
U-Net [ 6 0.92 0.90 0.90 0.91 0.79 0.85
双向U-Net [ 7 0.94 0.86 0.88 0.90 0.74 0.83
经常性剩余U-Net [ 8 0.85 0.81 0.82 0.83 0.66 0.74
深度剩余u型网(四个残块) 0.96 0.96 0.96 0.96 0.91 0.93
影响业绩的因素

通过两位放射科医生(JH和KWK)对检测数据集中所有图像的专家评审,有两类假阳性图像。人工智能算法无法区分大卵巢囊肿(直径>3厘米)和腹水( 图3A).相比之下,正常生理性卵巢囊肿被我们的算法正确识别。人工智能算法无法区分腹水和膀胱完全膨胀( 图3B).然而,人工智能算法能够将腹水与膀胱部分膨胀或塌陷区分开来。

假阴性均为少量腹水。两名放射科医生认为所有假阴性结果临床意义不显著。

不正确的分割结果示例。左边一列是原始的CT图像,中间一列是ground-truth masking图像,右边一列是我们的deep residual U-Net算法分割的结果。答:在一名患有左侧卵巢囊肿的患者中,我们的人工智能(AI)算法检测到卵巢囊肿内的液体为腹水。B.在膀胱完全膨胀的患者中,我们的AI算法检测到膀胱中的液体为腹水。红色表示分割后的图像。

讨论 主要研究结果

在本研究中,我们首次开发了一种用于CT图像上腹水分割的深度残差U-Net模型,与目前最先进的U-Net、双向U-Net和R2U-Net网络相比,该模型具有更高的精度。我们的研究结果表明,我们的AI算法能够检测和量化腹水在腹腔盆腔。我们提出的算法是深度残差U-Net模型,该模型对测试数据集腹水检测的灵敏度、特异性和准确性分别达到96%、96%。在将AI分割结果与ground-truth值进行比较时,分割性能也很高,mIoU为0.87。然而,真实值是由人类专家生成的,人为错误可能影响了腹水边界的绘制。因此,我们认为AI分割算法可能更准确地绘制腹水的边界区域。

深度残差U-Net模型优于目前最先进的U-Net、双向U-Net和R2U-Net算法。深度剩余U-Net模型结合了剩余学习和U-Net架构的优势[ 9].该网络由残差单元组成,具有与U-Net相似的结构。该模型的好处有三方面:(1)剩余单元有利于深度网络的训练,(2)减少梯度消失问题,(3)网络内丰富的跳跃连接可以促进信息传播,从而获得更高的mIoU值。残差网络与标准U-Net架构的集成使我们能够从输入CT图像中提取鲁棒的鉴别特征。

总的来说,U-Net的概念是将低级特征拼接成相应的高级特征,从而将低级纹理特征添加到高级语义特征中。因此,深层U-Net可以提供更好的分割结果。然而,网络层数的过度增加往往会降低分割精度。这个问题可以通过在U-Net上增加一个残差单元来解决,它可以利用残差网络的优点[ 6].深度残差U-Net模型已用于CT扫描中的肺分割[ 9], CT扫描中的关节分割[ 18],光学相干层析成像易损斑块分割[ 19].这些先前的研究一致报道了深度残差U-Net模型的高分割性能。此外,我们提出的深度残差U-Net模型比其他U-Net模型有一个优势,与其他树模型相比,它需要的参数更少[ 6- 8]. 表9总结了每个模型的参数数量的比较。我们提出的模型包括18,855,137个权重和偏差,仅代表U-Net参数的54.5%。此外,这仅代表双向U-Net和R2U-Net参数的34.0%和78.1%。

比较每个U-Net模型的参数数量。

模型 可训练参数,n 不可训练参数,n 总参数,n
我们提出的模型 18840545年 14592年 18855137年
U-Net [ 6 34600353年 14016年 34614369年
双向U-Net [ 7 55398798年 1408 55400197年
经常性剩余u型网[ 8 24133013年 0 24133013年

到目前为止,只有一项研究开发了一种人工智能算法来检测腹水[ 3.].在该研究中,作者主要使用CNN算法对游离液(即腹水)、游离气体和肠系膜脂肪滞留三种CT异常表现进行分类。CNN算法检测腹水的灵敏度为85%,特异性为95%。相比之下,我们的深度残差U-Net算法在腹水检测方面达到了96%的灵敏度和96%的特异性。此外,我们的深度残差U-Net算法也以较高的分割精度(mIoU=0.87)量化了腹水的数量。因此,我们认为我们提出的算法很有可能用于急诊患者的腹水检测和定量的腹水CT图像。

在大多数紧急和紧急情况下,临床医生应在CT扫描获得后立即在没有放射支持的情况下阅读CT扫描。获得一份放射学报告通常需要时间,而且在许多机构中,放射学支持可能不是24小时全天候的。[ 20.].人工智能算法可以帮助维持实时的放射学支持,具有较高的诊断准确性。我们的训练和测试数据集是独特的,因为CT数据来自于访问三级护理医院急诊科的患者,该医院被指定为韩国的区域紧急医疗中心和区域创伤中心。目前,我们将深度剩余U-Net算法整合到我们的放射科单元,并将以可持续的方式开始进一步训练我们的算法。

有假阳性病例,其中我们的AI算法将器官内的液体(如膀胱和卵巢囊肿)识别为腹水( 图3).随着我们继续训练人工智能算法,这些假阳性案例将会减少。所有假阴性病例均有少量腹水,尤其是内脏之间,如肠、膀胱、子宫。进一步的训练将提高人工智能算法检测腹水的灵敏度。

我们采用2D AI算法进行连续2D图像分析,而不是3D框架,因为3D深度学习需要比2D深度学习更高的计算能力[ 20.].在紧急的临床环境中,快速的AI算法可能比复杂而缓慢的算法更好。我们的研究表明,连续2D图像分析可以为检测和定量腹水提供良好的诊断准确性。

局限性和未来工作

我们的研究有几个局限性。首先,我们使用相对少量的CT数据训练我们的模型。因此,我们将建立一个可持续的人工智能培训系统,并使用从我们的急诊科获得的真实CT数据来训练我们的人工智能算法。其次,我们的AI模型在内部使用分割测试数据集进行验证。测试数据集与训练数据集的来源相同。这可能会引起我们模型的泛化性和过拟合问题[ 21].因此,在不久的将来,我们将使用来自不同机构的数据来验证我们的模型。

结论

我们提出了深度残差U-Net算法,用于腹腔CT扫描腹水的自动检测和定量。我们的模型优于其他基于U-Net、双向U-Net和R2U-Net的最先进的分割算法。

缩写 人工智能

人工智能

AUROC

接收机工作特性曲线下面积

美国有线电视新闻网

卷积神经网络

CT

计算机断层扫描

DICOM

医学数字成像与通信“,

DLM

深度学习模型

FN

假阴性

《外交政策》

假阳性

Hounsfield单位

mIoU

均值交除以并集

R2U-Net

循环剩余u型网

中华民国

接收机工作特性

TN

真正的负

TP

真阳性

这项工作得到了韩国国家研究基金会(赠款2019R1I1A1A01060744)、韩国健康产业发展研究院(赠款HI18C1216)和韩国医疗器械发展基金的支持,该基金由韩国政府资助(科学和信息通信技术部;产业通商资源部;卫生和福利部;食品药品安全部)(授予KMDF_PR_20200901_0095)。

HK和HC对超参数搜索和建模进行了机器学习和深度学习仿真。JH, JKK和JL提供数据并进行数据验证,应用于腹水分割。KWK和YK验证并确认了模拟结果,并帮助起草了手稿。HK, JH和JL撰写了最初的手稿。JL, JH和KWK构思了这项研究,并参与了其设计和协调。所有作者都阅读并批准了最终的手稿。

没有宣布。

莱文 CD 帕特尔 UJ Wachsberg RH 席梦思床品公司 MZ 贝克 KC 腹部钝性创伤患者的CT:扫描发现腹膜内液的临床意义 AJR Am J伦琴诺 1995 06 164 6 1381 1385 10.2214 / ajr.164.6.7754877 7754877 直流 帕里 CR 费尔德曼 汤姆林森 G Sarrazin J Glanc P 急诊急腹症:CT是时间限制因素吗? AJR Am J伦琴诺 2015 12 205 6 1222 1229 10.2214 / AJR.14.14057 26587929 温克尔 DJ 正符合 T Weikert TJ 棉子 DT 斯蒂尔吉斯 B 基于人工智能的腹部计算机断层扫描急性发现检测软件的评估 投资Radiol 2019 54 1 55 59 10.1097 / rli.0000000000000509 城市 英航 菲什曼 埃克 针对性螺旋CT评价急腹症 射线照相 2000 20. 3. 725 749 10.1148 / radiographics.20.3.g00ma12725 10835125 Sirlin CB Casola G 棕色(的) 帕特尔 N Bendavid EJ 霍伊特 DB 超声筛查对钝性腹部创伤的液体定量:预测损伤严重程度的简单评分系统 超声医学 2001 04 20. 4 359 364 10.7863 / jum.2001.20.4.359 11316314 Ronneberger O 费舍尔 P Brox T U-Net:用于生物医学图像分割的卷积网络 第18届医学图像计算与计算机辅助干预国际会议论文集 2015 第18届医学图像计算与计算机辅助干预国际会议 2015年10月5日至9日 德国慕尼黑 234 241 10.1007 / 978 - 3 - 319 - 24574 - 4 - _28 自由 道明 Asadi-Aghbolaghi Fathy Escalera 年代 具有密集连接卷积的双向ConvLSTM U-Net 计算机视觉研讨会IEEE/CVF国际会议论文集 2019 IEEE/CVF国际计算机视觉研讨会 2019年10月27日至28日 首尔,韩国 406 415 10.1109 / ICCVW.2019.00052 押沙龙 MZ Yakopcic C 哈桑 塔哈 TM Asari VK 再利用残差U-Net医学图像分割 医学影像 2019 1 1 6 01 1 10.1117/1. jmi.6.1.014006 卡纳 一个 Londhe N 古普塔 年代 Semwal 一个 深度残差U-Net卷积神经网络在计算机断层扫描图像中的自动肺分割 Biocybern Biomed Eng 2020 07 40 3. 1314 1327 10.1016 / j.bbe.2020.07.007 Saeedizadeh N Minaee 年代 Kafieh R Yazdani 年代 Sonka COVID TV-Unet:使用连接强制Unet分割COVID-19胸部CT图像 计算方法程序生物医学更新 2021 1 100007 10.1016 / j.cmpbup.2021.100007 34337587 s2666 - 9900 (21) 00006 - 9 PMC8056883 Schreier J Attanasi F Laaksonen H 乳腺癌放射治疗中CT图像的全图像深度分割器 前肿瘤防治杂志 2019 9 677 10.3389 / fonc.2019.00677 31403032 PMC6669791 越南盾 X Lei Y T 托马斯。 l WJ T X 基于U-net-GAN的胸部CT图像自动多器官分割 医学物理 2019 05 46 5 2157 2168 10.1002 / mp.13458 30810231 PMC6510589 X Hadjiiski LM J H KH 科汉 RH Caoili 新兴市场 Samala R C Y 基于U-Net的深度学习膀胱分割在CT尿路造影中的应用 医学物理 2019 04 46 4 1752 1765 10.1002 / mp.13438 30734932 PMC6453730 阿米尔- 一个 X 贾南 F ResDUnet:基于深度学习的超声心动图左心室分割方法 IEEE访问 2021 9 159755 159763 10.1109 / access.2021.3122256 Singadkar G Mahajan 一个 Thakur Talbar 年代 基于深度反卷积残差网络的肺结节自动分割 J位成像 2020 06 33 3. 678 684 10.1007 / s10278 - 019 - 00301 - 4 32026218 10.1007 / s10278 - 019 - 00301 - 4 PMC7256136 Mique小 E Malicdem 一个 基于深度残差U-Net的肺部图像分割 信息技术与数字应用国际会议论文集 2020 信息技术与数字应用国际会议 2019年11月15日 日惹,印尼 10.1088 / 1757 - 899 x / 803/1/012004 米伦 年代 语义分割的损失函数综述 IEEE计算智能与生物信息学与计算生物学研讨会论文集 2020 IEEE计算智能与生物信息学与计算生物学研讨会 2020年10月27日至29日 Via del Mar,智利 1 7 10.1109 / cibcb48159.2020.9277638 Rassadin 一个 深度残留3D U-Net用于肺结节的关节分割和纹理分类 第17届图像分析与识别国际会议论文集 2020 第17届图像分析与识别国际会议 2020年6月24日至26日 Póvoa de Varzim,葡萄牙 419 427 10.1007 / 978 - 3 - 030 - 50516 - 5 - _37 l T 基于深度残差U-Net的光学相干层析易损斑块分割 Rev心血管医学 2019 09 30. 20. 3. 171 177 10.31083 / j.rcm.2019.03.5201 31601091 1569570959841 - 520284394 Ko H H WS 千瓦 胫骨 Y SJ JH YJ 纽约 荣格 H J 使用单一胸部CT图像的简单2D深度学习框架诊断COVID-19肺炎:模型开发和验证 J医疗互联网服务 2020 06 29 22 6 e19569 10.2196/19569 32568730 v22i6e19569 PMC7332254 DW 张成泽 沪元 千瓦 胫骨 Y 公园 上海 报道用于医学图像诊断分析的人工智能算法性能的研究的设计特征:来自最近发表的论文的结果 韩语J Radiol 2019 03 20. 3. 405 410 10.3348 / kjr.2019.0025 30799571 20.405 PMC6389801
Baidu
map