基于深度卷积神经网络的腰椎磁共振图像自动诊断腰椎间盘突出和腰椎间盘突出:方法发展研究

介绍

磁共振成像(MRI)是一种广泛应用于腰椎疾病检测的技术，具有图像质量高、无创、无电离辐射等优点。椎间盘突出和椎间盘突出是两种常见的腰椎间盘(IVD)损伤，常导致腰痛和腿部刺痛和麻木[1，2]．椎间盘疾病的诊断高度依赖于放射学方法，如MRI。主要问题如下:放射科医生如何快速准确地解释大量磁共振(MR)图像以用于实际应用?基于机器学习和深度学习的临床实践[3.-6]，我们提出了一种基于深度卷积神经网络(cnn)的磁共振图像诊断椎间盘突出和椎间盘突出的自动诊断系统，可以减少放射科医生的工作量，并提供标准化诊断报告所需的一致性。

Koh等[7]提出了一种计算机辅助框架，该框架使用多个异构分类器(即感知器分类器、最小均二乘分类器、支持向量机分类器和k-means分类器)构建了椎间盘突出诊断的2级分类方案，对70名受试者的诊断准确率达到99%。提出了一种基于高斯模型的概率分类器来检测异常ivd。该模型使用了以下三个特征:外观、位置和上下文[8]．研究[9]对从IVD MR图像中获得的纹理特征进行分类，使用三种不同的分类器(即反向传播神经网络、k近邻和支持向量机分类器)对正常磁盘和IVD进行分类，最高准确率为83.33%。此外，已经提出了许多其他基于MR图像自动诊断IVD疾病的方法[10-13]．这些模型大多是矢状位MR图像，很少有研究使用腰椎轴向MR图像，这在实际临床场景中对于识别椎间盘突出和突出更为重要[13]．以往的研究大多集中在二元分类(疾病和正常)[7-9，11，12]，因为同时研究两种疾病是很罕见的。在这项研究中，我们提出了一种基于深度cnn的诊断系统，用于诊断腰椎间盘突出和腰椎间盘突出。CNN分析已被证明是一种有效的方法，被广泛用于解决各种图像问题，并在许多应用领域取得了巨大的成功[14-18]．

本研究旨在开发一种临床应用系统，通过深度学习方法诊断椎间盘突出和椎间盘突出，需要尽可能少的医生信息[19-21]．

方法

数据集

本研究腰椎MR图像和临床诊断报告来源于西安市第三医院医学影像科，该医院是中国西安市一家大型三级甲等综合性医院。矢状面和轴向面₂使用Philips Ingenia 3.0T扫描仪获取500例患者的加权腰椎MR图像，并以DICOM格式导出。主要诊断是基于轴向图像，因为轴向图像比其他图像更清楚地显示了ivd的形态。对于每个受试者，中矢状位图像用于定位轴向图像中的ivd。本研究共使用了3555张轴向图像。根据诊断报告，这些图像被标记为正常椎间盘、椎间盘突出和椎间盘突出，并由经验丰富的放射科医生重新检查，如图表1。腰椎正中矢状位图像和正常椎间盘、椎间盘突出和椎间盘突出的轴向图像的例子见图1。

‎ 查看此图

整体诊断系统

我们的系统由4个步骤组成，如下所示图2。第一步，对中矢状位图像中的6个腰椎椎体(腰椎[L] 1、L2、L3、L4、L5和骶椎[S] 1)进行检测和定位。第二步是在每个轴向MR图像中识别相应的ivd。随后，将轴向图像分为L1-L2、L2-L3、L3-L4、L4-L5和L5-S1 5类。第三步，对轴向图像的IVD感兴趣区域(roi)进行分割，降低图像噪声。第四步，将包含5个ivd的ROI图像分类为正常磁盘、磁盘突出或磁盘突出。

‎ 查看此图

中矢状图像中椎体的自动定位

更快的区域性CNN (R-CNN) [19是由R-CNN [22和快速的R-CNN [23]，将目标检测过程(包括候选区域生成、特征提取、分类、位置细化)统一到1个深度网络框架中，大大提高了运算速度。在步骤1中，使用更快的R-CNN在矢状面MR图像中定位椎体。

首先，在放射科医生的指导下，人工定位200张中矢状面图像中的6个椎体(L1-S1)。其次，训练更快的R-CNN来检测和定位每个椎体。我们检测椎体而不是椎间盘，因为它们更容易手动定位。最后，根据边界框坐标计算每个椎体的中点坐标，因为椎体的精确位置将用于轴向MR图像中椎体的定位，如图所示图1(步骤1)。

更快的R-CNN是用Caffe实现的[24(Berkeley Vision and Learning Center深度学习框架)，并在4个Nvidia Titan X图形处理单元上并行训练。准确性、灵敏度和特异性[25，26]进行分析，综合评价该系统的性能。

在每个轴向磁共振图像中识别相应的IVD

每个受试者需要15个轴向切片来识别每个轴向MR图像中对应的ivd (L1-L2, L2-L3, L3-L4, L4-L5和L5-S1)。步骤1计算矢状面图像中6个椎体的中心点坐标。根据矢状图与轴向图之间的空间位置关系，计算每个受试者从这些中心点到每个轴向图的有向距离。有向距离表示每个轴向图像中哪个ivd离相应ivd更近，哪个ivd位于相应ivd的上方或下方，如图图3。根据这些距离，将轴向切片分为L1-L2、L2-L3、L3-L4、L4-L5和L5-S1 5类。将DICOM患者坐标转换为二维计算机坐标，建立原始处理图像与三维DICOM坐标之间的关系。详细步骤见多媒体附录1。

‎ 查看此图

轴向磁共振图像中IVD roi的定位

腰椎轴位MR图像包含大量不相关区域。为了聚焦IVD，提取更多相关特征，在1237张轴向图像中手工标记IVD区域，包括正常盘区、椎间盘膨出区、椎间盘突出区、L1-L2至L5-S1 IVD区域。每个ROI图像的IVD区域需要定位以训练更快的R-CNN，我们的四倍交叉验证显示100%的准确率。随后，使用更快的R-CNN检测并提取每个腰椎轴向图像的roi，如图图2我们为ivd周围的组件保留了更大的区域，因为它们也可以帮助识别椎间盘的状况(例如，椎管的压迫)。

ROI图像的分类

值得一提的是，随着CNN深度的增加，超深度CNN的退化问题可能导致分类精度降低。他等人[27]提出了一种深度残差网络框架，利用残差块方法解决了这一问题，并被证明对ImageNet验证集具有显著的准确性[27-29]．ResNet101的剩余架构如图所示图2(步骤4)。

根据诊断报告，在每个类别(L1-L2至L5-S1)中，共有3555张轴向MR图像被标记为正常椎间盘、椎间盘突出或椎间盘突出。所有3555张ROI图像都由放射科专家审查，以确认图像是否符合标签。随后，使用ResNet101对每个类别进行3类分类，我们的4倍交叉验证显示，L1-L2、L2-L3、L3-L4、L4-L5和L5-S1 ivd的分类准确率分别为92.7%、84.4%、92.1%、90.4%和84.2%。在这一步中，我们使用一个代价敏感的CNN来测试3类分类数据集的不平衡[30.]．给出了相关的数学理论多媒体附录1。

结果

我们着重于显示椎间盘突出、突出和正常椎间盘的图像。从表1，我们可以看到，椎间盘突出和椎间盘突出在L1-L2和L2-L3 ivd的概率较低，椎间盘突出在L3-L4、L4-L5和L5-S1 ivd更容易发生。L5-S1 IVD是椎间盘突出最常见的位置。这可能是因为它比其他地方承受更多的重量和压力。

讨论

主要研究结果

我们的系统由4个步骤组成。首先，系统使用更快的R-CNN自动定位矢状图像中的椎体(从L1到S1)，该R-CNN在200张手动裁剪的图像上进行了训练。我们的四重交叉验证显示100%的准确性。如此高的定位精度表明，更快的R-CNN方法比许多其他方法，如Gabor滤波器组方法，可以更准确地定位椎体[31]，是一种基于测量磁盘信号强度和结构的方法[7]．其次，根据坐标转换方程计算各轴向图像中磁盘的位置(从L1-L2到L5-S1);我们达到了100%的准确率。第三，系统使用更快的R-CNN自动分割轴向MR图像中的IVD roi，该R-CNN在1300张手动盒装图像上进行训练，包括所有五种类型的磁盘(从L1-L2到L5-S1)和磁盘状况(正常，突出和凸起)。平均精度[21达到100%。这种高准确度是更快的R-CNN的优异性能的结果。最后，使用ResNet101将所有ROI图像分类为正常、凸起和疝。L1-L2、L2-L3、L3-L4、L4-L5和L5-S1 ivd 3类分类的平均准确率分别为92.7%、84.4%、92.1%、90.4%和84.2%。所有相关结果均显示于图4。以往的研究主要集中在比较由一种疾病(椎间盘突出或突出)影响的ivd与正常的ivd。这就是所谓的二元分类。例如，一个IVD分类系统的性能值为86.5%，这是基于统计形状模型的稀疏形状重建[32]．此外，一项研究报告的准确率为92.78%，该研究使用名为IVD Descriptor的程序对正常磁盘和磁盘凸起进行分类[13]．与之前研究的准确度相比，我们的准确度大致相同或略差。这主要是因为3类分类系统通常不如二元分类系统准确。

‎ 查看此图

根据我们的结果，L2-L3和L5-S1 ivd的分类精度低于其他磁盘。普通磁盘的形状与L1-L2到L5-S1 ivd有些不同。对于L2-L3磁盘，有几个图像是模糊的，很难识别细微的差异。这一点，加上我们的小样本椎间盘突出，对我们的分类准确性有相当大的影响。数据质量可能成为限制研究中使用的算法性能的关键因素[33]．对于L5-S1椎间盘，正常椎间盘的形状与轴向图像中凸起的椎间盘相似。也有一些图像被我们的系统错误地分类，导致分类精度较低。

基于web的诊断系统

我们使用了Django框架[34]为放射科医生开发一个自动诊断系统，该系统可以分析输入的医学图像，并以规范化诊断报告的形式显示结果(PDF文件)。报表的外观和功能见图5。该系统可部署在多个放射科，分析患者腰椎MR图像，收集更多图像，提高放射科医生的IVD解读性能。此系统免费提供[35]．

‎ 查看此图

本文提出了一种基于深度卷积神经网络的轴向磁共振图像诊断椎间盘突出和椎间盘突出的自动诊断系统。该系统可以自动确定轴向磁共振图像中ivd的位置和状态。因此，该系统可以通过标准化的方法分析腰椎MR图像，从而帮助减少放射科医生的工作量。此外，该系统可以扩展到分析其他类型的腰椎疾病，如颈椎病。然而，使用这个系统有一些限制。来自该系统的数据可能从根本上受到图像质量的限制(例如，当图像模糊时)，这使得很难识别细微的差异。该系统还受到总数据集大小的限制，因为它对于深度卷积神经网络来说相对较小。我们未来的工作将集中在以下两个方面:(1)采用更有针对性的方法来开发该系统，分析MR图像的具体特征;(2)收集更多的MR图像来训练一个更实用、更完整的自动诊断系统。