基于深度卷积神经网络的皮肤病变分类:过程开发与验证

简介

皮肤癌

每三种被诊断出的癌症中就有一种是皮肤癌。虽然黑素瘤只占所有皮肤癌的不到5%，但它们约占所有皮肤癌相关死亡的75%，每年造成1万多人死亡。早期发现痣可以减少皮肤癌死亡人数。

印度的皮肤癌发病率明显较低，这是因为印度黑皮肤人群中存在真黑色素，这为皮肤癌的发展提供了一些保护。尽管如此，皮肤癌仍占印度所有癌症患者的3.18%。其中基底细胞癌占54.76%，鳞状细胞癌占36.91%，恶性黑色素瘤仅占8.33%。大部分病人来自农村地区(88%)，许多病人从事农业(92%)[1］．

皮肤癌背景下的神经网络

我们从谷歌Scholar、PubMed、research Gate和ISIC(国际皮肤成像合作组织)档案中搜索了在皮肤癌背景下使用神经网络的研究论文。我们将结果纳入文献调查。深度学习已经解决了许多复杂的现代问题。互联网上越来越多的数据有助于这一过程。使用卷积神经网络(CNN)在图像分类方面有了巨大的改进。深度CNN (DCNN)的前几层可以学习图像的一般特征，可以用于不同的模型。通过微调，在一个数据集上训练的DCNN模型可以重复用于其他数据集的图像分类。通过微调Inceptionv3, Esteva等人[2)提出，“CNN的表现与所有接受测试的专家相当，表明人工智能能够对皮肤癌进行分类，其能力水平与皮肤科医生相当”。Esteva及其同事使用了他们自己获得的皮肤科医生标记的数据集，该数据集由129,450张临床图像组成，其中包括3374张皮肤镜图像。该数据集包括2032种皮肤病，属于9个皮肤病分区。通过对该数据集上的Inceptionv3进行微调，Esteva和同事在这9个类别上实现了高达66%的准确率分类。

另一项之前发表的研究使用了DCNN，使用了AlexNet [3.］．数据集由200张图片组成。然而，通过图像增强(即旋转所有图像)，生成了4400张图像。本研究采用迁移学习模型，在ImageNet数据上训练AlexNet模型，将最后一层替换为softmax层，该层分为黑色素瘤、脂流性角化病和痣。对于权重的变化，他们使用了随机梯度下降(SGD)算法程序。他们能够达到98%的准确率。

在另一项研究中，作者计划了一种与皮肤镜照片排列相关的恶性黑色素瘤检测的机械化策略[4］．重点去除依赖于使用多层感知器(MLP)分类器和共事件网络来区分黑色素细胞痣和黑色素瘤。作者提出了两种不同的MLP程序:程序化MLP和常规MLP。两种技术均可用于黑素细胞癌的分离，准确率较高。在此之后，使用MLP分类器执行排列过程，该分类器涉及两种策略:自动MLP和传统MLP。MLP分类器具有显著的分类精度。编程后的MLP分别计划93.4%和76%的训练和测试准确率。

另一项研究使用了支持向量机(SVM)学习算法[5］．他们的模型没有使用注释信息。他们使用的特征转移使系统能够在皮肤镜照片的观察和自然世界的观察之间画出相似之处。它模仿了专家用来解释皮肤病变模式的方法。进行了20次双重交叉验证进行分析(共40次实验)，并检查了两个鉴别任务:恶性黑色素瘤与非典型病变，恶性黑色素瘤与所有非黑色素瘤病变。该方法对主要任务的准确率为93.1%，对第二个任务的准确率为73.9%。

在另一项研究中，作者设计并建模了一个系统，该系统可以收集和结合过去的色素性皮肤病变(PSL)图像结果、它们的分析以及医学专家的相应观察和结论，使用原型方法[6］．该系统的一个领域使用计算智能技术来研究、处理和分类图像及其可能的形态。经过培训的远程医疗人员可以使用移动知识获取设备对PSL进行拍照，并将图片输入到规划的系统中，系统将成像后的PSL分为恶性或良性。

另一组使用DCNN使用了类似的概念。他们用129,450张图像的数据集训练模型。他们使用了Inceptionv3架构模型，并将图像分类为757种不同的黑色素瘤类别。准确率为72%;这个值相对较低，因为这个数据集中有大量的类[2］．

另一项研究使用病变分割作为处理的第一步[7］．他们确定了特定病变的形态学特征。预处理步骤包括改变颜色通道，平滑图像，去除毛发等。他们将算法建模为二元分类模型(即良性或恶性)。病变相关的形态学特征(包括直径、颜色和放大倍率)被用作许多分类器的输入。k-nearest neighbors (KNN)算法的准确率最高(79%)。

在这个项目中，我们使用了维也纳医科大学皮肤学系ViDIR小组获得的HAM10000数据集。图1显示本研究中使用的数据集中的示例图像。

在这项研究中，我们对dcnn进行了微调，并比较了4个dcnn的性能:VGG16、Inception-ResNet V2、Inceptionv3和DenseNet-201。每个DCNN都从顶层进行了微调。使用Inceptionv3和DenseNet-201对所有层进行微调。最后，我们创建了Inceptionv3和DenseNet-201的集合，并对所有层进行了微调。

‎ 查看此图

方法

探索性数据分析

执行此步骤是为了更好地理解数据并为神经网络准备数据。在这个项目中，我们使用了维也纳医科大学皮肤学系ViDIR小组获得的HAM10000数据集。与无辅助眼诊断相比，皮肤镜对黑色素瘤的诊断准确性显著提高(分别为log OR 4.0 [95% CI 3.0-5.1]和log OR 2.7 [95% CI 1.9-3.4]，提高了49%。P<措施)(8］．诊断的准确性完全取决于检查人员的经验和知识。

我们观察到该数据集偏向于黑素细胞痣，如图所示表1．因此，在最坏的情况下，我们的神经网络模型的准确率将高于60%。

所有原始图像(450×600像素)被调整为基线模型的64×4-pixel RGB图像和微调模型的192×256像素。数据集分为7210个训练示例，1803个验证示例和1002个测试示例。

基准模型

我们建立了一个基线CNN来估计问题的难度。我们的架构由6层:(1)卷积与16内核每个尺寸3层,填充,这样保持图像的大小,与2×2 (2)max-pooling层窗口,(3)卷积与32内核层每个尺寸3和填充保持大小,(4)max-pooling层和2×2窗口,(5)64内核的卷积层大小3和填充保持大小和(6)max-pooling层2×2的窗口。

为了训练模型，需要进行数据增强。学习率初始化为0.01，使用Adam Optimizer。基线模型总共训练了35个epoch。

VGG16模型

VGG16是一个卷积神经网络架构(图2［9])在2014年的ImageNet竞赛中获胜，被普遍认为是当前最好的视觉模型架构之一。尽管它是一个旧的模型，我们选择了VGG16，因为它的简单。

‎ 查看此图

在ImageNet数据集上，VGG16对top-5和top-1的准确率分别为90.1%和71.3%。

进行数据增强以增加数据集图像数量。对模型进行微调，去掉顶部的全连接层，然后替换为:(1)max-pooling层，(2)512个单元的全连接层，(3)0.5率的dropout层，(4)7种皮肤病变的softmax激活层。

第一步包括冻结VGG16中的所有层，并对新添加的层进行特征提取。在3个epoch之后，我们解冻了VGG16的最后一个卷积块，并开始对一个模型进行20个epoch的微调。学习率设置为0.001，使用Adam Optimizer。VGG16总共被微调了30个epoch。

初始模型

在ImageNet数据集上，Inceptionv3对top-5和top-1的准确率分别为93.7%和77.9%。Inception模块有1×1, 3×3，和5×5卷积，都是并行的(图3［10])。其目的是让网络通过训练来决定学习和使用哪些信息。它还允许多尺度处理;该模型可以通过小的卷积层恢复低级特征，通过大的卷积层恢复高级特征。

我们用批处理规范化层对inception v3的所有层和前两个初始块进行了微调。《盗梦空间v3》被微调了20个纪元。

此外，我们还尝试了Inception- resnet，这是Inception的一个变体。它使用残差连接，这对于训练深度卷积模型来说是必要的。用于Inception-ResNet的训练策略与用于inception - v3的训练策略相同。

‎ 查看此图

DenseNet模型

这是一个在ImageNet数据集竞争中表现异常出色的新架构，在top-5中准确率为93.6%，在top-1中准确率为77.3%。DenseNet有4个密集块，使用大约2000万个参数(图4［11])。

在密集块中，一层通过复合函数生成特征映射，该复合函数由三个连续操作组成:批量归一化、ReLU(整流线性激活单元)和3×3卷积。我们使用DenseNet-201，它使用4个密集块，我们对它进行了两种类型的微调:(1)对最后一个密集块(32层)进行微调;(2)全网微调(Part B)，其中A部分训练27 epoch, B部分训练20 epoch。

‎ 查看此图

结果

表2显示了顶层经过微调后每个模型的分类结果(A部分)。表3显示所有层都经过微调时每个模型的分类结果。所有实验均在GPU NVIDIA 1050Ti的笔记本电脑上进行。为了加快处理时间，使用了谷歌Colab (P100 GPU)。

从训练一个自定义模型，很明显，这个问题不能通过一个简单的CNN模型和几个层来解决。因此，我们加入了对预训练模型的微调。通过超调预训练的超过100层的模型，我们获得了更好的结果。微调所有层(B部分)比微调顶层(A部分)的结果更好。关键是，B部分训练的epoch更少，这有助于模型更快地收敛。然而，在这两种情况下，DenseNet给了我们比Inceptionv3更好的结果。使用集成学习的概念，我们创建了Inceptionv3和DenseNet-201的集成。这种组合在验证集上实现了进一步提高的准确率，达到88.8%，在测试集上达到88.5%。

讨论

我们的研究结果表明，深度学习算法非常适合于皮肤癌图像分类。此外，通过使用微调和集成学习模型的概念，取得了改进的结果。最后，我们发现，与只对顶层进行微调相比，对整个模型进行微调有助于模型更快地收敛，从而获得更好的整体精度。