使用卷积神经网络进行皮肤癌分类:系统综述

介绍

在过去的10年里，从2008年到2018年，每年黑色素瘤病例数增加了53%，部分原因是紫外线照射增加[1，2］．虽然黑色素瘤是最致命的皮肤癌类型之一，但快速诊断可以带来很高的生存机会。

皮肤科医生诊断恶性病变的第一步是对可疑皮肤区域进行视觉检查。正确的诊断很重要，因为一些病变类型相似;此外，诊断的准确性与医生的专业经验密切相关[3.］．在没有额外技术支持的情况下，皮肤科医生对黑色素瘤的诊断准确率为65%-80% [4］．在可疑的情况下，目视检查辅以用特殊的高分辨率放大相机拍摄的皮肤镜图像。在录制过程中，照明被控制，滤镜被用来减少皮肤上的反射，从而使更深的皮肤层可见。有了这项技术支持，皮肤病变诊断的准确性可进一步提高49% [5］．目视检查和皮肤镜图像的结合最终使皮肤科医生对黑色素瘤的绝对检测准确率达到75%-84% [6，7］．

一段时间以来，皮肤病变的分类问题也成为了机器学习界关注的焦点。自动病变分类既可以支持医生的日常临床工作，也可以通过在移动设备上安装应用程序，快速、廉价地获得挽救生命的诊断。8，9］．在2016年之前，研究主要遵循机器学习的经典工作流程:预处理、分割、特征提取、分类[9-11］．然而，需要高水平的特定于应用程序的专业知识，特别是在特征提取方面，并且选择适当的特征非常耗时。此外，在第一个处理步骤中的错误和信息丢失对分类质量有很强的影响。例如，较差的分割结果往往会导致较差的特征提取结果，从而导致较低的分类精度。

2016年，病变分类技术的研究发生了变化。这一变化的迹象可以在提交给2016年国际生物医学成像研讨会(ISBI)的方法中找到[12］．25个参赛团队没有使用传统的标准机器学习方法;相反，他们都采用了一种深度学习技术:卷积神经网络(cnn) [13］．

本文首次系统回顾了使用cnn对皮肤病变进行分类的最新研究。提出的方法是根据CNN是否专门用作特征提取器或是否应用于端到端学习来分类的。本文的结论讨论了为什么所提出的技术的可比性是非常困难的，哪些挑战必须在未来解决。

方法

搜索策略

在谷歌Scholar、PubMed、Medline、ScienceDirect和Web of Science数据库中检索了以英语发表的系统综述和原创研究文章。搜索词卷积神经网络，深度学习，皮肤癌，病变，黑素瘤,癌是结合在一起的。只有显示了充分的科学程序的论文才被纳入本综述。

研究选择

我们的综述仅限于皮肤病变的分类方法。特别是，Demyanov等人将CNN仅用于病灶分割或皮肤镜模式分类的方法[14]在本文中未被考虑。此外，只有那些表现出充分科学进展的论文才被纳入本综述。后一种标准包括以一种可理解的方式提出方法并充分讨论结果。本作品不考虑表演起源不合理的作品，例如Carcagnì等[15或Dorj等人[16］．

卷积神经网络

cnn是具有特定架构的神经网络，在图像识别和分类等领域被证明非常强大[17］．cnn已经被证明能比人类更好地识别人脸、物体和交通标志，因此可以在机器人和自动驾驶汽车中找到。

cnn是一种监督学习方法，因此使用标有相应类别的数据进行训练。本质上，cnn学习输入对象和类标签之间的关系，并由两个部分组成:提取特征的隐藏层，以及在处理结束时用于实际分类任务的完全连接层。与常规神经网络不同，CNN的隐藏层具有特定的架构。在常规神经网络中，每一层由一组神经元组成，每一层的一个神经元与前一层的每个神经元相连。CNN中隐藏层的架构略有不同。一层中的神经元不与前一层的所有神经元相连;相反，它们只与少数神经元相连。这种对局部连接的限制和额外的池化层将局部神经元输出汇总为一个值，从而产生平移不变特征。这将导致更简单的训练过程和更低的模型复杂性。

基于卷积神经网络的皮肤病变分类器

在本节中，介绍了用于对皮肤病变进行分类的各种CNN方法。cnn可以用两种完全不同的方式对皮肤损伤进行分类。一方面，CNN在另一个大型数据集上进行预训练，如ImageNet [18]，可以用作特征提取器。在这种情况下，分类由另一个分类器执行，例如k近邻、支持向量机或人工神经网络。另一方面，CNN可以通过端到端学习直接学习原始像素数据和类标签之间的关系。与机器学习中典型应用的经典工作流相比，特征提取成为分类的一个组成部分，不再被认为是一个单独的、独立的处理步骤。如果对CNN进行端到端学习训练，研究还可以分为两种不同的方法:从头开始学习模型或迁移学习。所提出的CNN方法的概述显示在图1。

成功训练深度CNN模型的一个基本要求是有足够的训练数据，并且有标记的类。否则，存在神经网络过拟合的风险，并因此导致网络对未知输入数据的泛化性能不足。可公开获得的关于皮肤损伤分类的数据非常有限。几乎所有已发布的方法使用的数据集，每个训练类包含的训练数据点远远少于1000个。相比之下，众所周知的CNN图像分类模型，如AlexNet [18]， VGG [19]， GoogLeNet [20.]，或ResNet [21]，通过大型图像数据库ImageNet进行训练，每个培训班有超过1000张训练图像。

然而，通过使用一种称为迁移学习的特定训练过程，即使只有少量数据可用于训练，也可以使用具有数百万自由参数的强大CNN模型进行分类。在这种情况下，CNN使用一个非常大的数据集进行预训练，比如ImageNet;然后将其用作各自任务的CNN初始化。特别是，根据实际分类任务中训练类的数量，对预训练CNN模型的最后一个全连接层进行修改。对于预训练的CNN的权重有两种选择:微调CNN的所有层，或者因为过拟合问题而冻结一些前层，只微调网络的一些后层。这种技术背后的想法是，CNN的前层包含对许多任务有用的更多通用特征(例如，边缘或彩色斑点检测器)，但CNN的后层变得越来越特定于原始数据集中包含的类的细节。

在接下来的讨论中，介绍了评估不同分类器的统计量。接下来，介绍了利用CNN作为特征提取器的方法。最后一小节概述了使用CNN进行端到端学习时所涉及的方法。

分类器的性能指标

分类器将每个对象分配给一个类。这种赋值通常不完美，对象可能被赋给错误的类。要评估分类器，必须知道对象的实际类别。为了评价分类质量，将分类器分配的分类与实际分类进行比较。这允许将对象划分为以下四个子集:

1. 真正(TP):分类器正确地预测了正类。
2. 真负(TN):分类器正确预测负类。
3. False positive (FP):分类器错误地预测了正类。
4. 假阴性(FN):分类器错误地预测了阴性类。

基于这些子集的基数，现在可以计算分类器的统计数量。一个常见且广泛使用的量是准确性，只有当数据集中的不同类别近似均匀分布时，它才是一个合理的度量。精度计算公式为(TP + TN)/(TP + TN + FP + FN)。它指定已正确分类的对象的百分比。

另外两个重要的指标是敏感性和特异性，即使不同类别的分布不均匀，也可以应用这两个指标。灵敏度是指正确分类为阳性的对象在数据集中包含的阳性对象总数中所占的比例，由TP/(TP + FN)计算。

‎ 查看此图

特异性是指正确分类为阴性的阴性对象占可用数据集中阴性对象总数的比例，由TN/(TN + FP)计算。

二元分类器的输出被解释为类的概率分布。通常，在二元分类器中，输出值大于0.5的对象被分配给正类，输出值小于0.5的对象被分配给负类。另一种方法是基于接受者工作特征(ROC)。用于系统分类的阈值在0到1之间变化，并为每个选择的阈值确定灵敏度和特异性。ROC曲线通过绘制对1-特异性的敏感性来计算，并可用于评估分类器。ROC曲线离对角线越远，分类器越好。曲线下面积(AUC)是曲线的一个合适的整体度量。

结果

利用卷积神经网络作为特征提取器的分类器

通过去除用大型数据集预训练的CNN的完全连接层，可以将CNN纳入分类。在皮肤病变分类中，使用ImageNet进行预训练。尽管是非医学图像域，但学习到的特征对病变分类具有足够的质量[22］．

Pomponiu等[23]仅使用标准相机的399张图像进行黑素瘤和良性痣的分类。首先对数据进行增强和预处理。随后，应用预训练的AlexNet进行表征特征的提取。然后使用余弦距离度量用k-近邻分类器对病变进行分类。该算法没有使用独立的测试数据集进行测试;只进行了交叉验证。该算法的灵敏度为92.1%，特异性为95.18%，准确率为93.64%。除了不存在的独立测试数据集之外，还需要注意的是，每个皮肤病变的感兴趣区域必须手动注释。

Codella等人也使用了AlexNet模型进行特征提取[24］．与Gutman等人[12]，然而，共有2624张来自公开的国际皮肤成像协作(ISIC)数据库的皮肤镜图像被用于黑色素瘤与非黑色素瘤病变或黑色素瘤与非典型痣的分类。除了修改的AlexNet输出，作者还使用了低级手工特征和稀疏编码的特征，深度残差网络和卷积u -网络。然后使用支持向量机对所有这些特征进行分类。作者报告了区分黑色素瘤和非黑色素瘤的准确率为93.1%，灵敏度为94.9%，特异性为92.8%。在较难区分黑素瘤和非典型痣时，准确率为73.9%，敏感性为73.8%，特异性为74.3%。作者还表明，与仅使用低级手工特征的分类器相比，使用深度特征会产生更好的性能。

Kawahara等[25]使用线性分类器对10种不同的皮肤病变进行分类。还使用AlexNet进行特征提取，AlexNet的最后一个完全连接层被卷积层取代。这个经过轻微修改的AlexNet使用公共Dermofit图像库进行了测试，该库包含1300张10种皮肤病变的临床图像。基于10种不同类型的皮肤病变的整个数据集，准确率达到81.8%。

基于端到端学习的皮肤病变分类器

用迁移学习训练卷积神经网络模型

由于公开可用的数据集有限，一种常见的皮肤病变分类方法涉及迁移学习。因此，所有这些工作都是通过ImageNet数据集预训练CNN;接下来，对CNN的加权参数进行微调，以适应实际的分类问题。

Esteva等[26出版了一本具有里程碑意义的出版物。首次使用大量数据训练CNN模型，共129450张图像，其中3374张来自于皮肤镜设备，代表了2032种不同的皮肤病变。考虑了两种二元分类问题:角化细胞癌与良性脂溢性角化病，恶性黑色素瘤与良性痣。最后对临床和皮肤镜图像进行分类区分。作者使用GoogLeNet Inception v3模型进行分类，该模型使用大型图像数据库ImageNet进行预训练。然后对CNN模型进行微调，使用迁移学习对皮肤病变进行分类。这种方法的一个特殊特性是使用了一种新的树状结构的疾病分类学，其中单个疾病形成树的叶子。内淋巴结将视觉上和临床上相似的个别疾病组合在一起。CNN没有一个二维向量作为输出;相反，它报告了超过757个培训班的概率分布。 To determine the probabilities of a coarser lesion class (ie, an inner node at a higher level in the tree), the probabilities of the child nodes of this coarser lesion class are summed together. The authors show within the evaluation that a CNN that has been trained for finer classes has a better performance than a CNN that has been trained for the distinct classes that are of interest for the problem. The trained CNN was tested with test data that were fully biopsy-proofed and achieved an ROC AUC of .96 for carcinomas, an ROC AUC of .96 for melanomas, and an ROC AUC of .94 for melanomas classified exclusively with dermatoscopic images.

Haenssle等[3.]提出了与Esteva等人非常相似的方法[26］．采用迁移学习的GoogLeNet Inception v3模型对皮肤病变进行分类，在所有层中对权重进行微调。该分析仅限于黑色素瘤与良性痣的皮肤镜图像，该任务获得的AUC ROC为0.86 (Esteva等[26]:总收入)。没有提供训练数据点的确切数目，而且并非所有数据都得到活组织检查的证实。然而，该出版物包括了迄今为止最多的皮肤科医生(n=58)，并且首次表明额外的临床信息可以改善两者;皮肤科医生的敏感性和特异性。

Han等[27特别值得注意的是它们的科学透明度，因为它们已经公开了自己的计算机算法，供外部测试使用。该团队基于临床图像提出了12种不同皮肤病的分类器。他们开发了一个ResNet模型，对19398张训练图像进行了微调。利用公开的牙山数据集，CNN模型获得的基底细胞癌、鳞状细胞癌、上皮内癌和黑色素瘤诊断的ROC auc分别为0.96、0.83、0.82和0.96。

Marchetti等人提出了一种用于黑素瘤与痣或小痣分类的cnn集合[13］．他们实施了五种方法，将来自ISBI 2016挑战赛25支参赛队伍的所有自动预测融合到一个单一的分类结果中。为此，他们测试了两种非学习方法和三种机器学习方法。融合算法使用来自ISBI 2016 Challenge数据集的279张皮肤镜图像进行训练，并使用来自同一数据集的其他100张皮肤镜图像进行测试。基于平均精度，贪婪融合是表现最好的集成方法，灵敏度为58%，特异性为88%。

另一种CNN集成由Bi等人提出[28］．他们考虑了黑素瘤、脂溢性角化病和痣的分类。他们没有为同一个分类问题训练多个cnn;相反，针对不同的问题训练了三个resnet:一个用于原始的三类问题，两个二元分类器(即，黑色素瘤与其他两种病变类别或脂溢性癌与其他两种病变类别)通过微调预训练的CNN。该试验利用了150张皮肤镜图像，黑素瘤的ROC AUC为0.854，脂溢性癌的ROC AUC为0.976，所有类别的平均ROC AUC为0.915。

Kawahara等人提出了一种CNN集成的特殊架构[29］．CNN由多个部分组成，每个部分以不同的分辨率考虑相同的图像。接下来，一个结束层将多个分辨率的输出合并到一个层中。CNN识别不同图像分辨率的交互，加权参数通过端到端学习完全优化。该算法在公共Dermofit图像库中的平均分类准确率达到79.5%。

类似于Esteva等[26]，孙等[30.引入了一个分类器，它使用了198个非常精细定义的训练类。总共使用公开可用的图像档案DermQuest中的6584张临床图像进行训练和测试，并评估CNN模型CaffeNet和VGGNet对该分类问题的性能。使用预训练的VGGNet对198个类别的平均准确率进行了优化，达到50.27%。

Lopez等人也使用了改进的VGGNet [31]，其中黑色素瘤与痣或小痣的分类是通过皮肤镜图像来解决的。作者比较了从头训练的CNN，带有迁移学习和冻结层的预训练CNN，以及带有迁移学习和权重参数微调的预训练CNN的分类精度。用ISBI 2016 Challenge数据集中的379张图像对这三种配置进行了测试，最后一种配置的准确率最高，达到81.33%。

从头开始卷积神经网络模型训练

Bi等人先前介绍的两步方法[28]也属于“从头开始学习”的范畴，因为ResNet模型对黑素瘤、脂溢性角化病和痣的三级分类进行了训练。Bi等[28]使用了来自ISBI 2017 Challenge数据集的大约3600张皮肤镜图像和来自ISIC Archive的其他图像来实现报告的结果。

Nasr-Esfahani等人[32]，从头开始训练双层CNN，根据临床图像区分黑色素瘤与良性痣。仅使用136张图像来训练模型，测试数据集仅包含34张图像。这些图片都来自格罗宁根大学医学中心皮肤科的公共图像档案。该方法灵敏度为81%，特异度为80%，准确度为81%。然而，由于测试数据集非常有限，因此应该严格地看待结果。

讨论

主要研究结果

比较皮肤病变分类方法的一个问题是，个别作品所考虑的问题表述不同，有时只是略有不同。这不仅发生在所考虑的培训课程和使用的数据上，也发生在所提供的统计数量上。此外，一些作品除了使用可公开访问的数据档案外，还使用了皮肤诊所的非公开档案[3.，26］．这使得重现结果变得更加困难。自2016年以来，ISIC黑色素瘤项目试图通过建立可公开访问的皮镜下皮肤病变图像档案作为教育和研究的基准来改善这方面的问题[12］．此外，他们还宣布了一项年度挑战，其中必须解决一个明确界定的问题。如果有更多的工作将自己与这个基准进行比较，以便在研究状态下对程序进行更好的排名，这将是可取的。

这一研究领域的另一个重要挑战是开发大型公共形象档案，其中的图像尽可能代表世界人口[33］．现有的图像档案主要包含浅肤色人群的皮肤病变。例如，ISIC数据库中的图像主要来自美国、欧洲和澳大利亚。为了实现对深肤色人的准确分类，CNN必须学会从肤色中抽象。然而，只有当它在训练中观察到足够多的深色皮肤的人的照片时，才会发生这种情况。

通过添加临床数据(如年龄、性别、种族、皮肤类型和解剖位置)作为分类器的输入，可以提高分类质量。这些额外的信息对皮肤科医生的决策是有利的，正如Haenssle等[3.]。今后的工作应考虑到这些方面。

结论

不幸的是，由于许多作者使用非公开的数据集进行训练和/或测试，因此很难甚至在很多时候不可能比较已发表的分类结果的性能。今后的出版物应使用可公开获得的基准，并充分披露用于培训的方法，以便进行比较。