Instagram上水烟(水管)的自动识别:使用卷积神经网络和支持向量机分类在特征提取中的应用

简介

Instagram，每天有数百万条帖子[1]，可用于为公共卫生监测目标和政策提供信息。然而，这种基于图像数据的研究往往依赖于对图像的手工编码[2，3.]，这最终限制了研究的范围。在试图理解健康行为时，来自社交媒体的图像可能比仅来自基于文本的平台(例如Twitter和Reddit)的结果更有用，例如，用户对新兴烟草产品的体验[4］．虽然自动图像分类对大规模图像分类很有用(例如，处理和分配标签到数百万张图像)，但目前自动图像分类的最佳实践在准确区分图像内物体的能力方面受到限制[5-7］．自动图像分类已用于有监督、无监督和混合方法的数据分类[8-10］．与无监督方法相比，监督方法可以分为训练和测试两个阶段。训练阶段包括通过图像及其标签来训练分类器，例如描述图像内容，如人、狗、大象等。测试阶段通过训练过的分类器预测测试图像(在一组新的图像中)的标签。

先前的研究主要集中在如何克服自动图像分类的方法挑战，如低准确度。例如，Perronnin等人改进了Fisher Kernel方法，扩展了视觉词袋(bag-of-visual-words)，也称为特征袋(bag-of-features, BOF)，用于使用ImageNet和Flickr的互联网图像进行大规模图像分类，将精度从47.9%提高到58.3%，但没有提高精度[5］．Verma等人使用反向传播神经网络方法对大图像进行分类，准确率为97.02%，但该方法无法识别图像的多个类别[6］．为了降低图像的时间和空间复杂度，Simonyan等人提出了2种利用深度卷积网络(ConvNets)对人工图像进行分类的可视化技术[7］．他们结合了可理解的ConvNets可视化，最大限度地提高不同类别内图像的分数，以及基于梯度的ConvNets可视化，生成每个图像(对应于一个类别)的显著性图(也称为特征图，可以表示图像中像素对图像分类结果的影响)，以使用反褶积(也称为卷积转置)，它执行上采样任务，而不是在卷积层中进行下采样)网络来分割图像中的对象[7］．

这些早期的方法推动了自动图像分类的发展;然而，仍有许多重大的限制需要克服。11-13］．例如，需要提取大量图像来训练模型，需要强大的计算能力。此外，BOF方法不能定位图像中的对象，也不能使用可视的单词位置(例如，如果图像中有一个杯子，BOF就无法找到它的位置)[14，15］．支持向量机(SVM)在显示结果的透明性方面存在局限性，最终模型难以可视化。此外，在核支持向量机中选择合适的核也是一个挑战[16-18］．另一方面，卷积神经网络(CNN)可以提高算法的泛化能力，并可以解决非线性问题。虽然CNN的准确率很高，但为了得到更好的结果，需要对参数进行微调(如输入图像大小、补丁大小、卷积层数等)，而网络性能很难优化[19，20.］．

本研究的目的是确定CNN与SVM相结合是否能在图像分类中获得比单独CNN或SVM更高的精度。为此，研究人员检查了Instagram上含有水烟图片的数据，水烟也被称为水烟(一种新兴的烟草产品，其危害与香烟相似)。通过从Instagram获取数据，我们将我们的方法放在一个背景中，可以用来为以后希望分析社交媒体以了解新兴烟草产品的用户体验的卫生领域的研究人员提供信息，并为公共卫生监测目标和公共政策提供信息[2-4，21-25］．

方法

数据采集

这项研究中使用的数据包括2016年2月19日至2016年5月19日在美国Instagram上包含#水烟#标签的帖子。本研究共使用了820幅图像。地面真相被手动标记(水烟和非水烟图像)。为了平衡数据和类别，训练图像包括420张图像(210张水烟图像和210张非水烟图像)，测试图像也包括420张图像(210张水烟图像和210张非水烟图像)。有关资料收集的详情，请参阅别处[24］．使用MATLAB将图像分为2类:包含水烟管(hookah)的图像和不包含水烟管的图像。

卷积神经网络

使用AlexNet提取包含25层的图像特征[26-28(训练有素的CNN软件)。图1展示了AlexNet的架构。在这25个层中，有输入输出层、7个整流线性单元(ReLU)层、2个归一化层、3个池化层、2个dropout层(drop)、1个softmax层(prob)和8个可学习权重层，其中包含5个卷积层(conv)和3个全连接层(fc) [26］．输入层包含227×227-pixel图像。ReLU层减少了epoch数，实现了比传统tanh单元更高的训练错误率。归一化层(范数)增加了泛化，降低了错误率。池化层汇总相邻池化单元的输出[29］．dropout层有效地降低了测试误差[30.]， dropout层和softmax层都减少了过拟合现象，而输出层是图像的类别。为了提取特征，我们对网络进行了微调，去掉了原来25层中的最后2层，因为所有层都不适合提取特征。由于网络开始的层只能检测图像的边缘，我们使用全连接层的结果来提取特征。

‎ 查看此图

支持向量机

SVM是一种有监督的学习模型，其算法分析数据进行分类，已用于预测图像中物体的类别[18，31］．我们提出的方法超越了之前的研究，因为输入(特征向量)是基于CNN的结果，可以提高准确性和节省时间。使用AlexNet提取特征，然后使用这些特征来训练SVM分类器，训练所有图像只需要几分钟，从而节省了时间[11］．一旦使用特征向量训练SVM分类器，就可以预测图像的类别。

分析方法

首先，我们将图像分为两类——水烟图像和非水烟图像——并相应地贴上标签。图2为分类方案，例如，输入图像维度为227×227×3像素，CNN输出为4096×1×1特征图，用于训练SVM分类器;然后，使用分类器预测测试图像的类别(水烟和非水烟)。水烟图像包含水烟管，而非水烟图像不包含水烟管(图3)．接下来，我们将图像集分为训练图像和测试图像;训练图像用于特征提取和学习(n=420，随机选择)，测试图像用于计算方法的准确性(n=420，随机选择)。为了提取图像的特征，对输入图像的尺寸进行统一处理，例如图像大小为227×227，因为227×227的图像尺寸是AlexNet的默认值。如果图像较大或较小，我们将输入图像的尺寸调整为227×227。我们利用AlexNet加载预先训练好的CNN [26]，它已经被> 100万张图像训练过。如上所述，AlexNet在我们的方法中进行了微调，例如，我们去掉了AlexNet的最后2层，并使用最终全连接层的数据。基于最后一个全连接层的数据，我们基于CNN计算训练图像和测试图像的特征。然后，从训练图像集和测试图像集中提取类别标签。

为了优化SVM分类器，我们自动优化了水管特征向量的超参数(如学习率、CNN中的层数、迷你批量大小)，根据优化结果，我们得到了优化后的SVM分类器(图2) [18，32，33］．输入图像维度为227×227×3。CNN的输出是2个图像类别的4096×1×1特征图。这些特征由SVM分类器训练，然后用训练好的分类器预测测试图像的类别。然后，我们通过使用测试图像来评估SVM分类器的性能，并增加图像数量以提高准确性(图像数量从42增加到420;图3而且4)．提取黄色框内水管的特征，训练SVM分类器。基于训练好的分类器，我们预测了新图像的类别。

‎ 查看此图

‎ 查看此图

‎ 查看此图

结果

特征提取

结果表明，CNN可以提取水烟特征，SVM对图像类别进行分类，准确率较高，最高达到99.5%(418/420)。图5显示从第一卷积层提取的特征;该层只能检测边缘和斑点，而从剩余的卷积层中提取更多的特征。水烟的原始图像在左边。特征图像(右)包含了96张图像的蒙太奇，可以反映提取特征的过程。图6显示420张训练图像的特征向量，范围为-20到20;大多数特征向量位于−10和10之间。x轴为图像特征向量，共有4096个特征向量。y轴是-20到20之间的特征的范围。图7给出特征向量的直方图。最大特征数在-2 ~ 2之间;这个间隔反映了水烟图像最重要的特征。图8说明了函数评价与最小目标之间的关系。当函数评价为25时，最小目标与估计的最小目标之间的误差最大。函数计算演示了计算优化输出的次数。最小目标为目标函数的最小观测值;如果存在耦合约束或评估误差，则是最小的整体观测点。

‎ 查看此图

‎ 查看此图

‎ 查看此图

‎ 查看此图

最小目标函数的估计可以显示估计(优化)的最小目标与实际最小目标之间的差异。最小目标与估计的最小目标相似;然而，在某些函数的计算之间存在差异。误差的最大比例为<。01，可接受[19］．在优化后的支持向量机分类器的基础上，通过测试图像来评估该方法的性能。

测试图像分类结果

图9提出了学习曲线，显示了验证图像(例如，训练图像，不包括测试图像)的百分比与方法的平均准确性水平之间的关系。从图表中可以看出，随着验证图像百分比的增加，一些准确性显著提高。例如，从80%(336/420)开始，准确率比以前的百分比提高得更快，这表明更多的训练图像有利于预测结果。随着验证训练图像数量的增加，提取的特征总数也在增加:对于1张图像，我们可以提取4096个特征;因此，随着经过验证的训练图像的数量(n)增加时，所提取特征的总数可增加为n×4096。此外，随着SVM分类器学习的特征数量的增加，平均精度水平也提高了。验证图像的数量等于百分比×训练集的数量;例如，如果是10%，则验证的图像=10%×420=42。

总体而言，99.5%(418/420)的分类图像被正确识别为水烟图像或非水烟图像(图10)．前2个绿色方块显示了测试图像的数量和正确图像分类的百分比。例如，有208张图片被正确分类为水烟，这个数字占所有测试图片的49.5%(208/420)。同样，210张图片被正确地归类为非水烟，占所有测试图片的50%(210/420)。在第一行中，所有非水烟的图像都被正确地分类为水烟。在第二行中，有2张水烟图像被错误地分类为非水烟图像，占所有数据的0.5%(2/420)。在第一行中，100%(208/208)的水烟图像被正确分类。在第二行中，99.1%(210/212)被正确地归类为水烟图像。在第一列中，99%(208/210)的图像被正确分类为水烟图像，0.1%(2/210)的图像被正确分类为非水烟图像。在第二列中，在210张非水烟图像中，100%(210/210)被正确地分类为非水烟图像，所有图像都被正确地分类为水烟图像。

‎ 查看此图

‎ 查看此图

与其他方法的比较

我们将我们的方法与CNN, SVM和BOF进行了比较[12，34］．对于SVM和BOF，输入为原始图像(原始像素值)。图11展示了各种模型的准确性如何随着训练数据的大小而提高。与其他模型(CNN、SVM和BOF)相比，我们的方法(CNN+SVM)的准确率最高，达到99.5%(418/420)。

‎ 查看此图

讨论

主要研究结果

本研究表明，使用CNN提取特征并使用SVM对图像进行分类，与单独使用CNN或SVM相比，在自动图像分类中准确率更高。我们的流水线方法的一个关键优势是，我们从预先训练的CNN模型(AlexNet)中提取了足够的特征(每张图像中有4096个特征，代表每张图像的细节)，利用SVM来训练特征，节省了时间。与之前使用CNN、SVM和BOF的工作相比，当训练图像数量增加时，我们的方法提高了准确率，准确率达到99.5%(418/420)，说明我们的方法适用于不同的图像，如水管。

这里提出的方法可以帮助检测某些烟草产品随着时间在社交媒体上的受欢迎程度的增加。通过在Instagram的图片中识别水烟，我们可以识别出哪些Instagram用户可能需要烟草相关的教育来控制水烟的使用。Instagram可用于加强健康信息的传播，传达水烟使用的风险[35-38］．早期的研究使用Instagram图片来捕捉和描述个人使用和销售烟草产品的背景[3.，24，25］．例如，对Instagram上电子烟数据的分析表明，大多数图像要么是个人展示他们最喜欢的产品组合(例如，电子烟设备和调味汁的类型)，要么是人们用产品表演魔术(例如，在与其他人竞争时吹出一大片气溶胶云)[25]，展示人们如何以及为什么使用这种烟草产品。之前对社交媒体网站上与水烟相关的帖子的分析提供了与水烟相关的上下文信息，包括程式化水管的重要性，在社交环境中使用水烟，与酒精的联合推广[24]，主要是积极的用户体验[39-41］．

早期使用基于图像的数据的研究提供了来自新数据源的及时信息;然而，他们的方法依赖于手工编码图像，这一过程需要时间、专业知识和足够小的样本量来合理地手工编码，最终限制了工作的范围。这项研究的结果显示了如何使用自动图像分类来克服这些限制。此外，这项研究的方法可以帮助烟草控制研究人员确定社交媒体网站上有多少比例的观众对某些产品感兴趣;这些方法对于记录每一个变化的烟草景观可能是至关重要的。

限制

这项研究的结果应该考虑到一些局限性，包括我们的任务是一个简单的二元分类(水烟与非水烟)，这可能会导致较高的准确性。为了消除过拟合问题，我们在CNN中使用了ReLU、softmax、dropout层，并使用了几个不同的训练数据集(数据集的数量不同，从42增加到420;图11)．本研究中开发的方法仅适用于Instagram上专注于水管的图像的背景，未来应该应用于更多类别和其他背景。虽然我们在分类上有很高的准确率，但准确率可以通过更好的CNN模型的输入特征来提高。在未来，研究人员应该尝试扩大训练图像集，提取图像的特定特征，这样可以用更少的计算能力获得更高的精度。

结论

结果表明，结合CNN和SVM对图像进行分类的准确率为99.5%(418/420)，这比之前单独使用SVM、CNN或BOF的方法有了改进。CNN提取更多的图像特征，使SVM分类器得到更好的信息，与提取较少特征的方法相比，准确率更高。未来的研究可以使用我们的方法来减少识别图像中物体的计算时间。