调查青少年和年轻人对JUUL的态度:使用Twitter数据的计算研究

介绍

背景

尽管高中学生中任何烟草制品的总体使用量从2011年的24.2%下降到2017年的19.6% [1]， 2018年总体使用量增至27.1% [2]，并在2019年进一步升至31.2%。这种增加主要受到电子尼古丁输送系统(ENDS)使用的影响。目前高中生使用ENDS的比例从2011年的约1.5%上升[1]至2019年约27.5% [3.]。ENDS使用量的增加似乎与JUUL品牌的日益普及有关，JUUL是一种紧凑型荚果模型设备，其一次性或可重复填充的荚果通常含有人造香料、尼古丁盐、植物甘油或丙二醇，其销售额占2018年底ENDS市场的76% [4]。

JUUL的受欢迎程度源于产品的三个主要特征:外观，口味和尼古丁释放[5，6]。JUUL时尚的“usb式”设计有助于公共终端使用的规范化，并有助于在学校和其他公共场所等禁烟区域不显眼地使用[7]。JUUL之前有各种吸引年轻人的口味，包括但不限于芒果、薄荷、cr蓝莓和薄荷醇[8]。截至2019年10月，JUUL实验室已经删除了除经典烟草、弗吉尼亚烟草和薄荷醇口味外的所有口味，试图解决有关该产品对未成年用户吸引力的担忧。9]。

如可燃烟草制品的尼古丁浓度按重量计介乎1.5%至2.5% [10，11]， JUUL豆荚中的尼古丁浓度按重量计从3%(35毫克/毫升)到5%(59毫克/毫升)不等。虽然JUUL胶囊所含的尼古丁总量只相当于一包香烟的一小部分，但JUUL使用者在一个胶囊中吸收的尼古丁量与一包香烟大致相同。12]。这表明尼古丁通过JUUL胶囊比通过可燃香烟更有效地被吸收，这可能是由于香烟中的尼古丁被燃烧成侧流烟雾和JUUL胶囊的尼古丁成分[13]。JUUL豆荚含有一种质子化形式的尼古丁，称为尼古丁盐[14]，其吸收类似于香烟中的游离尼古丁[15，16但吸入后口感更顺滑，尝起来不那么苦[13，17]。

最近一项关于青少年对JUUL尼古丁浓度认知的研究表明，37.4%的青少年认为JUUL含有低或中等尼古丁浓度，31.4%的青少年不知道尼古丁浓度[18]。这些发现表明，青少年没有意识到单个JUUL豆荚中尼古丁含量相对较高。进一步的研究记录了与juul兼容的豆荚的出现，其中一些含有高达6.5%的尼古丁浓度[13]。大约90%的成人每日吸烟者在18岁以前就开始吸烟了[19以及公众对JUUL高度浓缩的尼古丁含量缺乏了解[20.]，据推测，JUUL对年轻人产生尼古丁依赖的风险[21，22]。因此，在青少年时期形成的尼古丁依赖可能会导致上瘾，并可能在以后过渡到传统的可燃香烟[23]。随着电子烟终端市场在产品和使用模式(即pod mods、box mods、vape pen)方面的迅速变化，在了解未成年人使用电子烟终端及其后果方面存在重要的知识空白[24]。

社交媒体对JUUL使用的研究

从Twitter获得的免费和公开的数据可以深入了解公众对健康行为的看法和知识。根据皮尤研究中心2018年和2019年的调查报告，32%的13至17岁青少年[25]和44%的18至24岁的成年人[26使用Twitter。考虑到这一年龄分布，该平台可以作为了解青少年和年轻人使用JUUL的有希望的数据来源。以前利用Twitter数据对JUUL进行的研究已经确定了许多关于产品及其用户的经验和见解，例如在禁止的环境中使用JUUL(例如，学校)[27]， JUUL设备和JUUL吊舱的收购[28]，以及JUUL在Twitter上的被提及次数与JUUL销量之间的相关性[29]。除了这些研究之外，还有越来越多的工作评估未成年人如何在各种社交媒体平台上推广和使用JUUL。不仅文献表明青少年juul相关内容大量存在[30.]，但年轻用户也会与其他用户分享他们的观点和经验，并讨论与JUUL使用相关的各个方面[31-33]。然而，据我们所知，利用计算方法对JUUL相关推文进行的大规模分析尚未进行，以了解未成年人对JUUL的使用模式和看法。使用机器学习算法对tweet进行分类允许对tweet进行自动分类，并消除了人工注释过程带来的耗时和消耗资源的负担。虽然机器学习在推特上的应用在几个公共卫生分支学科中显示出了希望[34，35]，这些方法在ENDS研究中未得到充分利用。

目标

我们的主要目标是进一步了解与Twitter上使用JUUL相关的突出主题和主题，特别关注未成年人使用JUUL和健康观念。我们的第二个目标是使用自然语言处理(NLP)方法开发基于机器学习的分类器，能够自动识别和评估与未成年人相关的JUUL提及以及对JUUL的积极和消极情绪。在这样做的过程中，我们希望提供性能最佳的分类器，以进一步验证并应用于与未成年人使用JUUL及其在Twitter上的表示相关的其他工作。

方法

数据收集

使用免费的Twitter应用程序编程接口(API) [36我们收集了2018年7月至2019年8月期间28,590条推文的样本。为了查询Twitter API，在控烟研究员(SZ)的帮助下，确定了合适的juul相关关键词。我们使用了不区分大小写的关键字JUUL, Phix, Sourin, myblu, Aspire Breeze, vaping pod, pod mod和vape pod，因为这些术语对pod mod ENDS设备都是通用的。由于我们主要对个人使用JUUL的有机角度感兴趣，因此我们从数据集中删除了所有转发。删除转发后，我们的数据集由11,556条独特的英语推文组成。

道德的考虑

这项研究被犹他大学机构审查委员会(irb# 00076188)确定免于审查。为了保护用户隐私，我们没有在本文中包含用户名。此外，所有引用都是从多个例子中合成的。

手动推特内容分析

为了分析我们收集的推文的各种主题，我们进行了手动标注过程，根据每条推文的内容对其进行分类。我们使用了Myslin等人开发的分类方案[34以新兴烟草产品Twitter监控为起点，修改分类类别，以更恰当地反映我们对JUUL的兴趣范围。我们最初包括39个类别来编码推文相关性(即，推文是否与juul相关)、类型、内容和情绪。此时，对200条tweet进行初始注释编码轮，以确定2个注释者(RB和MC)之间的互解释器协议，并完善注释方案。在注释者的一致意见下，被认为与我们对JUUL的分析无关的类别(例如水烟)被排除在注释方案之外。此外，被认为过于具体的类别与密切相关的类别合并。例如，“工业”和“政策”这两个单独的类别被合并成一个单一的“工业和法规”类别。最终的注释方案由22个类别组成，这些类别与JUUL使用的主题、用户对JUUL的看法以及一个“无关”类别相关。我们的最终注释方案可在多媒体附录1中给出了这些注释类别的综合示例图1．为了将我们的分析仅限于JUUL使用，除非推文也包含关键字“JUUL”，否则包含JUUL以外关键字的推文将被注释为“无关”。此外，我们将未成年人标签限制在那些包含有关未成年元素的明确上下文证据的推文上(例如，“我的父母仍然不知道我在学校使用JUUL”，“FDA警告在高中使用JUUL”，“我16岁。^th生日那天，我想要芒果JUUL豆荚”)。

‎ 查看此图

一旦译员协议超过可接受的科恩卡帕水平[37](即>0.7 [38])，其余手工标注过程由一名标注员(RB)完成。排除用于互解释器协议的推文，在手动注释期间总共注释了4000条推文，以确保有足够数量的推文用于训练机器学习分类器。

数据预处理

使用自然语言工具包(NLTK) [39-一个广泛使用的用于分析文本数据的Python工具包-我们的手动注释推文使用TweetTokenizer工具进行了标记化。该工具将字符分割为单独的标记，同时还删除标点符号、@字符和其他无关字符。TweetTokenizer还能够处理和标记表情符号和表情符号。由于这些字符在现代文本中经常用于表达情感和情绪，因此它们在理解tweet内容时是必不可少的。因此，我们在推文中保留了表情符号和表情符号，并将它们标记为文字本身。

然后将所有标记转换为n-gram文本序列。n-gram(即单字母、双字母、三字母)是一个连续的序列n在自然语言处理中将原始文本转换为可由机器学习演算法轻易处理的特征(图2)。

‎ 查看此图

机器学习分类

为了自动分类与JUUL相关的推文，我们应用监督机器学习算法来识别与未成年人使用JUUL、积极情绪和消极情绪相关的推文。这种基于机器学习的方法的目标是确定数据的预测函数，其中看不见的数据可以准确地分类为包含未成年人使用JUUL、积极情绪或消极情绪。JUUL相关推文的高效和自动分类提供了对JUUL的感知和使用模式的快照，并有可能扩展分析，而不仅仅是手动注释实际执行的分析。我们用于分类的算法是逻辑回归、伯努利naïve贝叶斯和随机森林分类器。这三种分类算法的描述可在图3．

选择这些模型是因为它们在基于twitter的分类任务中计算简单且效率高[34，40-42]。每个分类器的输入由特征选择确定的最显著特征组成(即，自动识别模型性能的基本术语的过程，其余部分被丢弃)。

这一特征选择是使用Sci-Kit Learn (sklearn) [43]是另一个经常用于文本分析的Python工具包。使用SelectKBest工具比较每个特征的卡方统计量，并保留数据集中最明显的特征。除了减少模型过拟合的机会之外，由于去除了被认为不相关的特征，特征选择提高了模型的性能。一旦选择了合适的特征范围，就对每个算法的超参数进行优化。这种超参数优化是通过sklearn的GridSearchCV工具进行的，该工具通过指定的模型参数进行迭代，并使用10倍交叉验证确定最佳执行模型。最后，我们将执行最优的模型应用于其余未注释的tweet。

使用以下4个指标来评估各种模型的性能:准确性，精度(正预测值)，召回率(灵敏度)和F1分数(精度和召回率的调和平均值)。这些指标是NLP中的标准，反映了分类器对手头任务进行有效分类的能力[44，45]。我们的目标是开发能够在所有4个指标上表现良好的分类器，并且在评估总体性能时考虑了所有4个指标。

‎ 查看此图

结果

手动推特内容分析

在注释过程中分析的4000条推文中，有3152条(78.80%)与JUUL相关，并明确提到了JUUL或JUUL相关的配件，如JUUL pods和充电器。在相关tweets中，最常见的类别是第一人称使用或体验(1792/3152,56.85%)。使用JUUL作为戒烟方法(45/3152,1.43%)和首次使用JUUL(38/3152, 1.21%)的比例最低。总体上对JUUL的正面情绪(1052/3152,33.38%)大于负面情绪(683/3152,21.67%)，1416条tweet(1416/3152, 44.92%)表现出中性情绪。在排除新闻、媒体、营销推文的情况下，对JUUL的正面评价为33.91%(941/2775)，而负面评价为19.14%(531/2775)。最后，216条推文(216/3152,6.85%)提到了使用JUUL的潜在健康益处或危害，586条推文(586/3152,18.59%)提到了JUUL豆荚或口味。看到表1为手动标注中获得的比例和频率。

未成年人JUUL提及和情感的机器学习分类

使用监督机器学习算法，我们创建了模型来分类Twitter用户中未成年人对JUUL的提及和对JUUL的情绪。为了评估不同的模型，我们使用每个模型的500个最相关的特征来比较所有3种算法的测试指标(表2)。在所有3个分类任务中，随机森林模型都优于逻辑回归和伯努利naïve贝叶斯模型。在对与未成年人使用JUUL相关的推文进行分类时，与逻辑回归模型(94%准确率)相比，随机森林模型产生了更高的准确率(99%准确率)，并且大大高于伯努利naïve贝叶斯模型(78%准确率;图4)。当比较模型对积极和消极推文情绪分类的性能时，随机森林模型的表现明显优于逻辑回归模型(分别为72%和78%的准确率)和伯努利naïve贝叶斯模型(分别为69%和62%的准确率)(分别为82%和91%)。当将我们的随机森林分类器应用于其他看不见的数据(7356条未注释的推文)时，我们的模型将7356条推文中的109条分类为与未成年人有关(1.48%)。这一比例低于人工标注过程中被归类为未成年人相关的推文(190/3152,6.03%)，这可能是由于存在先前未见过的与未成年人使用JUUL相关的术语。

‎ 查看此图

讨论

主要研究结果

除了使用Twitter支持之前的JUUL研究外[27-29]，我们的研究结果确定了Twitter用户理解和使用JUUL的关键因素。在我们的研究中，只有1.43%(45/3152)的注释推文提到使用JUUL作为戒烟方法。这一发现似乎与JUUL的既定使命不符，该使命是通过消除可燃香烟的使用，并用据称危害较小的JUUL产品取而代之，从而改善吸烟者的生活。46]。这一观察结果也与2019年的一项调查结果不一致，该调查显示，大约20%的18-24岁的人开始使用JUUL，试图戒掉可燃烟草。47]。另一项研究表明，年轻人似乎不仅在尝试JUUL，而且还习惯性地使用该设备。48]。除了我们的研究结果外，这些结果表明，推特可能被视为一种获取信息的方法，以促进年轻人使用和购买JUUL。

此外，只有6.85%(216/3152)的带注释的推文提到了使用JUUL的潜在健康益处或危害，这一结果与Morean等人的发现一致[18]并提出了JUUL使用者是否认识到高水平尼古丁暴露的已知影响以及产生尼古丁依赖和随后的尼古丁成瘾的可能性的问题。虽然使用JUUL的长期影响尚未确定，但有证据支持这样一种观点，即青少年尼古丁暴露可能在神经化学、结构、认知和行为过程的有害改变中发挥重要作用[49]。

在删除包含新闻和媒体相关内容的未成年推文后，47%(56/118)的未成年推文提到了使用JUUL的第一人称体验，21%(12/56)的推文提到了JUUL的豆荚和口味——这一发现与之前的文献一致[28]。此外，在那些未成年人提到的第一人称中，32%(18/56)包含积极情绪(例如，“我非常喜欢我的JUUL”)，相比之下，23%(13/56)包含消极情绪(例如，“JUUL太恶心了”)-这是我们预期的发现，因为与其他终端设备相比，pod mod设备在年轻人中的受欢迎程度[50]。

尽管我们注释的大多数推文都包含对JUUL的中性情绪(1416/3152,44.92%)，但总体上推文包含的积极情绪(1052/3152,33.37%)多于消极情绪(683/3152,21.67%)。近20%(586/3152,18.59%)的JUUL相关推文提到了JUUL豆荚或口味，推特似乎经常被用来分享对各种JUUL配件(如豆荚或口味)的看法，以及收集有关此类配件采购信息的手段。从表面上看，Twitter似乎可以被个人用来分享有关JUUL的信息，从而促进其使用;有必要进行更多的定性研究，以了解个人接触这些内容的程度。这一发现还表明，正如之前的工作所指出的那样，利用Twitter开展教育活动，向公众宣传JUUL的使用情况是有潜力的[16]。

在我们开发的所有机器学习模型中，我们的随机森林模型在所有3个分类任务中表现最好。随机森林的性能可以主要归因于算法本身的性质。由于随机森林是包含输入特征随机子集的决策树的集合，因此该算法对离群数据具有弹性，并且最终分类基于组成决策树的“多数投票”[51]。此外，随机森林相对容易实现和计算简单使其成为烟草控制研究人员在基于twitter的ENDS监测中使用的可行候选者。

限制

我们的工作有一些局限性需要考虑。首先，我们的数据是通过使用关键字搜索的免费1% Twitter API获得的，而不是整个Twitter“消防水带”数据集;因此，有可能在研究期间没有收集到所有与juul相关的推文。此外，我们的关键词列表(JUUL, Phix, Sourin, myblu, Aspire Breeze, vaping pod, pod mod和vape pod)并不详尽，也不包括所有在美国可用的pod mod设备。我们也不能假设推特用户或他们的推文完全代表个人健康行为的一般人群。

其次，一些标注类别的频率相对较低，我们的模型可能存在过拟合的风险。在机器学习中，过拟合可以被描述为一种模型，它可以准确地识别模式，并在训练数据上表现良好，但当应用于以前未见过的数据时，性能会下降[52]。例如，我们的算法可能适合它所训练的数据，但如果呈现的是以前从未见过的数据，它可能无法保持这种准确性，因为算法无法识别新数据中的模式。

此外，手工标注过程中对推文内容的解释往往是主观的，因为推文内容简短，缺乏语法结构，使用夸张、成语等。由于手动注释是一项固有的解释性任务，我们试图通过计算注释者之间的互解释器协议来保持注释之间的一致性，同时在为tweet分配标签时也关注显式上下文语言。

最后，本研究的结果是初步的，为了从我们的工作中得出政策启示，这些分类算法应该进一步研究和使用其他未见过的数据进行验证。未来的工作应该着眼于将这些分类器应用于未标记的数据，进行错误分析，并根据需要改进算法。在进一步验证之前，这些分类器可用于自动对大量推文进行分类，使研究人员能够进一步了解JUUL如何在年轻人中传播，并提出政策变化以打击未成年人使用ENDS。

结论

我们的分析提供了JUUL在Twitter上的代表的快照，并为未来的研究工作提出了几个有趣的观察结果。我们的研究表明，推特上的大多数JUUL用户并不使用JUUL作为戒烟的方法。此外，很少有用户在推特上谈论使用JUUL对健康的潜在影响。使用这个人工标注的语料库作为训练数据，我们开发了3个有监督的机器学习模型来准确分类与未成年人使用JUUL相关的推文以及对JUUL的情绪。在这3个模型中，我们的随机森林分类器最准确地预测了未成年人juul相关的推文及其情绪。该算法的应用是理解Twitter上未成年人使用JUUL的一种新颖的分析方法，通过进一步的研究和验证，可以促进未来对Twitter上未成年人使用JUUL模式的研究。