自COVID-19出现以来，全球公共当局都在尽最大努力减缓病毒的感染率。作为努力的一部分，他们已经实施了一些解决方案，如关闭公共场所，实施全面或部分封锁，限制人们的接触。接触者追踪已被全球公认为减缓病毒感染率的有效方法之一[gydF4y2Ba 1gydF4y2Ba］．为此，大多数初步工作是基于人工追踪感染者的接触者。只有当感染者知道谁曾与他或她有过身体接触时，手动接触追踪才有效，这降低了方法的有效性。此外，手动追踪接触者是一个非常耗时和耗费资源的过程[gydF4y2Ba 2gydF4y2Ba，gydF4y2Ba 3.gydF4y2Ba］．gydF4y2Ba

理想情况下，如果接触者追踪机制能够大规模追踪受感染者的接触者，接触者追踪的潜力就可以得到充分利用。例如，在理想情况下，如果有关当局能够追踪受感染者去过哪里，并识别和通知患者的潜在接触者，那将是有益的。智能手机和可穿戴设备中的接近传感器等技术可以在这种情况下提供帮助，使当局能够更快速、更准确地自动通报潜在病例[gydF4y2Ba 1gydF4y2Ba，gydF4y2Ba 4gydF4y2Ba］．为此，世界各地开发了几款具有多样化功能的移动应用程序，每款应用程序都与covid -19相关政策、社会价值观和当地基础设施保持一致。然而，此类应用程序的成功在很大程度上受到用户数量的限制。根据Hinch等人[gydF4y2Ba 5gydF4y2Ba]，如果至少有80%的移动用户使用这些移动应用程序，这些应用程序的潜力就可以得到充分利用——根据作者的报告，在英国，这一数字占总人口的56%，但通常取决于该国的移动普及率。gydF4y2Ba

为增加这些应用程序的用户人数，政府已制订不同的策略和政策[gydF4y2Ba 6gydF4y2Ba］．例如，一些国家的公共当局强制居民安装接触者追踪应用程序，以便能够进入购物中心、交通工具、医院和其他公共场所。gydF4y2Ba

然而，在有效性和隐私方面，这些应用程序存在一些问题。例如，由于应用程序需要使用GPS和其他传感器跟踪个人的活动，以跟踪他们的互动，因此可能会出现隐私问题[gydF4y2Ba 7gydF4y2Ba，gydF4y2Ba 8gydF4y2Ba］．此外，文献还指出，在收入有限的国家，很大一部分人口对这种技术(如智能手机)缺乏了解和无法获得，这是这种接触追踪应用程序效率较低的主要原因之一[gydF4y2Ba 9gydF4y2Ba］．gydF4y2Ba

这项研究的动机源于观察，尽管取得了成功，但由于隐私和其他技术问题(包括电池消耗增加)的担忧，接触追踪应用程序在全球范围内受到了公众的批评和审查。我们相信，分析用户对这些应用程序的评论将有助于更好地理解对这些应用程序的关注。在这方面已经有了一些努力[gydF4y2Ba 3.gydF4y2Ba，gydF4y2Ba 9gydF4y2Ba，gydF4y2Ba 10gydF4y2Ba］．然而，大多数方法依赖于对用户评论的探索性和人工分析，这是一个耗费资源和耗时的过程。此外，一些工作还依赖于现有的通用情绪分析平台或工具，而没有对COVID-19应用程序审查工具进行培训或微调。例如，在[gydF4y2Ba 10gydF4y2Ba)，一个名为AppBot的商业工具，仅用于对欧洲使用的9款移动应用的用户评论进行情绪分析。然而，该工具依赖于训练有素的人工智能(AI)模型进行一般情绪分析，并返回4种类型的情绪，即积极、消极、中性和混合。因此，结果是不可靠的，因为模型没有在特定任务的数据(即应用程序评论)上进行训练。例如，绝大多数评论都强调了一些技术问题，例如注册困难，这些问题也需要分析。为了解决这些限制，我们相信，在手动注释的用户评论的大规模数据集上训练的特定于任务的模型将有助于更好地对评论进行特定于上下文的分类。此外，现有的文献依赖于在特定地区使用的较少应用程序的用户评论，而这些应用程序只覆盖了世界人口的一部分。gydF4y2Ba

为了便于对这些应用程序的用户评论进行自动情感分析，需要一个大规模的人工注释数据集来训练和评估用于情感分析的机器学习(ML)模型。在这项工作中，我们收集并注释了大量手工注释的46个不同应用程序的用户评论。更具体地说，我们收集并注释了Android和iOS移动应用程序用户对COVID-19接触者追踪的评论的大规模数据集。gydF4y2Ba

我们分析了人工智能模型如何帮助自动提取和分类用户情绪的极性，并提出了一个情绪分析框架，用于自动分析用户对COVID-19接触者追踪手机应用程序的评论。提出了几种算法，并在数据集上进行了评估，作为概念证明，以显示对用户对这些应用程序的评论进行自动情感分析的有效性。在手动分析和注释用户的评论后，我们同时使用了经典(即，多项Naïve贝叶斯[MNB]，支持向量机[SVM]，随机森林[RF])和深度学习(即，神经网络[gydF4y2Ba 11gydF4y2Ba， fastText [gydF4y2Ba 12gydF4y2Ba]，以及不同的变压器[gydF4y2Ba 13gydF4y2Ba])分类实验方法。由此产生了8种不同的分类模型。此外，据我们所知，这是首次尝试开发大规模基准数据集，用于分析来自46个不同国家的谷歌Play和苹果应用商店的COVID-19接触追踪应用程序的用户评论。所提出的解决方案与界面相结合，可以作为一种快速监控工具，监测应用程序的有效性，并在不经过密集的参与式设计方法的情况下立即进行更改，尽管在正常情况下是最优的，但在紧急情况下，由于更大的公共利益，需要立即部署移动设备，而且从一开始就很少甚至没有用户输入，这种情况下就不是最优的。gydF4y2Ba

这项工作的主要贡献可以总结如下:我们根据对46个不同的COVID-19接触者追踪应用程序的40,000条评论的分析，提供了34,534条手动标记的评论。标签由情绪极性(即积极、中性和消极)和标签(技术问题)组成。我们对数据集进行了深入分析，展示了不同的特征和见解。我们与研究界共享数据集和数据分割，以提高可重复性和进一步增强。我们使用8个不同的分类实验报告基准结果，这可以作为未来研究的基线。我们还提出了一个web应用程序，采用所提出的NLP技术，并具有用户友好的界面，允许利益相关者快速分析人们对此类移动应用程序的看法。gydF4y2Ba

为了抗击COVID-19大流行，几乎所有的研究领域，如卫生、NLP和计算机视觉，都发挥了重要作用。因此，去年提出了针对这一流行病不同方面的若干有趣的解决办法[gydF4y2Ba 14gydF4y2Ba］．例如，一直在努力早期检测COVID-19疫情，以帮助做好应急准备[gydF4y2Ba 15gydF4y2Ba］．同样，很大一部分工作旨在解决自动诊断、预后和治疗[gydF4y2Ba 15gydF4y2Ba，gydF4y2Ba 16gydF4y2Ba］．假新闻检测、风险评估、后勤规划以及对社会干预措施(如监测社交距离)的理解，是大流行受到社区关注的其他关键方面[gydF4y2Ba 14gydF4y2Ba，gydF4y2Ba 17gydF4y2Ba，gydF4y2Ba 18gydF4y2Ba］．接触者追踪也是文献中广泛探讨的大流行的一个方面。例如，Lash等人的研究[gydF4y2Ba 19gydF4y2Ba]分析了2个不同国家的接触者追踪机制和结果。作者报告说，一种准确和有效的接触者追踪机制可以显著降低病毒的感染率。然而，在及时和准确追踪COVID-19患者的接触者方面存在几个挑战。在这方面，社区的共同努力，以及基于不同技术的更先进的方法，如GPS、Wi-Fi、蓝牙、社交图、基于网络的api和移动跟踪数据，将在很大程度上有所帮助[gydF4y2Ba 20.gydF4y2Ba，gydF4y2Ba 21gydF4y2Ba］．已经嵌入此类技术的手持设备(如移动电话)是部署接触追踪解决方案的理想平台。作为一种可行的解决方案，世界各地已经开发了几款移动应用程序。除了基本的接触者追踪功能外，还根据国内COVID-19政策实施了不同的功能[gydF4y2Ba 22gydF4y2Ba］．例如，在不同的国家，如卡塔尔和澳大利亚，应用程序用于访问不同的设施。同样，在沙特阿拉伯，人们使用一种应用程序来寻求在封锁期间外出的许可。在gydF4y2Ba 表1gydF4y2Ba，我们提供了一些在世界不同地区使用的著名的联系人追踪应用程序的列表。gydF4y2Ba

尽管这些应用是降低感染率的可行解决方案，但由于与之相关的风险，它们受到了批评。在文献中，已经报道了一些问题，如隐私、功耗和恼人的警报。例如，Bengio等[gydF4y2Ba 23gydF4y2Ba]分析并报告了与COVID-19接触追踪应用程序相关的隐私问题。除了一些关于如何确保用户隐私的建议外，作者还通过优化隐私和效用的权衡，提出了一种去中心化的联系人跟踪设计。Reichert等人[gydF4y2Ba 24gydF4y2Ba]分析了应用程序的隐私问题，提出了一种基于保护隐私协议安全多方计算的保护隐私联系人跟踪机制[gydF4y2Ba 25gydF4y2Ba]以保障个人的私隐。功耗是接触追踪应用程序面临的另一个关键挑战。gydF4y2Ba

文献还描述了一些有趣的研究，这些研究通过分析人们对这些应用程序的反应或反馈来评估这些移动应用程序的可行性[gydF4y2Ba 22gydF4y2Ba，gydF4y2Ba 26gydF4y2Ba，gydF4y2Ba 27gydF4y2Ba］．例如，在[gydF4y2Ba 28gydF4y2Ba，一项在线调查分析了爱尔兰公民对HSE3(爱尔兰使用的一款联系人追踪应用程序)的反应。在调查过程中，有相当比例的参与者表示有意使用该应用程序。然而，调查主要是为了分析和识别使用此类应用程序的不同障碍，而没有分析用户使用该应用程序的体验。为了更好地分析、理解和评估用户对COVID-19接触追踪应用程序的体验和反馈，需要详细分析Apple和谷歌Play Store中提供的公众评论。在这个方向上已经有了一些努力。例如，Rekanar等[gydF4y2Ba 3.gydF4y2Ba]从可用性、功能有效性和性能方面详细分析了用户对HSE3的反馈。然而，作者仅依靠人工分析，这是一个耗时的过程。另一项相关工作报道于[gydF4y2Ba 10gydF4y2Ba]，其中对欧洲使用的9个COVID-19接触者追踪应用程序的用户反馈进行了探索性分析。为了实现这一目标，作者依靠一个商业应用评论分析工具Appbot来提取和挖掘用户对应用的评论。据我们所知，文献仍然缺乏一个基准数据集来训练和评估ML模型，以自动分析用户对COVID-19接触追踪应用程序的反馈。此外，现有的文献依赖于在特定地区使用的少数应用程序的用户评论，而这些应用程序只覆盖了世界人口的一部分。因此，我们的工作在以下方面有所不同:我们(1)分析了世界不同地区使用的大量应用程序的评论，(2)手动注释数据集并将其提供给社区，(3)提供详细的实验结果。gydF4y2Ba

在本节中，我们将概述本文采用的方法。拟议工作的完整流程描述在gydF4y2Ba 图1gydF4y2Ba．工作主要分2个阶段进行，包括(1)数据集开发阶段和(2)实验阶段。在开发阶段，作为第一步，我们从谷歌Play和App Store中抓取了用户对全球不同地区使用的COVID-19接触追踪应用程序的评价。在获得用户评论后，进行众包研究，对评论进行注释，用于ML模型的训练和评估，用于评论的自动情感分析。然后分析在众包研究期间获得的注释和其他细节，详见后面各节。在实验阶段，在进行实验之前，对数据进行预处理，使数据对实验中部署的AI模型更有意义。在实验过程中，我们使用了几个AI模型，详见后面的章节。在本节的其余部分，我们将提供数据集开发过程的详细信息，包括收集、注释和分析数据集的方法。gydF4y2Ba

总的来说，数据集涵盖了每个类的大量样本。然而，有一类，即中性类，由相对较少的样本组成。我们总共有15,587个正面评论，而负面和技术问题类别分别由8178个和9496个样本组成。少数民族阶级(即中立阶级)总共只有1271人。gydF4y2Ba

通过对第二个问题(Q.2)的分析，我们确定了影响参与者决策的原因和信息。在本节中，我们将提供与第二个问题(Q.2)相关的统计数据。在gydF4y2Ba 图3gydF4y2Ba，我们提供了正面和负面评价的最常见原因和原因的分类，以及常见的技术问题。gydF4y2Ba

在gydF4y2Ba 表2gydF4y2Ba，我们分别提供了与正面评价、负面评价和技术问题相关的最常见原因和原因的分布。gydF4y2Ba

在大多数正面评价中，用户认为这些应用程序有用、信息丰富，有助于抗击COVID-19。一些正面评价的例子如下:gydF4y2Ba

相当一部分的积极评价也是基于安装的便利性，而一些评价提到他们使用的应用程序运行良好，但没有进一步的细节。然而，最令人鼓舞的是，相当大比例的用户对当局为降低感染率而追踪接触者的想法、概念和努力表示赞赏。一些示例评论包括:gydF4y2Ba

还有大量简短的评论，用户只是简单地表达了他们的积极回应，而没有提到任何特定的原因。除此之外，用户强调的其他积极评价的常见原因包括世界不同地区不同应用程序的一些特定功能。例如，沙特政府的Takkawalna应用程序被用于在封锁期间寻求外出许可，被称赞为寻求许可的来源。gydF4y2Ba

另一方面，这些应用程序的关键技术问题包括注册和更新问题。此外，大量的评论还强调了应用程序崩溃或经常停止工作。除了这些常见问题外，这些评论还暗示了某些技术问题，如设备兼容性和连接问题;缺乏对某些语言的支持，如英语;而不是纠正来自不同应用程序的二维码。一些突出应用程序中的技术问题的示例评论包括:gydF4y2Ba

最常见的问题包括功耗、无用性和隐私(gydF4y2Ba 表2gydF4y2Ba)．大量的评论还强调，大多数应用程序并不友好。还有一些评论描述了其他问题，例如恼人的通知，不必要的访问图库，帮助热线的响应缓慢，以及一些关键功能的不可用，这些问题可以进一步提高应用程序的有效性。一些负面评论包括:gydF4y2Ba

我们也提供国家的统计数据gydF4y2Ba 图4gydF4y2Ba，其中我们总结了样本的数量和百分比，并对属于每个类别的不同国家使用的应用程序进行了评论。从图中可以看出，在世界不同地区，强调技术问题的负面、正面、中性评论的数量分布有所不同。每节课的评论数量的变化描述了世界不同地区对应用程序使用的不同反应。可以看到，在某些国家，如日本，以色列，加拿大和爱尔兰，负面评论的比例很高。正面评价的比例在大多数国家是足够的，这表明用户对应用程序的信任。另一方面，正如预期的那样，从大多数国家获得的关于该数据集的中立评论较少。该数据集还包括大多数国家中相当大比例的技术问题类别。例如，在丹麦、突尼斯和塞浦路斯，强调应用程序中技术问题的评论比例非常高。gydF4y2Ba

为了分析用户情绪极性随时间的变化，在gydF4y2Ba 图5gydF4y2Ba，我们提供了初步的时间分析，以分析消极、积极和中性以及技术问题随时间分布的变化。我们注意到，在这项工作中，我们提供了一个初步的时间分析，这将在未来进一步探索，为了实现这一目标，我们手动分析了200个最近的审查，以及在最初和最近的审查中具有合理时间持续时间的应用程序的最初200个审查。如在gydF4y2Ba 图5gydF4y2Ba，在积极、消极和中性类别中观察到较高的总体变异。就个别应用而言，在澳大利亚、新加坡、阿拉伯联合酋长国和加拿大使用的应用中，情绪极性的变化较大。gydF4y2Ba

在数据分析过程中，虽然对隐私有一些怀疑，但我们观察到，在一开始，接触追踪的倡议或想法在很大程度上受到了世界各地用户的赞赏。此外，我们还观察到，随着时间的推移，这些应用程序的用户面临着设备兼容性和应用程序的注册问题。有趣的是，在大多数应用程序中，负面评论的数量随着时间的推移而增加。增加的一个可能原因是应用程序未能实现它们的承诺。gydF4y2Ba

为了理解词汇内容，我们对每个评论的标记数量进行了分析。它有助于理解数据集的特征。例如，对于卷积神经网络和基于长短期记忆的架构，需要定义最大序列长度。数据集中令牌的最小、最大和平均数量分别为3、198和18。gydF4y2Ba 表3gydF4y2Ba根据数据集中不同评论的长度提供数据集的统计信息。gydF4y2Ba

我们还分析了每个类别的词汇内容，以了解它们在词汇内容顶部n-gram方面是否具有独特性。该分析还证明了标记数据的质量。我们使用效价分数[来比较所有类别的词汇。gydF4y2Ba 30.gydF4y2Ba，gydF4y2Ba 31gydF4y2Ba]， ϑ对于每个令牌，x，使用以下公式:gydF4y2Ba

其中C(.)是一个给定类的标记x的频率gydF4y2Ba lgydF4y2Ba_我gydF4y2Ba.TLgydF4y2Ba_我gydF4y2Ba 类中存在的令牌总数。在ϑ(x)的柱柱中，柱柱的值+1表示该令牌在目标类中的使用量明显高于其他类。在gydF4y2Ba 表4gydF4y2Ba，我们为每个类别提供最常见的bi和triggram， ϑ=1.0。从表中，我们观察到这些n-gram清楚地代表了数据的分类信息。gydF4y2Ba

对于这项研究，我们的分类实验包括使用经典和深度学习算法进行多类分类，如下所示。gydF4y2Ba

为了衡量每个分类器的性能，我们使用加权平均精度(P)、召回率(R)和F1。我们使用加权指标，因为它们有能力考虑到阶级不平衡分布。gydF4y2Ba

为了使用MNB、SVM和RF训练分类器，我们将文本转换为用对数术语频率(tf)乘以逆文档频率(idf)加权的n-gram矢量袋。为了利用上下文信息，例如对分类有用的n-gram，我们提取了unigram、biggram和trigram特征。gydF4y2Ba

我们使用网格搜索来优化MNB, SVM和RF的参数。对于MNB，我们优化了α参数的拉普拉斯平滑，在0到1之间有20个值。对于支持向量机，我们优化了具有C参数的线性核(30个值，范围从0.00001到10)和具有C和γ参数的径向基函数核(对于γ，我们使用了从1e-5到1e-1的10个值)。对于RF，我们优化了树的数量(200到2000的10个值)和树的深度(10到110的11个值)。选择这样的值范围取决于可用的计算资源，因为它们的计算成本很高。gydF4y2Ba

对于fastText，我们使用在Common Crawl和默认超参数设置上训练的预训练嵌入[gydF4y2Ba 39gydF4y2Ba］．gydF4y2Ba

对于基于变压器的模型，我们使用变压器工具包[gydF4y2Ba 40gydF4y2Ba］．中的超参数设置对每个模型进行了微调gydF4y2Ba 表8gydF4y2Ba，在模型的顶部有一个特定于任务的层。如在[gydF4y2Ba 13gydF4y2Ba]，用预训练的变压器模型训练显示不稳定性;因此，我们使用不同的随机种子对每个实验进行10次运行，并选择在开发集中表现最好的模型。为了为每个任务训练基于变压器的模型，我们以“分类交叉熵”作为损失函数对模型进行了10个epoch的微调，并使用了中提供的超参数设置gydF4y2Ba 表8gydF4y2Ba．gydF4y2Ba

每个模型的参数的详细数量，说明了模型的大小，如下:gydF4y2Ba

表9gydF4y2Ba给出Task 1的加权准确率、精密度、召回率和F1得分的实验结果。总体而言，与经典和基于深度学习的方法相比，变压器获得了更好的结果。变压器性能更好的主要原因之一是它们的文本解释能力。虽然在不同变压器的性能上没有观察到显著差异，但RoBERTa的性能比其他变压器略有改善。gydF4y2Ba

为了更好地分析所提出方法的性能，我们还提供了按类的性能。总体而言，三个班均取得了合理的结果;然而，正类的所有方法的性能都更高。其他两类学生表现相对较差的原因之一可能是班级间差异较小。如前所述，负面问题类和技术问题类的评论包含类似类型的单词，并且在课堂上有更高的混淆几率。任务1的实验结果为任务2提供了基础，在任务2中，负面问题和技术问题类别被合并。gydF4y2Ba

表10gydF4y2Ba提供了任务2的实验结果，其中模型必须区分积极和消极的评价。正如预期的那样，Task 2的性能有了明显的提高，这证明了我们的假设，negative和technical issues类的内容相似。此外，与任务1类似，变压器的性能优于其他方法。gydF4y2Ba

从表中可以看出，与任务1相比，在不同的类上，方法的表现没有显著差异，这表明在应用程序中突出技术问题的评论引起了负面情绪或情绪。此外，在特定类上没有观察到方法性能的显著变化。gydF4y2Ba

表11gydF4y2Ba提供了任务3的实验结果，其中模型必须区分积极，消极和中性的评论。与前面的2项任务类似，与经典的和基于深度学习的方法相比，变压器产生了更好的结果。从表中可以看出，在正类和负类上的所有方法都报告了更好的结果。但是，本文提出的方法的性能明显较低，特别是对于带有朴素贝叶斯分类器的单词袋和ngram。中性类性能较低的主要原因之一是类中的样本较少，如前所述。我们注意到，Task 2和Task 3是分别执行的，以分析中性类中较少样本的影响。gydF4y2Ba

我们观察到，不同经典或基于变压器的模型之间的性能差异很小;为了了解这些差异是否具有统计学意义，我们进行了统计学显著性检验。我们对二元分类任务(即任务2)使用McNemar检验，对任务1和任务3使用Bowker检验。有关这项测试的详情，请参阅[gydF4y2Ba 41gydF4y2Ba］．从…中可以看出gydF4y2Ba 图6gydF4y2Ba-gydF4y2Ba 8gydF4y2Ba，我们的研究结果表明，在所有任务中，变压器和其他模型之间的测试结果在统计上有显著差异。单元格中的值表示gydF4y2Ba PgydF4y2Ba值，淡黄色表示有统计学意义(gydF4y2Ba PgydF4y2Ba< . 05)。在经典算法中，测试结果的差异并不显著。同样，在基于变压器的模型中，结果很低，这也反映在不同任务的总体F1分数上。gydF4y2Ba

模型在不同任务上的表现差异可能与每个任务中涵盖的评审类别(即，积极的、消极的、中性的和技术问题)有关。例如，在三元分类任务1中，考虑了正面、负面和技术问题3个类别，由于负面评价和突出技术问题的评价有相似之处，所以绩效较低。同样，在二元分类Task 2中，当消极问题类和技术问题类合并为一个类时，性能显著提高。另一方面，在三元分类任务3中，由于中性类样本数量较少，性能下降。gydF4y2Ba

为了方便不同的利益相关者(即建议的用户对COVID-19接触追踪应用程序的评论的情感分析仪的用户)，我们还旨在开发一个具有用户友好界面的web应用程序。gydF4y2Ba 图9gydF4y2Ba提供潜在情绪分析器web应用程序的仪表板的屏幕截图。在当前的实现中，如图所示，web应用程序提供了正面、负面、中性和技术评论的分布，并提供了搜索功能来分析用户对特定应用程序的反馈。值得一提的是，通过在相关数据集上训练模型，所提议的工具可以扩展到其他医疗保健应用。gydF4y2Ba

COVID-19患者的接触者追踪是全球公认的控制感染率的最有效方法之一。然而，现有机制存在一些局限性。手动追踪接触者是一个繁琐且耗时的过程。此外，很难跟踪患者的所有潜在接触者。数字解决方案，如使用移动应用程序，一直被认为是一种有前途的解决方案，通过它可以快速追踪和通知患者的联系人。但是，在应用程序的工作机制和性能方面存在一些问题。这项工作揭示了COVID-19接触追踪应用程序的不同方面、优点、缺点以及用户对这些应用程序的担忧。gydF4y2Ba

我们的发现表明，通过移动应用程序追踪接触者的想法或倡议受到了全球人们的高度赞赏。除了接触者追踪外，这些应用程序在执行和确保COVID-19公共政策方面也很有用。然而，对于应用程序的工作机制和有效性也存在一些担忧。在这方面，分析用户对这些应用程序的评论有助于更好地了解和纠正对这些应用程序的关注。gydF4y2Ba

我们观察到，大多数的评论都属于3类，即积极的、消极的和技术问题。另一方面，很少有中立的评论被观察到。通过GPS跟踪和应用程序访问图库和其他信息的隐私是主要问题。此外，世界各地的这些应用程序的绝大多数用户都不满意这些应用程序的高功耗。大多数用户在使用这些应用程序时还面临一些技术问题。一些关键的技术问题包括设备兼容性、注册、更新缓慢、连接问题以及缺乏对某些语言的支持(如英语)。另一个重要的观察是，负面、正面、中性和技术性问题的分布可能会随着时间的推移而变化。gydF4y2Ba

就人工智能模型的性能而言，在用户评论的情感分析中，所有模型的整体性能都有所提高，可以更快地高效分析用户对应用程序的响应。在这项工作中用于情感分析的模型中，变形金刚是最有效的。这表明人工智能和NLP技术在自动分析COVID-19接触者追踪应用方面的有效性。gydF4y2Ba

本文重点对COVID-19接触者追踪手机应用的使用评论进行情感分析，分析用户对这些应用的反应。为了实现这一目标，管道由多个阶段组成，如数据收集;通过众包活动进行注释;以及用于情感分析的AI模型的开发、训练和评估。现有文献大多依赖于人工或探索性分析用户对应用程序的评论，这是一个繁琐和耗时的过程。此外，在现有的研究中，一般来说，分析的数据来自较少的应用程序。在这项工作中，我们展示了自动情感分析如何帮助更快地分析用户对应用程序的响应。此外，我们还提供了一个由来自46个不同应用程序的34,534个评论组成的大规模基准数据集。我们相信提出的分析和数据集将支持未来关于该主题的研究。gydF4y2Ba

我们相信，将数据集作为基线可以进行许多有趣的应用和分析。时间分析和局部分析是今后研究的重点。gydF4y2Ba