JMU JMIR Mhealth Uhealth JMIR mHealth和uHealth 2291 - 5222 卡塔尔世界杯8强波胆分析 加拿大多伦多 v10i7e35195 35709334 10.2196/35195 原始论文 原始论文 COVID-19接触者追踪应用程序的数据管理和隐私政策:系统回顾和内容分析 中方通过 洛林 Mavragani 孤挺花 Thongprasert Apiwat Folkvord 弗兰斯 Bardus 马可 学士,硕士,博士 1
应用健康研究所 医学和牙科科学学院 伯明翰大学 睡床上 伯明翰,B15 2TT 联合王国 44 0121 414 3344 marco.bardus@gmail.com
2 https://orcid.org/0000-0002-0707-7196
艾尔Daccache 歌曲 二元同步通信,MSc 3. https://orcid.org/0000-0002-1225-4185 Maalouf 诺埃尔 是博士 4 5 https://orcid.org/0000-0001-7536-4261 艾尔Sarih Rayan 5 https://orcid.org/0000-0002-8550-3795 Elhajj 穆H 硕士,博士 5 https://orcid.org/0000-0002-6461-4699
应用健康研究所 医学和牙科科学学院 伯明翰大学 伯明翰 联合王国 健康促进和社区卫生司 健康科学学院 贝鲁特美国大学 贝鲁特 黎巴嫩 人口与健康研究中心 健康科学学院 贝鲁特美国大学 贝鲁特 黎巴嫩 电气与计算机工程系“, 工程学院 黎巴嫩美国大学 比布鲁斯 黎巴嫩 电气与计算机工程系“, Maroun Semaan工程与建筑学院 贝鲁特美国大学 贝鲁特 黎巴嫩 通讯作者:Marco Bardus marco.bardus@gmail.com 7 2022 12 7 2022 10 7 e35195 24 11 2021 23 12 2021 4 1 2022 17 2 2022 ©Marco Bardus, Melodie Al Daccache, Noel Maalouf, Rayan Al Sarih, Imad H Elhajj。最初发表于JMIR mHealth和uHealth (https://mhealth.www.mybigtv.com), 12.07.2022。 2022

这是一篇开放获取的文章,根据创作共用署名许可协议(https://creativecommons.org/licenses/by/4.0/)的条款发布,允许在任何媒介上不受限制地使用、分发和复制,前提是正确引用了首次发表在JMIR mHealth和uHealth上的原创作品。必须包括完整的书目信息,https://mhealth.www.mybigtv.com/上的原始出版物的链接,以及此版权和许可信息。

背景

COVID-19数字接触追踪应用程序的创建是为了帮助公共卫生当局遏制大流行。这些应用程序需要用户许可才能使用手机上的特定功能,如地理定位、蓝牙或Wi-Fi连接或个人数据,才能正常工作。由于这些功能对隐私有影响,建立联系追踪应用程序如何尊重用户隐私是至关重要的。

客观的

这项研究旨在系统地映射现有的联系人跟踪应用程序,并评估所需的权限及其隐私政策。具体来说,我们评估了权限的类型、隐私策略的可读性以及其中包含的信息。

方法

我们使用自定义谷歌搜索和现有的联系人跟踪应用程序列表来识别2020年5月至2021年11月之间可能符合条件的应用程序。我们将带有谷歌Play网页的联系人追踪或曝光通知应用纳入其中,从中提取应用特征(如赞助商、安装数量和评级)。我们使用Exodus Privacy系统地提取许可数量,并将其分类为 危险的 正常的.我们计算了一个权限累积风险评分,表示对用户隐私的威胁级别。我们评估了隐私政策的可读性,并使用13项检查表评估其内容,生成了隐私透明度指数。我们使用相关性、卡方检验或方差分析探索了应用程序特征、权限累积风险评分和隐私透明度指数之间的关系。

结果

我们在152个国家、州或地区确定了180个联系人追踪应用程序。85.6%(154/180)的应用程序拥有谷歌播放页面,其中大部分(132/154,85.7%)有隐私政策文件。大多数应用程序是由政府开发的(116/154,75.3%),总安装量为2.645亿次。谷歌Play的平均评分为3.5 (SD 0.7)。在154个应用程序中,我们确定了94个独特权限,其中18%(17/94)是危险的,还有30个跟踪器。平均权限累积风险评分为22.7 (SD 17.7;范围4-74,中位数16),平均私隐透明度指数为55.8(标准差为21.7;范围5-95,中位数55)。总体而言,隐私文件难以阅读(中等等级等级12,范围7-23);67%(88/132)的受访者提到应用程序收集个人标识符。 The Permission Accumulated Risk Score was negatively associated with the average App Store ratings ( r=−0.20; P= .03点;120/154, 77.9%)和隐私透明指数( r=−0.25; P<措施;132/154, 85.7%),表明数据风险越高,应用程序的评级和透明度指数越低。

结论

许多联系人追踪应用程序的开发覆盖了全球大部分地区,但安装量相对较低。保护隐私的应用程序在透明度和应用程序商店评分方面得分很高,这表明一些用户欣赏这些应用程序。然而,隐私政策文件对于普通读者来说很难阅读。因此,我们建议遵循隐私保护和透明度原则,以提高接触追踪的吸收,同时使隐私文件对更广泛的公众更具可读性。

新型冠状病毒肺炎 移动应用程序 接触者追踪
简介 遏制COVID-19的策略

自2020年初COVID-19大流行开始以来,在缺乏针对SARS-CoV-2病毒的疫苗或药物治疗的情况下,一些研究人员敦促各国政府和全球公共卫生界加快应对以遏制SARS-CoV-2,推动实施综合非药物或非药物干预措施[ 1].传统上,为遏制流行性或大流行(如流感)而采取的非传染病防控措施包括强制卫生保健专业人员和公民采取个人防护措施(如佩戴口罩)、采取隔离或隔离阳性病例等环境措施[ 2]、保持身体距离、封锁和旅行限制[ 3.].然而,大流行发生两年多以来,即使在开发出几种疫苗并在全球推广之后,许多国家仍难以有效和高效地实施国家行动纲领。在没有积极的检测、接触者追踪和隔离的情况下,一项早期研究表明,控制COVID-19的唯一方法是间歇性封锁,直到 群体免疫造成了不必要的死亡[ 4].不幸的是,世界上许多国家的情况似乎都是如此,这些国家的SARS-CoV-2病毒病例出现了惊人的激增。截至2021年4月,该病毒已感染全球> 1.3亿人,夺走了> 280万人的生命[ 5].npi需要在人力资源和设备方面进行大量投资,并需要一定程度的协调,而这并非在所有情况下都可行。例如,许多低收入和中等收入国家没有资源来执行遏制和检测政策[ 6]或购买大量疫苗。此外,隔离和保持身体距离对依赖日薪生存的弱势群体可能不起作用[ 7].

接触者追踪是可用于打破病毒传播链的最具成本效益的非传染性疾病药物之一[ 8].根据世界卫生组织的临时指南,接触者追踪包括系统地识别暴露于确诊阳性病例的个人,隔离他们,跟踪他们以确保快速隔离,最后在他们出现症状时对他们进行检测和治疗[ 9].只要遵循快速高效的流程,这种方法就能有效控制COVID-19 [ 10].保证这种效率的一个方法是包括数字技术,特别是基于移动电话的工具,这些工具在世界范围内广泛使用。 11].去年,一些针对COVID-19应用的系统文献综述提到,接触追踪应用是在大流行背景下用于遏制病毒传播的重要应用类型[ 12- 17].根据埃博拉疫情的经验[ 18]和H1N1 [ 19 20.]病毒,数字技术已越来越多地用于支持政府开展人工接触者追踪活动。关于COVID-19接触者追踪移动应用程序的几篇概念性论文和概述[ 21- 27].关于这一主题也有一些系统的综述[ 28- 30.],包括一份Cochrane综述[ 30.]和一篇文献综述[ 29],重点关注数字接触追踪。Cochrane综述分析了流行病中使用的技术,并于2020年5月更新,纳入了新的与covid -19相关的研究。这项检讨显示,这些技术在补充而非取代人工接触追踪活动时最为有效[ 30.].Jalabneh等人的文献综述[ 29确定了17个可用于追踪接触者的应用程序,并提到使用这些应用程序帮助政府控制疫情。

数字联系人追踪

根据美国疾病控制与预防中心(CDC)的说法,两种主要类型的数字接触追踪工具用于病例管理和近距离追踪或暴露通知应用程序[ 31].病例管理工具包括应用程序和设备,参与接触者追踪活动的卫生工作者可以使用这些应用程序和设备捕获数据并管理病毒检测人员的接触数据库。当一个人的检测呈阳性时,接触追踪器会采访他们,以回忆他们在何时何地和谁在一起。然后对接触者进行分类,分配给病例经理,由病例经理打电话和通知接触者,提供检测、自我隔离和必要时转诊给卫生保健提供者的选项。这项活动可以手动完成,也可以在纸笔表单上完成,因此该技术可以简化数据输入和管理过程。

接近追踪或暴露通知应用程序是为自愿下载并激活此类应用程序的公民设计的,以协助追踪接触者。这些应用程序依靠蓝牙技术或存储在手机上的基于位置的信息来估计用户之间的距离和持续时间。 12].手机通过蓝牙交换包含这些信息的字母数字字符串或密钥。这些信息只能存储在手机上(分散式框架)或存储在中央服务器上(集中式框架),并保留有限的时间[ 12 32].根据框架类型的不同,一旦发现阳性病例,用户或中央服务器将其档案标记为阳性,触发网络并敦促他们采取行动,进行检测、自我隔离或寻求卫生保健专业人员的帮助。通过这种方式,暴露通知应用程序可以扩大传统手工接触追踪器的覆盖范围,这些追踪器可能无法识别病例。这些应用程序可以通过病例和接触者的电子自我报告,或使用位置数据或其他功能来识别病例未知的社区接触者,以查看可能接触过病毒,从而减轻公共卫生工作人员的负担。这项研究的重点是接近追踪或暴露通知应用程序,因为这些应用程序是为市民设计的。

接触追踪应用程序的使用和应用

许多政府已经根据国际准则开发了数字接触追踪应用程序(例如,世界卫生组织[ 33],疾控中心[ 31],或欧洲疾控中心[ 34])、谷歌和Apple曝光通知框架[ 35].例如,截至2020年5月28日,当我们开始做这个项目时,我们通过在谷歌Play和苹果应用商店中搜索确定了36个应用程序。同一天,标题为 COVID-19应用在维基百科[ 36该应用程序创建于2020年4月1日,包括37个接触追踪应用程序的信息。截至2020年6月15日,已经有68个应用程序,到2020年12月2日,页面上有大约100个应用程序。最近对谷歌Play和苹果应用商店中COVID-19应用程序的回顾发现,截至2020年5月2日,有51个接触追踪应用程序可用[ 13].在同一时期,麻省理工学院(MIT)的《技术评论》推出了 Covid追踪跟踪器项目( 37目的是监控和评估现有的联系人追踪应用程序。最近发表于2020年7月的一篇文献综述确定了15个国家的17个应用程序[ 29],而Wen等[ 38]分析了51款应用。

什么时候联系人追踪应用才算有效?根据Ferretti等人的一篇开创性概念论文[ 25,如果至少有60%的人使用联系人追踪应用程序,就可以认为它们是有效的。在2019冠状病毒病(COVID-19)大流行宣布一年多后,一些评论提出了以下问题: 39] ?尽管许多人呼吁评估接触追踪应用程序[ 40在美国,关于联系人追踪应用的普及和有效性的证据很少。Thorneloe等人的范围综述[ 41根据新闻媒体报道的数据,只有10%到20%的人使用了几个应用程序的例子。在接触追踪应用的概述中也出现了类似的数字[ 16基于公开信息提供了14个应用程序的描述性信息。作者主要关注技术特征(例如,集中式或分散式框架,跟踪技术和技术缺陷)以及该国使用应用程序的人口比例,显示出广泛的范围(0.1%和0.1%之间) BlueZone越南和中国的60% 健康码在支付宝和微信上使用)[ 16].在另一篇概念性论文中,Seto等人[ 42)认为,隐私的概念与具体情况有关,隐私与公共卫生价值之间存在权衡。据我们所知,唯一对接触追踪应用进行全面评估的是一项涉及德国人的纵向研究 Corona-Warn-App 43],是欧洲下载量最高的联系人追踪应用之一,截至2021年3月25日,下载量达2650万次[ 44].

如何解释这种全球低吸收率?关于德语的研究 Corona-Warn-AppMunzert等人[ 43]报告称,根据用户自述的社会人口统计和行为特征,应用程序的使用率有所不同。例如,应用程序的使用与年龄(≥50岁)、教育、社会经济地位、健康前提条件和其他预防行为(如手卫生和戴口罩)呈正相关。那些在社交网络中报告阳性病例或生活在已知疫情爆发地区的人,应用程序使用率也更高[ 43];在信任国家政府、医疗保健系统和科学的用户中,以及那些拥有强大数字素养但不太关心隐私的用户中,这一比例也更高[ 43].

数据保护中的隐私和透明度

政府的隐私、数据保护和信任问题似乎是值得关注的问题,正如上述范围审查中所报告的[ 41]和Cochrane综述[ 30.].系统设计文献中的许多概念论文都讨论了隐私问题[ 45- 47],主要关注追踪技术的使用(例如,基于位置的与蓝牙的对比[ 48]),以及集中与分散框架的使用,敦促一些研究人员开发他们的隐私保护应用程序和框架[ 49].去中心化模型在设计上是保护隐私的;然而,它们在响应公共卫生系统的需求方面通常效率低下,因为它们依赖于个人用户愿意通知网络,这可能永远不会发生,或者在处理SARS-CoV-2等高传播病毒时可能会出现无法持续的延迟[ 50].相反,最近的一项模拟研究表明,只有当80%的人口使用这些技术时,中心化模型才能有效[ 51].然而,集中式模型可能会阻碍那些不信任管理集中式数据库的组织的用户的使用。Ferretti等人在他们的开创性论文中[ 25)认为,支持联系人追踪应用程序的应用程序设计者和政府应该遵循道德原则(例如,慈善、减少痛苦、公平和社会正义),并遵循透明的做法,以获得公民的信任,促进应用程序的普及。例如,可以通过创建独立的监督咨询委员会、发布应用程序的代码和使用的算法、整合第三方的评估和研究,以及明确传达隐私和数据保护原则来实现透明度。表达这些原则的一种方式是使用应用程序的隐私政策文件,主要应用程序商店要求提供这些文件,并由许多机构推荐,包括隐私信任框架[[ 52];美国联邦贸易委员会[ 53];以及于2018年5月生效的欧盟《通用数据保护条例》(GDPR) [ 54].对开发人员的一般建议是制作清晰且易于理解的隐私策略文档。确保文档的清晰度和可理解性的一种方法是提供低可读性级别,这在以前被认为是评估应用程序隐私政策的一个因素[ 55];例如,《私隐信任框架》建议阅读等级≤12级,Flesch阅读便利性为45 [ 52].最近一篇研究接触追踪应用程序的论文[ 56]报告称,文档的透明度被认为是信任应用程序和开发人员的重要因素。

除了学者之间的概念和规范争论之外,公民对隐私的担忧是真实的吗?联系人追踪应用真的侵犯了隐私吗?应用程序背后的开发者或政府是否能够提供关于数据保护和处理的透明和清晰的信息?这些问题的答案并没有出现在现有的关于联系人追踪应用程序的文献中。有一些关于COVID-19应用程序的系统评论提到,接触追踪应用程序是大流行背景下使用的一种类型[ 12- 17].还有一些关于COVID-19接触追踪应用程序的评论。比如前面提到的麻省理工学院 Covid追踪跟踪器项目( 37]提供了一些关于这些应用的技术基础设施和吸收的描述性信息。COVID-19接触追踪应用程序的其他2个概述[ 12 16]描述一般漏洞,而不是使用隐私政策文件中包含的信息考虑隐私问题。这些审查并没有对权限和数据保护提供全面、具体的分析[ 16].COVID-19接触追踪应用程序的最新综述[ 38的会议论文集,重点讨论了41个应用程序样本的用户隐私问题、潜在的数据泄露和其他技术特征。作者提到了透明度在确保被接受方面的作用,但没有调查除了发布源代码之外可以提高透明度的应用程序特性,而发布源代码是一些分析的开源应用程序中存在的一个元素。另一个联系人追踪应用的内容分析[ 57通过用户评论和下载量来研究这些应用的公众看法,解决设计隐私的问题。另一项审查分析了需要哪些权限才能允许跟踪和跟踪,以及应用程序在设计上是否体现了隐私和数据保护原则[ 58].另一篇评论关注的是在美国开发的应用程序,以及可用性和定性特征[ 59].最后,另一篇评论着眼于联系人追踪应用程序的可读性。 60而不考虑隐私方面。总之,这些关于联系人追踪应用程序的评论都没有对隐私和数据保护原则进行综合分析。

此外,在2020年4月,我们的研究小组启动了一个项目,几个月后创建了一个全国性的接触追踪应用程序(Ma3an) [ 61]与当地公共卫生部合作。与此项目并行的是,我们搜索应用程序数据库来识别基准应用程序,并将其作为保护隐私的联系人跟踪应用程序的参考。这是促使我们对联系人追踪应用进行全面系统审查的主要动力之一,并将重点放在数据保护和隐私方面。

这项研究旨在以系统的方式识别、绘制和评估全球所有可用的COVID-19接触追踪应用程序。这项研究的具体目标是:(1)识别和绘制现有的接触追踪应用程序;(2)根据所需权限,评估收集的数据类型,以确定对用户隐私的风险;(3)评估隐私政策文件的可读性和内容,以确定这些文件是否透明地传达了关于隐私、数据保护、管理和保留的细节。最后,在实施了一年多的搜索协议、数据提取和评估之后,我们决定是时候响应Colizza等人最近发起的COVID-19接触追踪应用程序评估的呼吁[ 40《自然医学》,2021年2月15日。

方法

我们对现有的COVID-19接触追踪应用程序的信息进行了系统审查,遵循了严格的应用程序识别、选择、数据提取和分析过程,就像MB之前发布的应用程序审查中所使用的那样。 62]以及针对不同类型应用的类似研究[ 63 64].此外,为了实现研究目标,我们对联系人追踪应用程序的公开谷歌播放页面和相关隐私政策文件进行了内容分析。

搜索和信息来源

我们使用了两种主要策略来识别联系人追踪应用:(1)在谷歌Play和苹果应用商店中使用谷歌搜索关键字;(2)扫描通过谷歌搜索识别的5个网站中包含的应用列表。

对于第一个搜索策略,我们应用了以下两个搜索查询:(1)“allintext: covid -19|covid|covid19|冠状病毒和追踪|暴露网站:play.google.com”和(2)“allintext: covid -19|covid|covid19|冠状病毒和追踪|暴露网站:play.google.com”。我们于2020年5月7日进行了初步搜索,并于2020年6月1日、2日和24日几乎每月更新一次;2020年8月18日;2020年11月27日;2021年4月8日;2021年8月7日;2021年10月31日。

第二种搜索策略包括扫描5个包含COVID-19应用程序列表的网页,例如维基百科关于COVID-19应用程序的页面(首次发布于2020年4月1日,最后一次编辑于2021年10月20日)[ 36];麻省理工学院 Covid追踪跟踪器项目(2020年5月7日首次发布,2021年1月25日最后更新)[ 37];欧洲委员会接触者追踪应用程序数据库(最后一次更新于2020年6月10日,后停止更新)[ 65];一篇关于 COVID追踪应用程序综述Android Police(发布于2020年9月1日,最后更新于2020年11月21日)[ 66],美国有26个州使用谷歌曝光通知系统(ENS), 37个国际应用使用相同的ENS系统,30个应用不使用ENS框架;和 使用谷歌和苹果COVID-19接触者追踪API的国家列表XDA开发者网站(发布于2020年6月24日,更新于2021年2月25日)[ 67].所有这些来源最后一次检查是在2021年10月31日。

入选标准

为了入选,应用程序必须(1)明确针对COVID-19 接触者追踪 暴露的通知(2)在谷歌Play或苹果应用程序商店上有一个公开的页面,以及(3)在谷歌Play上有关于权限的信息和隐私政策文件。因此,我们排除了为接触追踪而设计的应用程序,这些应用程序不是专门为COVID-19设计的,但提供了关于COVID-19的一般信息 症状跳棋没有提及接触追踪功能。我们还排除了那些只在苹果应用商店有可用页面的应用,因为这些页面不包括谷歌Play中的权限信息。我们还排除了那些隐私政策文件不可用(例如,通过断开的链接)或没有包含与应用程序明确相关的隐私政策的应用程序。

应用程序选择过程

我们遵循了一个多阶段的选择过程。MB通过苹果应用程序商店和微软Excel中的谷歌Play,导出了谷歌搜索结果。MB随后筛选了相关链接,MAD确认了选择。接下来,我们通过讨论解决了所有的分歧。最后,我们在Exodus Privacy数据库中输入了谷歌Play链接[ 68,它是Android应用程序的审计平台。Exodus平台会寻找嵌入式跟踪器(一种用于收集用户数据的软件)和每个应用程序请求的权限。如果连接到Exodus数据库的链接不正常,应用程序就会被排除在外。

数据提取 应用特征

我们从谷歌Play页面中提取了以下信息:安装数量、隐私政策文件链接、5星评论、评论数量、应用版本、操作系统版本、赞助商和权限指定。从苹果应用商店页面(如果可用的话),我们提取了以下信息:5星评级和评级数量,应用版本,卖家,操作系统版本和语言。MB提取了信息,MAD再次检查了它。任何差异都被标记出来并通过讨论解决。

权限数据

总共有4位作者(MB、MAD、NM和RAS)成对或独立地使用基于Exodus报告的标准化基于web的提取表单提取了有关权限的信息[ 68].所有权限项都以二进制值输入(1=yes;0 = no)。总体而言,评分者之间达成了良好的一致性(一致性百分比=98.3%;科恩κ= 0.954;Krippendorffα= 0.953)。所有的分歧都通过讨论解决了。出埃及记记载[ 68]根据2个风险级别标记权限,如Android开发人员页面所述[ 69]: 正常的 危险的,包括 签名而且 SignatureOrSystem.如书中所述 Android应用安全要点 70],正常的权限是那些“不会对用户造成太大伤害”的权限。它们通常不需要用户花钱,但它们可能会给用户带来一些烦恼……的se permissions are automatically granted to the app.” Dangerous permissions are always shown to the user as “they can cause user privacy or financial loss.” Signature permissions allow 2 apps authored by the same developer to access each other’s components. This type of permission is automatically granted to the app if it has the same certificate as the app that declared the permission. Signature or system permissions are “granted to applications with the same certificate as the app that defined the permission. In addition, this protection level includes an app with the same certificate as the Android system image. This permission level is mainly used for applications built by handset manufacturers, carriers, and system apps. These permissions are not allowed for third-party apps. These permissions let apps perform some very powerful functions” [ 70].

隐私政策数据提取

对于具有可用隐私政策信息的应用程序,如果文档是英语以外的语言,则使用谷歌Translate进行翻译,并保存为带有时间戳的PDF格式。与提取许可信息的过程类似,4位作者(MB、NM、MAD和RAS)使用标准化的基于web的检查表独立完成了隐私策略评估。该清单改编自一项类似的研究,重点是针对抑郁症的移动应用程序中的数据安全和隐私[ 71].该清单共包含13项特定项目( 表1),我们将其分为3个主要类别 隐私类别;6项在 数据管理类别;有3个项目在 法律框架数据保护的类别(例如,欧洲国家的GDPR或任何其他框架)明确提到了删除或编辑数据的权利,这应该在立法框架中得到澄清。我们对每个项目都进行了标称评分(是=1,否=0,或不适用,取决于项目)。

对于这项数据提取任务,我们首先对随机选择的15个应用程序样本进行校准,以确保足够的可靠性,并在将仪器应用于剩余的应用程序集之前调整仪器。上述4位作者分别独立完成了相同的检查表。该实验获得了足够的一致性(84.8%)以及可靠性指数(Cohen κ=0.823;Krippendorffα= 0.696)。双方通过讨论解决了分歧,澄清了一些解释问题。在我们解决分歧后,4位评分者独立完成了其他应用程序的检查清单。评分者之间的信度显著提高(一致率=87.5%;科恩κ= 0.749;Krippendorffα= 0.749)。最后,审稿人成对完成了其余应用程序的数据提取。 As in the previous task, we resolved disagreements through discussion until we reached a consensus.

用于计算隐私透明度指数(0-100)的隐私政策清单和索引。

领域和项目 分数
隐私(25分)
这个应用程序会收集个人身份信息吗? 是的= 0;部分一个= 5;没有= 10
隐私政策中是否提到无需输入身份信息就可以使用该应用程序? 是的b= 5;没有= 0
隐私政策是否提到应用程序收集身份信息,如全名、电子邮件和电话号码? 是或(N/A)cb= 5;没有= 0
隐私政策是否提到应用程序提供个人识别号码、密码或登录过程来查看和输入用户数据? 是或否b= 5;没有= 0
数据管理(50分)
隐私政策是否明确规定了要处理的数据类型? 是的= 15;没有= 0
隐私政策是否明确包含“应用程序如何工作”的部分? 是的= 5;没有= 0
隐私策略是否声明应用程序或服务器加密输入的数据? 是的= 10;没有= 0
隐私政策是否描述了服务器和电话之间与用户输入信息相关的数据交换和通信过程? 是的= 5;没有= 0
隐私政策是否声明用户信息存储在手机或设备上? 是的= 10;没有= 0
隐私政策提到数据保留了吗? 是的= 5;没有= 0
法律框架(25分)
隐私政策提到GDPR了吗d?如果没有,隐私政策是否提及其他立法框架? 是的= 15;没有= 0
隐私策略是否说明用户是否可以删除输入的信息? 是的= 5;没有= 0
隐私政策是否说明用户是否可以编辑输入的信息? 是的= 5;没有= 0

一个在这种情况下,部分信息只与位置服务的使用有关。

b不适用于不收集个人或身份信息的应用程序的选项。

cN/A:不适用。

dGDPR:通用数据保护条例。

数据精化 应用特征

根据谷歌Play页面或我们使用的其他来源报告的信息,我们根据NationsOnline分类将应用按国家和大洲分类。 72].我们还根据应用的覆盖类型(国家或州、县或城市,这取决于它们的地理覆盖范围)和赞助商类型(政府;非营利组织;利润组织;以及多方利益相关者,包括上述类别的组合)。最后,我们根据安装数量(范围从≥50亿到≥1亿)将应用程序与相关的谷歌Play信息进行分组,作为受欢迎程度的相对衡量标准。

权限数据

我们统计了通过Exodus平台识别的跟踪器和权限的数量[ 68].接下来,我们为每个保护级别分配数值:普通权限=1;危险、签名或系统权限=2;跟踪器=3,因为它们对用户的隐私构成了更高程度的危险。然后,我们将权限和跟踪器的数量乘以保护级别来计算a 累积风险评分.得分越高,风险越高。

隐私政策数据

我们将不同的点分配到上述清单( 表1)计算 私隐透明度指数,取值范围为0 ~ 100。与“权限累积风险评分”类似,隐私透明指数越高,说明隐私策略越透明。

我们还使用自动可读性检查器(一种基于web的可读性计算器)提供的可读性索引的组合评估来评估理解策略所需的可读性[ 73].该工具基于7个流行的可读性公式:Flesch Reading Ease Formula、Flesch- kincaid Grade Level、Gunning fog index、gobbledyook index的简单度量、Coleman-Liau index、自动可读性index和Linsear Write Formula。自然,等级越低,就越容易理解。例如,私隐信任框架建议政策文件的阅读等级为≤12级[ 52].

分析

我们使用描述性统计来总结应用程序的特征。对于具有权限和隐私政策数据的应用程序,我们在适当的情况下使用平均值和SD或中位数和IQR来总结连续变量(如评级数量、权限累积风险评分和隐私透明指数)。此外,我们研究了应用程序特征(如赞助商类型、安装数量、评论或评级数量)、许可累积风险评分和隐私透明指数之间的潜在关联,使用了方差分析、卡方检验和皮尔逊相关检验(假设显著性水平为 P< . 05)。

结果 搜索结果

选择过程说明在 图1.我们于2020年5月7日将搜索查询应用于谷歌;2020年6月1、2、24日;2020年8月18日;2020年11月27日;2021年4月8日;2021年8月7日;2021年10月31日。我们从谷歌Play中导出了1055条记录,从Microsoft Excel中的Apple App Store中导出了1027条记录。在移除重复链接后,我们筛选了15.64%(165/1055)谷歌Play上的独特应用链接和16.85%(173/1027)苹果app Store上的链接。 In this first screening stage, we excluded 11.5% (19/165) and 25.4% (44/173) of apps from Google Play and the Apple App Store, respectively, that were deemed irrelevant as they were not related to COVID-19. The remaining 88.5% (146/165) and 74.6% (129/173) of apps from Google Play and the Apple App Store, respectively, were assessed for eligibility together with 152 apps from the Wikipedia page [ 3681岁,来自麻省理工学院 Covid追踪跟踪器项目( 37], 52个来自欧洲委员会联系人追踪应用程序数据库[ 65], 93 from Android Police页面[ 66],以及XDA开发者页面中的65个[ 67].最后,我们排除了未设计用于联系人追踪的应用(52/146,35.6%来自谷歌Play;42/129, 32.6%来自App Store;59/152, 38.8%来自维基百科)。

最终名单包括180个独特的COVID-19接触追踪应用程序,这些应用程序可能有资格接受审查。其中85.6%(154/180)使用谷歌Play链接生成Exodus平台权限报告[ 68],而76.1%(137/180)有相关的私隐政策文件。总共有14.4%(26/180)的应用程序没有权限报告,要么是因为谷歌播放链接不可用(19/ 26,73%),要么是因为在分析时它不再可用(7/ 26,27%)。另外4.5%(7/154)的应用程序没有可用的隐私政策文件,11%(17/154)的隐私政策文件不是针对应用程序的。在180个选定的应用程序中,132个(73.3%)包含与权限和隐私政策相关的数据。其中包括截至2021年10月31日所有180个已识别的应用程序的完整列表 多媒体附件1.该列表包含谷歌播放页面和Exodus平台报告的链接。该名单也可从Tableau Public的链接[ 74].

这180款应用覆盖了全球5大洲90个不同国家的152个地理单位(国家或地区、州或省、县、领土或城市)。大多数应用来自美洲(53/180,29.4%)、亚洲(53/180,29.4%)和欧洲(46/180,25.6%)。非洲大陆有6.1%(11/180)的应用程序,大洋洲有5%(9/180),4.4%(8/180)的应用程序覆盖多个大洲或为覆盖不同国家而开发。世界地图 图2代表COVID-19接触追踪应用程序的全球分布。泡沫越大,每个国家的应用程序数量就越多。

美国的应用绝对数量最高,有20%(36/180)是针对不同州开发的。这个数字还不包括1.1%(2/180)的应用程序,这些应用程序来自美国关岛( 关岛Covid警报)及波多黎各( 拉斯特拉病毒).1.1%(2/180)的应用程序( Care19警报而且 Care19日记)覆盖了北达科他州、南达科他州和怀俄明州。应用数量第二高的国家是澳大利亚(6/180,3.3%)。德国、英国、印度和菲律宾各占2.8% (5/180);巴西和意大利各占2.2% (4/180);法国、马来西亚、墨西哥、尼泊尔、俄罗斯、新加坡、南非和西班牙各占1.7% (3/180);加拿大、伊朗、荷兰、阿曼、瑞士和阿拉伯联合酋长国各占1.1%(2/180)。

大多数联系人追踪应用程序由政府赞助(132/180,73.3%),其次是私人组织(28/180,15.6%)和非营利组织(14/180,7.8%)。少数应用程序涉及多个利益相关者,包括私人财团、非营利组织和政府组织(6/180,3.3%)。

应用程序选择过程。COE:欧洲委员会;麻省理工学院:麻省理工学院。

已识别的联系人追踪应用程序的地理分布,按国家汇总。

应用特征

中提供了包含权限数据的154个应用程序的列表 多媒体附件2(tab 1) 表2,我们根据安装数量报告应用程序样本的基本描述信息。截至2021年10月8日,根据谷歌Play安装类别,这154款应用的总安装量为2.645亿次(平均安装量为170万次),安装量从1000万到1亿次不等。安装最多的应用程序是 AarogyaSetu由印度国家信息中心eGov移动应用部门开发。安装最少的应用程序是 Aggie-COVID-19它是为新墨西哥大学设计的。大多数应用的安装次数在10万到100万次之间(106/ 154,68.8%),大约三分之一的安装次数低于10万次(48/ 154,31.2%)。

大多数应用程序是由政府(116/ 154,75.3%)、私人组织(17/ 154,11%)、非营利组织(11/ 154,7.1%)和多利益相关者联盟(10/ 154,6.5%)开发的。在赞助者的类型和安装类别的数量之间没有发现显著的关联。基于120款拥有有效App Store页面的应用的子样本,谷歌Play的平均评分为3.5 (SD 0.7),苹果App Store的平均评分为3.6 (SD 0.9)。谷歌Play上的平均评论数为26,412条(SD为143,803),App Store上的平均评论数为5120条(SD为28,826)。

谷歌Play上的平均评论数量与安装数量显著相关( F3.= 5.04; P<措施;η2=0.07),安装次数≥100万次的应用比安装次数在10万到50万次之间的应用获得更多评论,并且比安装次数<10万次的应用获得更多评论。我们在苹果App Store上也发现了类似的差异( F3.= 3.59; P= .02点;η2= 0.05);在这种情况下,安装次数低于10万次的应用和安装次数在50万至100万次之间的应用的平均评分明显更高。

按安装数量(N=154)组织的应用程序样本的特征。

变量 总计 安装数量 P价值一个
≥100万(n=49) 50万~ 100万(n=12) 10万~ 50万(n=45) < 100000 (n = 48)
保荐人类型,n (%) 0。
政府 116 (75.3) 42 (85.7) 10 (83.3) 36 (80) 28日(58.3)
私人 17 (11) 2 (4.1) 1 (8.3) 3 (6.7) 11 (22.9)
非营利组织 11 (7.1) 4 (8.2) 1 (8.3) 3 (6.7) 3 (6.3)
多方参与 10 (6.5) 1 (2) 0 (0) 3 (6.7) 6 (12.5)
平均应用评级,平均值(SD;范围)
谷歌玩 3.49 (0.69;1.00 - -5.00) 3.53 (0.72;1.00 - -4.70) 3.16 (0.65;1.80 - -4.10) 3.41 (0.62;1.30 - -4.40) 3.61 (0.71;1.70 - -5.00) .17 (13)
苹果应用商店b 3.59 (0.94;1.00 - -5.00) 3.46 (0.97;1.00 - -4.90) 3.42 (1.15;1.20 - -5.00) 3.69 (0.91;1.60 - -5.00) 3.74 (0.86;1.50 - -5.00) 点(.64点)
平均评分数,中位数(IQR;范围)
谷歌玩 972 (5094;1 - 1600000) 16373 (32382;960 - 1600000年) 2362 (1200;1553 - 4094年) 750 (569;155 - 3275年) 114 (137;1 - 1135) <措施(<措施)
苹果应用商店b 103 (591;1 - 287200) 1047 (3553;1 - 287200) 464 (763;4 - 1400) 112 (226;1 - 2200) 25(47个;1 - 595) 02(<措施)
权限数据,中位数(IQR;范围)
平均权限数 9 (10;2-44) 10 (9;6-40) 7 (6;6-44) 8 (7;2-42) 12 (12;4-41) 10 (.19)
危险权限的平均百分比 13 (21;0 - 63) 13 (21;0-36) 0 (20;0 - 63) 11 (19;0-50) 15 (21;0-44) .87点(50)
跟踪器的平均数量 1 (2;划分) 2 (2;鹿) 0 (1.3;0 - 4) 0 (2;0 - 5) 1 (1.25;划分) 38 (23)
累积风险评分 16 (26;4 - 74) 14 (26;6 - 63) 10 (13;6 - 74) 14 (22;4 - 70) 23.5 (26;4 - 65) 点(厚)
隐私策略数据,n (%) .76
可用的隐私政策 132 (85.7) 44 (89.8) 10 (83.3) 37 (82.2) 41 (85.4)
隐私政策不可用 22日(14.3) 5 (10.2) 2 (16.7) 8 (17.8) 7 (14.6)
可读性b
年级水平,中位数(IQR;范围) 12 (3;7日-) 12 (4;8-23) 11 (2;7 - 16) 12 (3;7-19) 12 (2;仅 07 (13)
可读性等级,n (%)b 50
很难读懂 14 (9.1) 7 (15.9) 1 (10) 4 (10.8) 2 (4.9)
难以阅读 67 (43.5) 24 (54.6) 4 (40) 18 (48.7) 21日(51.2)
相当难读 47 (30.5) 11 (25) 4 (40) 14 (37.8) 18 (43.9)
标准或平均 4 (2.6) 2 (4.6) 1 (10) 1 (2.7) 0 (0)
政策透明度指数,中位数(IQR;范围)b 55 (30;5 - 95) 60岁(31.3;25 - 95) 60岁(36.3;20 - 90) 60 (35;5 - 85) 50 (20;5 - 90) 主板(.68点)

一个 P独立样本值 t检验(双尾)、卡方检验或 F比较安装类别数量和其他变量的测试。的 PKruskal-Wallis检验的值,即方差分析的非参数等价物,在括号中表示。

b这些计算结果可从132个带有隐私政策文件的应用程序中获得。

权限数据

通过Exodus平台自动权限提取识别的权限类型在 多媒体在154个具有有效权限数据的应用中,有94种不同类型的权限,其中17种(18%)是危险或特殊权限。

在正常权限中,所有应用程序中使用的权限为 互联网,有全面的网络接入(154/154, 100%)。超过一半的应用程序使用的权限是 查看网络连接(150/154, 97.4%); 唤醒锁,防止手机休眠(142/154, 92.2%); 在前台运行(137/154, 89%); 启动时运行(131/154, 85.1%);蓝牙相关权限为 与蓝牙设备配对(118/154, 76.6%)。最常使用的危险许可是 访问精确位置(GPS和基于网络的),大约有一半的应用程序(73/ 154,47.4%)使用了该应用程序。大约三分之一的样本使用的其他危险权限 访问大致位置(基于网络)(57/154, 37%), 拍摄照片和视频(51/154, 33.1%) 修改或删除SD卡的内容(44/154, 28.6%)。平均每个应用程序收集了9个权限(IQR 10,范围2-44)。只有0.6%(1/154)的应用程序收集了2个权限( 跟踪Taguig,菲律宾),只有0.6%(1/154)收集了44个权限( Shlonik、科威特);46.1%(71/154)的应用程序需要较少的权限。

危险权限的平均比例为13% (IQR为21%,范围为0%-63%)。共有39%(60/154)的应用程序没有使用任何危险权限,0.6%(1/154)的应用程序报告使用了最危险的权限( 电晕的手表,卡纳塔克省,印度)。

此外,Exodus平台提取了大约30种不同的跟踪器( 多媒体谷歌Firebase Analytics是最常用的跟踪器(80/154,51.9%),其次是谷歌CrashLytics的崩溃报告(48/154,31.2%)。虽然有些应用程序有分析和应用统计信息跟踪器,但其他应用程序的跟踪器用于分析用户(如Facebook登录、Segment、AltBeacon和DOV-E)或用于广告(谷歌AdMob;6/154, 3.9%)。平均而言,每个应用程序使用1个跟踪器(IQR 2,范围0-11)。尽管41.6%(64/154)的应用程序没有使用任何跟踪器,0.6%(1/154)的应用程序使用最多的跟踪器( 公民SafePass).

根据权限和跟踪器的数量和类型,平均权限累积风险评分为16 (IQR 26,范围4-74)。在154个应用程序中,有2个(1.3%)得分最低 跟踪Taguig(菲律宾)和 击败COVID直布罗陀- 1人(0.6%)得分最高 Shlonik(科威特)。大约五分之一的样本(40/ 154,26%)获得了第二和第三低的许可累积风险得分(得分为6:23 / 154,14.9%;7分:17/154,11%)。

隐私政策数据

85.7%(132/154)的应用程序可以提取隐私政策数据,14.3%(22/154)的应用程序没有有效的隐私政策链接或文件。包含每个应用程序的隐私政策数据提取的电子表格可在 多媒体附件4

在可读性方面,隐私文件要求的中位数等级为12 (IQR 3,范围7-23)。我们在隐私政策文件中找到了最低级别的 阻止电晕(奥地利) 区域签到(澳大利亚北领地)和最高级别的政策文件 台湾社交距离应用程序。

大多数隐私政策文件都是 困难 很难读懂(81/132, 61.4%),约三分之一是 相当难读(47/132, 35.6%)。只有3%(4/132)的应用程序有 标准或平均阅读水平。除了 阻止电晕而且 领土登记,其他两个应用程序是 COVID警报(南非)和 COVID警报(加拿大)。

根据隐私策略检查表项的示例分布如图所示 表3.隐私方面的显著优势包括大多数政策文件明确说明了何时收集个人标识符(116/132,87.9%)以及收集什么类型的数据以及收集多长时间(100/132,75.8%)。此外,隐私政策文件提到,这些数据是通过个人识别号码或密码来保护的(78/ 132,59.1%)。然而,大多数应用程序收集或部分收集了个人身份信息(89/132,67.4%)。数据管理的其他局限性包括大多数隐私政策没有明确解释应用程序如何工作的部分(86/132,65.2%),没有说明或解释应用程序或服务器如何加密数据,或没有描述数据交换的过程(105/132,79.5%)。

在使用的法律框架方面,大多数政策文件提到他们遵守GDPR或其他国家层面的立法数据保护框架(82/ 132,62.1%)。被遗忘权的另一个显著优势是,大多数政策文件都声明,用户有权删除应用程序或其个人资料(90/132,68.2%)。但是,少数政策中提到了修改或编辑个人资料的权利(50/132,37.9%)。

根据私隐政策检查表,平均私隐透明度指数为56 (SD 22,范围5-95),略高于中位数50,可被视为中等水平。在132个应用程序中,4个(3%)的隐私透明指数最低 区域签到(澳大利亚); 巴德赫特市- COVID-19/灾害应对而且 Bharatpur Metropolitan|COVID-19响应系统(都来自尼泊尔);而且 另一方面,一个etas(澳大利亚)- 1(0.8%)的隐私透明指数最高 爱尔兰COVID追踪- 5个(3.8%)的隐私透明指数(90/100)排名第二 Corona-Warn-App(德国)、 NHS COVID-19应用程序(联合王国;2个版本,一个飞行员版本和一个国家版本), SwissCovid(瑞士), 保护苏格兰

完整的隐私透明指数清单适用于132个应用程序。

域、项目和分数 应用程序,n (%)
隐私
这个应用程序会收集个人身份信息吗?
是的= 0 79 (59.8)
部分一个= 5 10 (7.6)
没有= 10 43 (32.6)
隐私政策中是否提到无需输入身份信息就可以使用该应用程序?
是或否b= 5 48 (36.4)
没有= 0 84 (63.6)
隐私政策是否提到应用程序收集身份信息,如全名、电子邮件和电话号码?
是或N/A=5 116 (87.9)
没有= 0 16 (12.1)
隐私政策是否提到应用程序提供个人识别号码、密码或登录过程来查看和输入用户数据?
是或N/A=5 78 (59.1)
没有= 0 54 (40.9)
数据管理
隐私政策是否明确规定了要处理的数据类型?
是的= 15 100 (75.8)
没有= 0 32 (24.2)
隐私政策是否明确包含“应用程序如何工作”的部分?
是的= 5 46 (34.8)
没有= 0 86 (65.2)
隐私策略是否声明应用程序或服务器加密输入的数据?
是的= 10 57 (43.2)
没有= 0 75 (56.8)
隐私政策是否描述了服务器和电话之间与用户输入信息相关的数据交换和通信过程?
是的= 5 27日(20.5)
没有= 0 105 (79.5)
隐私政策是否声明用户信息存储在手机或设备上?
是的= 10 51 (38.6)
没有= 0 81 (61.4)
隐私政策提到数据保留了吗?
是的= 5 100 (75.8)
没有= 0 32 (24.2)
法律框架
隐私政策提到GDPR了吗c?如果没有,隐私政策是否提及其他立法框架?
是的= 15 82 (62.1)
没有= 0 50 (37.9)
隐私策略是否说明用户是否可以删除输入的信息?
是的= 5 90 (68.2)
没有= 0 42 (31.8)
隐私政策是否说明用户是否可以编辑输入的信息?
是的= 5 50 (37.9)
没有= 0 82 (62.1)

一个部分得分时,应用程序只使用位置服务。

bN/A:不适用。

cGDPR:通用数据保护条例。

相关性

表示应用程序特征的连续变量、权限累积风险分数、可读性和隐私透明指数之间的相关性如 表4.在这两个应用商店中,应用的平均评分之间存在较小的显著相关性( r= 0.21; P= .02点;116/154, 75.3%)。同样地,谷歌Play和苹果应用商店中报告的评级数量之间也存在更大且更显著的相关性( r= 0.87; P<措施;116/154(75.3%),这反过来又与安装数量显著相关(谷歌Play评级: r= 0.96; P<措施;150/154, 97.4%;苹果App Store评分: r= 0.90; P<措施;120/154, 77.9%)。这一发现与研究结束时报告的方差分析相一致 应用特征部分。许可累积风险评分与苹果应用商店的平均评分呈小的负相关( r=−0.20; P= .03点;120/154, 77.9%),说明评分越低,用户隐私风险越大。隐私透明度指数与权限累积风险评分呈负相关( r=−0.25; P<措施;132/154, 85.7%),说明数据风险越高,相关政策文件的透明度指数越低。

图3是显示“权限累积风险评分”与“私隐透明度指数”之间关系的地图截图。该地图可在Tableau Public上公开获取[ 74].

连续变量的相关表。

变量 1 2 3. 4 5 6 7
1.平均评分(谷歌Play) - - - - - -一个 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
2.平均评分(苹果App Store) 0.21b - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
3.收视率(谷歌播放) 0.04 0.03 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
4.评级数量(苹果App Store) 0.11 0.13 0.87c - - - - - - - - - - - - - - - - - - - - - - - -
5.安装数量 0.02 0.04 0.96c 0.90c - - - - - - - - - - - - - - - - - -
6.帕尔斯d 0.13 −0.20b 0.05 0.04 0.01 - - - - - - - - - - - -
7.年级水平(可读性) 0.04 0.10 0.05 0.11 0.08 0.02 - - - - - -
8.PTIe −0.03 0.10 0.00 < 0.00 0.02 −0.25f −0.15

一个不适用。

b P< . 05。

c P<措施。

dPARS:权限累积风险评分。

e隐私透明指数。

f P< . 01。

表示权限累积风险评分(气泡大小)和隐私透明度指数(颜色)的地图。

讨论 主要研究结果

本文首次系统回顾了全球开发的COVID-19接触追踪应用程序,探讨了这些应用程序的数据保护和隐私方法。此外,我们还评估了应用程序请求的权限的数量和类型,以及隐私政策文件关于数据保护规则的透明度。这项系统审查旨在(1)识别和映射现有的联系人追踪应用程序,(2)通过评估所请求的权限类型和数量来评估对用户隐私的潜在风险,以及(3)评估相关隐私政策文件的可读性和透明度。

我们采用了系统的搜索、选择和识别过程,使用不同的来源[ 62].这种系统方法使我们能够识别覆盖90个国家的180个COVID-19接触追踪应用程序。在这180个应用程序中,154个(85.6%)有提取权限数据的有效链接,132个(73.3%)有可以分析的隐私政策文件。我们的搜索策略使我们生成的样本比最近与covid -19相关的应用程序审计报告的样本大得多[ 13 29 38].此外,我们分析的应用程序的选择比MIT中包含的应用程序更广泛 Covid追踪跟踪器项目( 37],目前有81个应用程序。到目前为止,最新的信息来源是维基百科 COVID-19应用页面( 36该网站列出了152款应用。尽管随着越来越多的政府开始开展数字接触追踪工作,COVID-19接触追踪应用程序的数量可能会随着时间的推移而增长,但一些研究人员认为,考虑到大流行的演变,现在这种势头已经过时了。在缺乏零covid -19战略的情况下,缓解战略和疫苗接种运动可能优先于接触者追踪和其他非传染性疾病行动[ 75].尽管如此,我们希望这一审查将激发公共卫生和全球卫生界的兴趣,他们可能希望为扩大和维护应用程序数据库作出贡献,该数据库已可在Tableau public上访问[ 74].

权限数据和隐私风险

为了实现第二个目标,我们分析了谷歌Play网页上的公开信息,并使用Exodus平台扫描仪提取了这些信息[ 68].这种客观的评估和数据提取使我们能够系统地识别和分类权限类型及其对用户隐私的相对风险。我们开发了一个权限累积风险评分来限定风险级别,考虑到一些危险的权限和侵入性跟踪器的存在。在这项研究中包含的154个应用程序样本中,权限和跟踪器的数量和类型存在广泛的变化,这表明没有单一的方法可以保护应用程序的隐私。与Azad等人的结论一致[ 58],许多应用程序收集的权限似乎超过了所需,其中一些可能会侵犯用户的隐私。尽管应用程序的权限数量和类型各不相同,但似乎有些政府对收集更多数据特别感兴趣。一方面,大多数应用程序都要求一些非危险的权限,比如允许完全网络访问,防止设备休眠,以及要求配对蓝牙设备。使用蓝牙技术进行接触追踪似乎无处不在[ 58 76]并被认为是一种保护隐私的方法[ 45 48 51];然而,一些应用程序包含非常侵入性的权限或需要持续的互联网连接,这可能不是所有时候都可用,使实时曝光通知变得困难或不切实际[ 77].

此外,一些应用程序需要读写权限才能访问手机存储和使用QR码的摄像头,这种方法似乎适用于某些类型的离线自检动作,以进行数字联系人追踪。 77].其他应用程序需要访问麦克风、GPS定位和手机身份,以便政府进行联系人追踪和网络暴露通知操作。虽然从公共健康的角度来看,这种方法是有效的,但这种方法可能会产生一些普遍的隐私问题。我们的研究结果显示,许可累积风险评分与苹果应用商店中所选应用的平均评分呈负相关,这可能表明用户不喜欢这些应用的设计或可用性,或者不信任这些应用,表达了较低的评分[ 78].

隐私政策的可读性和透明度

大多数应用程序(81/132,61.4%)包含非常难以阅读的隐私政策,这表明只有受过教育的用户才能理解所呈现的信息。这一发现与一些评估接触追踪应用隐私政策可读性的研究一致[ 60]以及其他健康领域的应用程序,如心理健康[ 71 79]、健康与健身[ 63],以及年轻一代的总体健康状况[ 54 55].

在透明度方面,在被识别的180个联系人追踪应用中,24个(13.3%)没有提供有效的隐私政策文件链接,或者包含指向非该应用特定政策文件的链接。尽管没有多少用户可能会在安装应用之前或之后阅读隐私政策,但如果没有这样的文件,就会引发对开发者透明度、疏忽或无能的担忧[ 79].另一个值得注意的发现是权限累积风险评分和隐私透明度指数之间的反比关系,这表明,通过应用程序权限侵犯隐私的风险越高,策略文件的透明度水平越低。虽然我们的关系是建立在我们 专家评估对于文档和权限数据,数据是有意义的。数据表明,一些开发人员可能会收集不必要的数据,而不觉得有必要与用户沟通。 80].

随着全球对政府的信任似乎在下降,联系人追踪应用程序将遵循一个真正去中心化的框架,并基于透明和开放的原则。 25].在分析的132份隐私政策文件中,大多数(81/132,61.4%)在定制的隐私透明度指数中获得了高于平均水平的评级。大多数政策文件表明,这些应用程序收集了个人识别码。虽然它提供了有关数据管理的有用信息,但这表明,真正保护隐私和完全匿名的联系人追踪方法在现实生活中可能是不可实现的[ 49].尽管如此,保护隐私的应用程序(即那些权限累积风险评分较低的应用程序)在苹果应用程序商店中评分较高。他们的隐私政策文件具有更高的隐私透明度指数,这表明透明度和隐私可以与积极的应用评价相结合,这可能意味着更好的用户粘性和持续使用。

优势与局限

这是首次对COVID-19接触追踪应用程序进行系统审查和评估,结合了隐私风险评估和隐私政策的透明度和可读性。本研究的一个基本优势是方法论方法遵循了选择、数据提取和分析的特定协议。另一个优势是全球154个应用程序收集的数据的可用性。本研究的局限性包括使用定制的措施来量化风险水平(许可累积风险评分)和透明度水平(隐私透明指数)。虽然这些工具需要正式的验证,但我们试图通过完成一系列训练和评估评分者之间的一致性和可靠性指标来最大限度地减少潜在的主观性和错误,以在评估应用程序时建立良好的一致性水平。另一个限制是使用了谷歌Play生成的数据,因为一些应用程序仅为iOS开发,因此没有包括在研究中。不幸的是,iOS应用商店不包括应用程序所需权限的信息;这是由于iOS和Android之间不同的软件架构。另一个限制与移动应用市场的极端波动及其特点有关。在对市场进行了大约一年的监测后,我们提供了截至2021年10月31日所有可用的联系人追踪应用程序的全球快照。 Considering that the pandemic is still ongoing, existing contact-tracing apps might disappear, new ones could be developed, or different technological solutions could be adopted to provide exposure notifications (eg, merging databases or aligning data exchange protocols between European or US states). This would imply that the existing apps might have different software permissions and privacy policies. Our database provides a historical classification of contact-tracing apps that were developed over more than a year, and we made such a list of apps available from the Tableau link.

结论

COVID-19接触追踪应用程序开发人员应在遵循隐私保护框架和收集个人信息之间找到平衡,以满足公共卫生机构的需求,以确保对手动接触追踪工作提供有效和实际的支持。开发人员应该减少收集的数据量,并将其与联系人追踪的唯一目的联系起来。它们还应加大力度,使隐私政策文件更易于获取和阅读,并提供必要的信息,以促进人们对政府和机构抗击COVID-19的信任。更好、更有用的数字接触追踪应用程序将帮助政府更有效地开展接触追踪工作。

已识别的联系人跟踪应用程序列表(N=180)。

具有可用权限数据的选定联系人跟踪应用程序的特征(n=154)。

所选联系人跟踪应用程序的权限数据(n=154)。

使用现有有效政策文件对选定的联系人跟踪应用程序进行隐私政策评估(n=132)。

缩写 疾病预防控制中心

疾病控制和预防中心

实体

暴露通知制度

GDPR

一般保障资料规例

麻省理工学院

麻省理工学院

NPI

非药物干预

作者要感谢Dalia Sarieldine女士的帮助,她是贝鲁特美国大学健康科学学院健康促进和社区卫生系的研究生研究助理,她帮助验证了所选应用程序的包含,并更新了所选应用程序的数据。

MB在IHE、NM和RAS的智力投入下构思和设计了综述。MB开发搜索策略并执行搜索。MB在NM、RAS和MAD的帮助下协调选择过程。MB、NM、RAS、MAD独立提取数据。MB负责数据分析,NM、RAS、IHE和MAD负责数据解释。MB起草了手稿,然后由所有作者编辑。所有作者审阅并批准了手稿的最终版本。

没有宣布。

费雪 D Wilder-Smith 一个 国际社会需要迅速加强应对措施,遏制COVID-19 《柳叶刀》 2020 04 04 395 10230 1109 10 10.1016 / s0140 - 6736 (20) 30679 - 6 32199470 s0140 - 6736 (20) 30679 - 6 PMC7138255 海曼 戴斯。莱纳姆: Shindo NgydF4y2Ba COVID-19:公共卫生的下一步是什么? 《柳叶刀》 2020 02 22 395 10224 542 5 10.1016 / s0140 - 6736 (20) 30374 - 3 32061313 s0140 - 6736 (20) 30374 - 3 PMC7138015 减轻流行性和大流行性流感风险和影响的非药物公共卫生措施:附件:系统文献综述报告 世界卫生组织 2019 2021-04-03 https://apps.who.int/iris/handle/10665/329439 Kissler SM Tedijanto C 戈尔茨坦 E 研究生 本产品 Lipsitch说道 预测SARS-CoV-2在大流行后时期的传播动态 科学 2020 05 22 368 6493 860 8 10.1126 / science.abb5793 32291278 science.abb5793 PMC7164482 冠状病毒更新(实时)-世界计 Worldometer 2022 2021-04-03 https://www.worldometers.info/coronavirus/ Chowdhury R Luhar 年代 NgydF4y2Ba Choudhury 晨祷 弗朗哥 低收入和中等收入国家控制COVID-19的长期战略:基于社区的非药物干预措施选项概述 欧元J流行病学 2020 08 35 8 743 8 10.1007 / s10654 - 020 - 00660 - 1 32656618 10.1007 / s10654 - 020 - 00660 - 1 PMC7354877 史密斯 晶澳 贾德 J 2019冠状病毒病:大流行中的脆弱性和特权力量 健康促进协会 2020 04 31 2 158 60 10.1002 / hpja.333 32197274 PMC7165578 Hellewell J 阿伯特 年代 Gimma 一个 博斯 贾维斯 CI 罗素 太瓦 JD Kucharski AJ 埃德蒙兹 WJ 恐慌 年代 Eggo RM 太阳 F Flasche 年代 奎尔蒂 BJ 戴维斯 NgydF4y2Ba Y 克利福德 年代 Klepac P Jit 钻石 C 吉布斯 H 范Zandvoort K 通过隔离病例和接触者控制COVID-19疫情的可行性 《柳叶刀全球健康》 2020 04 8 4 e488 96 10.1016 / s2214 - 109 x (20) 30074 - 7 32119825 s2214 - 109 x (20) 30074 - 7 PMC7097845 COVID-19背景下的接触者追踪 世界卫生组织 2021-04-04 https://www.who.int/publications-detail-redirect/contact-tracing-in-the-context-of-covid-19 朱诺 C Briand 一个 Pueyo T Collazzo P 波特凡 l COVID-19有效接触者追踪:系统综述 BMJ 2020 07 25 (即将出版) 10.1101 / 2020.07.23.20160234 Verhagen LM de Groot R 劳伦斯 C Taljaard J 棉花 拉比 H 低收入和中等收入国家应对COVID-19:不要忽视手机通信的作用 传染病 2020 10 99 334 7 10.1016 / j.ijid.2020.07.069 32763447 s1201 - 9712 (20) 30625 - 1 PMC7402274 艾哈迈德 NgydF4y2Ba 米其林 类风湿性关节炎 W Ruj 年代 Malaney R Kanhere 党卫军 Seneviratne 一个 W Janicke H 杰哈 SK COVID-19接触追踪应用程序调查 IEEE访问 2020 8 134577 601 10.1109 / access.2020.3010226 Collado-Borrell R Escudero-Vilaplana V Villanueva-Bueno C Herranz-Alonso 一个 Sanjurjo-Saez 新型冠状病毒相关智能手机应用程序的特点和功能:应用商店系统搜索和内容分析 J医疗互联网服务 2020 08 25 22 8 e20334 10.2196/20334 32614777 v22i8e20334 PMC7479586 Davalbhakta 年代 阿德瓦尼 年代 库马尔 年代 阿加瓦尔 V Bhoyar 年代 Fedirko E Misra DP 戈埃尔 一个 古普塔 l 阿加瓦尔 V 系统评估可用于2019冠状病毒病(COVID19)的智能手机应用程序,并使用移动应用程序分级量表(MARS)评估其质量 J医学系统 2020 08 10 44 9 164 10.1007 / s10916 - 020 - 01633 - 3 32779002 10.1007 / s10916 - 020 - 01633 - 3 PMC7417101 Kondylakis H Katehakis DG Kouroubali 一个 Logothetidis F Triantafyllidis 一个 Kalamaras Votis K Tzovaras D COVID-19移动应用程序:文献系统综述 J医疗互联网服务 2020 12 09 22 12 e23170 10.2196/23170 33197234 v22i12e23170 PMC7732358 J X COVID-19接触追踪应用程序:全球部署和挑战调查 arXiv 2020 05 07 10.48550 / arXiv.2005.03599 信用证 Untong NgydF4y2Ba Aliudin NA Osili NgydF4y2Ba Kifli NgydF4y2Ba 棕褐色 CS 千瓦 Ng PW Al-Worafi YM KS 惠普 大流行初期推出的COVID-19移动健康应用程序:内容分析和审查 JMIR Mhealth Uhealth 2020 09 16 8 9 e19796 10.2196/19796 32609622 v8i9e19796 PMC7505686 Hasham NgydF4y2Ba 麦克法兰 Conteh Momoh F 特斯科 AA Jambai 一个 罗斯 维斯 在塞拉利昂北部使用移动应用程序追踪和监测埃博拉接触者:概念验证研究 BMC感染 2019 09 18 19 1 810 10.1186 / s12879 - 019 - 4354 - z 31533659 10.1186 / s12879 - 019 - 4354 - z PMC6749711 Hashemian 斯坦利 K 奥斯古德 NgydF4y2Ba 利用接近传感器微数据建立H1N1感染传播模型 BMC Med通知Decis Mak 2012 05 02 12 35 10.1186 / 1472-6947-12-35 22551391 1472-6947-12-35 PMC3416705 Hashemian 斯坦利 K 奥斯古德 NgydF4y2Ba fluet:在流感季节自动跟踪接触者 第八届移动、Ad Hoc和无线网络建模与优化国际研讨会论文集 2010 第八届移动,Ad Hoc和无线网络建模和优化国际研讨会 2010年5月31日- 6月4日 法国阿维尼翁 Alwashmi 曼氏金融 在COVID-19检测和管理中使用数字卫生 国际环境与公共卫生 2020 04 23 17 8 2906 10.3390 / ijerph17082906 32340107 ijerph17082906 PMC7215737 在英国支持基于应用程序的COVID-19接触追踪 OSF的家 2022-07-04 https://osf.io/huqtr McKendry 类风湿性关节炎 里斯 G 考克斯 IJ 约翰逊 一个 埃德尔斯坦 大羚羊 一个 史蒂文斯 毫米 海曼 D 分享移动和社交媒体数据以遏制COVID-19 自然 2020 04 580 7801 29 10.1038 / d41586 - 020 - 00908 - 6 32235939 10.1038 / d41586 - 020 - 00908 - 6 奥乌苏 PN 数字技术应用于接触者追踪:COVID-19及其后的新前景? 全局运行状况存储策略 2020 8 3. 5 1 36 10.1186 / s41256 - 020 - 00164 - 1 32766453 164 PMC7396224 Ferretti) l Wymant C 肯德尔 l Nurtay 一个 Abeler-Dorner l 帕克 Bonsall D 弗雷泽 C 量化SARS-CoV-2传播建议采用数字接触追踪来控制疫情 科学 2020 05 08 368 6491 eabb6936 10.1126 / science.abb6936 32234805 science.abb6936 PMC7164555 《柳叶刀》数字健康 接触者追踪:数字卫生处于第一线 柳叶刀手指健康 2020 11 2 11 e561 10.1016 / s2589 - 7500 (20) 30251 - x 33103094 s2589 - 7500 (20) 30251 - x PMC7572055 Fagherazzi G Goetzinger C 拉希德 Aguayo 遗传算法 Huiart l 全球抗击COVID-19的数字卫生战略:挑战、建议和论文征集 J医疗互联网服务 2020 06 16 22 6 e19284 10.2196/19284 32501804 v22i6e19284 PMC7298971 布雷斯韦特 卡兰德 T 布洛克 奥尔德里奇 R 自动和部分自动接触者追踪:为COVID-19控制提供信息的快速系统评估 medRxiv 2020 10.1101 / 2020.05.27.20114447 Jalabneh R Zehra Syed H 皮拉伊 年代 霍克Apu E 侯赛因 先生 卡比尔 R 阿拉法特 SY Azim Majumder 使用手机应用程序追踪接触者以控制COVID-19大流行:文献综述 SSRN J 2020 10.2139 / ssrn.3641961 Anglemyer 一个 摩尔 T 帕克 l 钱伯斯 T 格雷迪 一个 K 帕里 Wilczynska 弗雷明 E Bero l 流行病中的数字接触追踪技术:快速回顾 Cochrane数据库系统版本 2020 08 18 8 CD013699 10.1002/14651858. cd013699 33502000 PMC8241885 接触者追踪:使用数字工具 疾病控制和预防中心 2022-06-25 https://www.cdc.gov/coronavirus/2019-ncov/php/contact-tracing/index.html 马丁 T Karopoulos G Hernandez-Ramos J Kambourakis G Fovino 揭开COVID-19数字接触追踪的神秘面纱:关于框架和移动应用程序的调查 arXivcs 2020 10.1155 / 2020/8851429 COVID-19接触者追踪的数字工具 世界卫生组织 2020 2020-11-04 https://www.who.int/publications-detail-redirect/WHO-2019-nCoV-Contact_Tracing-Tools_Annex-2020.1 支持COVID-19接触者追踪的移动应用程序:欧盟/欧洲经济区成员国指南 欧洲疾病预防控制中心 2021-04-03 https://www.ecdc.europa.eu/sites/default/files/documents/covid-19-mobile-applications-contact-tracing.pdf 迈克尔 K 阿巴斯 R 新冠肺炎接触追踪应用背后:谷歌和苹果的合作 IEEE消费者电子杂志 2020 9 1 9 5 71 6 10.1109 / mce.2020.3002492 COVID应用 维基百科 2021-10-31 https://en.wikipedia.org/wiki/COVID-19_apps 大量冠状病毒应用程序正在跟踪我们。现在是时候跟踪它们了 麻省理工科技评论 2020-06-15 https://www.technologyreview.com/2020/05/07/1000961/launching-mittr-covid-tracing-tracker/ H Z D 钱币兑换商 NgydF4y2Ba 一项关于COVID-19接触追踪应用程序隐私的研究 通信网络中的安全与隐私 2020 可汗 施普林格国际出版 Chiusi F 数字联系人追踪应用:它们真的有用吗?早期证据的回顾 AlgorithmWatch 2021-10-31 https://algorithmwatch.org/en/analysis-digital-contact-tracing-apps-2021/ Colizza V 烧烤 E Mikolajczyk R Cattuto C Kucharski 一个 莱利 年代 肯德尔 Lythgoe K Bonsall D Wymant C Abeler-Dorner l Ferretti) l 弗雷泽 C 是时候评估COVID-19接触追踪应用程序了 Nat地中海 2021 03 15 27 3. 361 2 10.1038 / s41591 - 021 - 01236 - 6 33589822 10.1038 / s41591 - 021 - 01236 - 6 Thorneloe R Epton T Fynn W 戴利 Stanulewicz NgydF4y2Ba Kassianos 一个 更短的 G 摩尔 年代 坎贝尔 Sodergren 年代 查普曼 年代 萨瑟兰 l 阿米蒂奇 C 浪漫的地方 遮打 一个 Byrne-Davis l 哈特 J 对手机应用程序的吸收和参与情况进行范围审查,为COVID-19的数字合同追踪工具提供信息 PsyArXiv 2020 10.31234 / osf.io / qe9b6 濑户 E Challa P 制品 P 采用COVID-19接触者追踪应用程序:隐私和有效性之间的平衡 J医疗互联网服务 2021 03 04 23 3. e25726 10.2196/25726 33617459 v23i3e25726 PMC7935397 Munzert 年代 Selb P Gohdes 一个 Stoetzer 低频 W 跟踪和推广COVID-19接触者追踪应用程序的使用情况 Nat Hum行为 2021 02 5 2 247 55 10.1038 / s41562 - 020 - 01044 - x 33479505 10.1038 / s41562 - 020 - 01044 - x Corona-Warn-App开源项目主页 Corona-Warn-App开源项目 2021-04-04 https://www.coronawarn.app/en/ 拉斯卡尔 R Schunemann 理发员 R Vilcans K 灰色的 J Vepakomma P Kapa 年代 Nuzzo 一个 古普塔 R 伯克 一个 格林伍德 D 基冈 C Kanaparti 年代 德里 R 斯坦伯 D Arcila B Kanaparti R 潘普洛纳 V 贝内代蒂 F 深谷 一个 达斯 R 耆那教徒的 K Louisy K Nadeau G 潘普洛纳 V Penrod 年代 Rajaee Y 辛格 一个 风暴 G 沃纳 J 应用程序失控:在流行病中维护个人隐私 arXivcs 2020 沙玛 T 巴希尔 在COVID-19应对过程中使用应用程序以及失去隐私保护 Nat地中海 2020 08 26 26 8 1165 7 10.1038 / s41591 - 020 - 0928 - y 32457443 10.1038 / s41591 - 020 - 0928 - y H 使役动词 D Y 针对COVID-19的接触追踪移动应用程序:隐私考虑因素和相关权衡 arXiv 2020 10.48550 / arXiv.2003.11511 伯克 一个 赞美上帝 Vepakomma P 拉斯卡尔 R 拉森 K Pentland 作为 利用位置数据评估疾病暴露风险:加密保护隐私的建议 arXiv 2020 10.48550 / arXiv.2003.14412 Yasaka TM Lehrich BM Sahyouni R 点对点接触追踪:保护隐私的智能手机应用程序的开发 JMIR Mhealth Uhealth 2020 04 07 8 4 e18936 10.2196/18936 32240973 v8i4e18936 PMC7144575 Scantamburlo T 议会 一个 Dewitte P Van Der Eycken, D V Duysburgh P Laenens W Covid-19和接触者追踪应用程序:在欧洲法律框架下的审查 arXiv 2020 10.48550 / arXiv.2004.14665 Hernandez-Orallo E 卡拉法特 CT 卡诺 J 曼卓尼 P 评估基于COVID-19蓝牙的智能手机联系人追踪应用程序的有效性 应用科学 2020 10 13 10 20. 7113 10.3390 / app10207113 D 私隐信任架构 SSRN J 2013 13 10.2139 / ssrn.2231667 联邦贸易委员会 移动隐私披露通过透明建立信任 2013 Collingdale,爸爸 戴安出版公司 穆德 T 健康应用,它们的隐私政策和GDPR Eur J Law Technol 2019 10 1 3. 达斯 G C Nebeker C Bietz 布劳斯 C 针对年轻人的应用隐私政策:可读性的描述性分析 JMIR Mhealth Uhealth 2018 01 04 6 1 e3 10.2196 / mhealth.7626 29301737 v6i1e3 PMC5773816 Oldeweme 一个 马丁斯 J Westmattelmann D Schewe G 透明度、信任和社会影响在大流行时期减少不确定性方面的作用:采用COVID-19追踪应用程序的实证研究 J医疗互联网服务 2021 02 08 23 2 e25893 10.2196/25893 33465036 v23i2e25893 PMC7872328 Elkhodr Mubin O 伊夫蒂哈尔 Z 马苏德 Alsinglawi B 舍希德 年代 Alnajjar F 用于追踪联系人的COVID-19移动应用程序的技术、隐私和用户意见:系统搜索和内容分析 J医疗互联网服务 2021 02 09 23 2 e23467 10.2196/23467 33493125 v23i2e23467 PMC7879719 自由 艾尔沙德 J 阿克毛 SM Riaz F 阿卜杜拉 年代 伊姆兰 艾哈迈德 F COVID-19接触追踪移动应用程序的隐私分析 IEEE Internet Things J 2021 11 1 8 21 15796 806 10.1109 / jiot.2020.3024180 Blacklow 年代 Lisker 年代 Ng Sarkar U 莱尔斯 C 美国COVID-19接触追踪应用程序的可用性、包容性和内容评估 美国医学信息协会 2021 08 13 28 9 1982 9 10.1093 /地点/ ocab093 34022053 6281223 PMC8194594 周润发 一个 史密斯 H COVID-19接触追踪应用程序:隐私政策可读性分析 J医疗互联网服务 2020 12 03 22 12 e21572 10.2196/21572 33170798 v22i12e21572 PMC7717894 Elhajj 阿布 毫升 Germani 一个 Bardus Dohna H Ghattas H Dawy Z Maalouf NgydF4y2Ba Kamar 一个 Ma3an-together against corona,黎巴嫩官方接触追踪应用程序:经验教训 新兴科学、前沿技术和可持续发展目标——来自联合国系统和科技界的观点 2021 纽约 联合国科学、技术和创新促进可持续发展目标机构间工作队 Bardus 范Beurden 某人 史密斯 亚伯拉罕 C 对最受欢迎的体重管理商业应用程序中的参与度、功能、美学、信息质量和变化技术进行回顾和内容分析 国际行为物理法案 2016 03 10 13 35 10.1186 / s12966 - 016 - 0359 - 9 26964880 10.1186 / s12966 - 016 - 0359 - 9 PMC4785735 罗文 Dehlinger J 健康和健身相关移动应用程序的隐私政策比较 程序计算科学 2014 37 348 55 10.1016 / j.procs.2014.08.051 Sunyaev 一个 Dehling T 泰勒 PL Mandl KD 移动健康应用程序隐私政策的可用性和质量 美国医学信息协会 2015 04 22 e1 e28 33 10.1136 / amiajnl - 2013 - 002605 25147247 amiajnl - 2013 - 002605 联系人追踪应用 欧洲委员会 2022 2020-07-13 https://www.coe.int/en/web/data-protection/contact-tracing-apps Sholtz COVID追踪应用程序综述:目前提供暴露通知应用程序的所有国家和美国州 Android的警察 2020-11-27 https://www.androidpolice.com/2020/11/21/covid-tracing-apps-ens-android/ 拉赫曼 使用谷歌和苹果COVID-19接触者追踪API的国家列表 XDA开发者 2021 2021-08-06 https://xda-developers.com/google-apple-covid-19-contact-tracing-exposure-notifications-api-app-list-countries/ Exodus隐私主页 《出埃及记》的隐私 2022 2021-08-07 https://exodus-privacy.eu.org/en/ Manifest权限 Android开发者 2020-07-13 https://developer.android.com/reference/android/Manifest.permission 意大利广播电视公司 P Android应用安全要点 2013 英国伯明翰 Packt出版 intuition K 尼瑞 Adkins 电子商务 舒尔勒 SM 评估抑郁症手机应用程序的数据安全和隐私政策 互联网间歇雨刷 2019 03 15 110 5 10.1016 / j.invent.2018.12.001 30792962 s2214 30046 - 0 - 7829 (18) PMC6371412 世界各大洲 国家网络 2020-12-06 https://www.nationsonline.org/oneworld/continents.htm 自动可读性检查器 可读性公式 2020-12-02 https://readabilityformulas.com/free-readability-formula-tests.php Bardus 系统回顾c19 -联系人追踪应用程序:应用程序列表- Marco Bardus 表公开 2022 2021-09-02 https://public.tableau.com/views/SR-C19-ContactTracingApps/AppList?:language=en-US&publish=yes&:display_count=n&:origin=viz_share_link 菲利普斯 NgydF4y2Ba 冠状病毒将继续存在——这意味着什么 自然 2021 02 16 590 7846 382 4 10.1038 / d41586 - 021 - 00396 - 2 33594289 10.1038 / d41586 - 021 - 00396 - 2 艾尔Jutail Al-Akhras Albesher 一个 移动应用程序权限中的相关风险 J Inf安全 2019 10 02 69 90 10.4236 / jis.2019.102004 Min-Allah NgydF4y2Ba Alahmed 英航 Albreek 新兴市场 Alghamdi LS Alawad Alharbi 作为 Al-Akkas NgydF4y2Ba Musleh D Alrashed 年代 COVID-19接触追踪应用程序调查 Comput Biol Med 2021 10 137 104787 10.1016 / j.compbiomed.2021.104787 34482197 s0010 - 4825 (21) 00581 - 3 PMC8379000 H l H 政府支持的COVID-19接触追踪应用程序的市场层面分析 第35届IEEE/ACM自动化软件工程研讨会国际会议论文集 2020 ASE '20:第35届IEEE/ACM自动化软件工程国际会议 2020年9月21日至25日 澳大利亚虚拟活动 10.1145/3417113.3422186 Robillard JM TL 斯波恩 AB J C 助教 纳德勒 R 心理健康应用程序的隐私政策和协议条款的可用性、可读性和内容 互联网间歇雨刷 2019 09 17 100243 10.1016 / j.invent.2019.100243 30949436 s2214 - 7829 (18) 30016 - 2 PMC6430038 Huckvale K 普列托 JT Tilney Benghozi P J 认证的健康和保健应用程序中未解决的隐私风险:横断面系统评估 BMC医学 2015 9 25 13 1 214 10.1186 / s12916 - 015 - 0444 - y 26404673 10.1186 / s12916 - 015 - 0444 - y PMC4582624
Baidu
map