COVID-19数字接触追踪应用程序:以公民为中心的评估框架的开发

简介

全球冠状病毒大流行(COVID-19)要求迅速采取措施监测和控制病毒的传播。接触者追踪是卫生当局采取的措施之一。这种方法已经在结核病等其他危险疾病的治疗中取得了一定程度的成功。1]及埃博拉[2］．作为COVID-19大流行期间接触者追踪工作的一部分，已对移动应用程序的部署及其在收集、存储和共享公民接触者追踪数据方面的潜力进行了研究，早期研究显示了良好的结果[3.，4］．这些研究推动了使用数字接触者追踪应用程序(cta)，并且开发了许多cta供各国使用，以促进基于社区的疾病监测[5］．

cta在现实环境中的应用引发了许多关于其设计的讨论[6-9]，对CTA数据的安全性和隐私性的担忧，以及其被公民广泛接受和采用的障碍[10，11］．反映这些讨论，CTA评估框架已经出现，专门关注不同方面，如接触追踪架构的评估[12]、社会技术问题[13]，私隐[14，15]、道德及法律方面的挑战[16]、可行性及有效性[17]，可用性[18]，以及基本属性[19，20.］．

在这种支离破碎的情况下，合理的关切是建立一个更全面的评价框架，包括与收养公民有关的cta的各种不同方面，并使决策者(如开发人员、卫生当局)能够评估并可能改进其设计。这种担忧推动了我们的研究问题:如何设计和组织一个框架，以便对当前的cta进行更全面的评估，支持决策者(如开发人员、卫生当局)在cta的开发和演变方面的工作，从而可能增加采用?在本文中，我们通过提出一个以公民为中心的cta比较与对比评估框架(C^3.EF)，我们通过全面整合现有的cta和移动健康(mHealth)应用程序评估工作，并使用一些当前的cta对我们的衍生产品进行迭代和压力测试，得出了这个结果。

这里提出的框架更多地关注应用程序本身，而不是应用程序在国家卫生系统中的嵌入(作为另一个重要的角度[21])。该框架旨在帮助评估和改进现有的CTA解决方案，通过对集中属性的7个支柱进行分类:(一般)特征、可用性、数据保护、有效性、透明度、技术性能和公民自治。本文介绍了C^3.EF，并在多次迭代中给出它的推导。在介绍该框架时，我们将说明该框架在现有CTA中的应用，展示如何使用该框架来评估和改进CTA设计的各个方面。

下一节将概述我们如何开发框架。接下来是对C的概述和讨论^3.EF框架本身。我们的讨论总结了我们的贡献、本研究的局限性和未来的工作。

方法

回顾和框架推导

为了适应cta评估的高复杂性和多学科性质，以广泛的社会采用，我们使用了一种迭代方法，将文献综述和专家意见与衍生属性的实证应用及其相关问题相结合，以评估实际的cta。在这种方法中，框架的多学科性质是由一个渐进的“分割”具体处理的，其中研究团队中的10个领域专家被分配到框架的各个部分的责任。

中描述了这种方法图1，其中显示了从2020年6月开始的8个月内的三个主要阶段。阶段1集中于初始的派生(第1个月和第2个月)，阶段2集中于阶段1中派生的原型框架的具体化和批评(第3个月和第4个月)，阶段3集中于最终的细化(第5个月到第8个月)。

‎ 查看此图

阶段1:推导

文献综述

这一阶段是基于“批判性(文献)综述”[22]有关地区。在这里，迭代优化/评估用于集中在更优化的搜索参数，搜索数据库，搜索字符串，以及基于初始研究问题的包含/排除标准。最终，为了获得一个整体的视角，这导致我们专注于:

1. cta:这些包括现有评估框架的同行评审文献，讨论设计特征和功能的灰色出版物，以及开发有效/适当的数字cta的设计指南/欧盟法规。
2. 移动应用:这包括最新的移动应用评估框架，移动健康应用评估框架，移动应用的可访问性原则，应用的通用设计(UD)，以及可用性分类。

为了反映这一广泛的焦点，所使用的搜索来源是:

1. 用于搜索学术文本的电子数据库:谷歌Scholar, Elsevier, ACM数字图书馆，Sage, IEEE Xplore和施普林格。
2. 网络灰色文献搜索(使用谷歌)。
3. 根据Wohlin等人提出的系统的“向后滚雪球”方法，查阅所选文章的参考文献列表，以确定进一步的相关研究[23］．这允许我们使用原始源代码来递归地增加我们现有的文章集。“向前滚雪球”[23没有使用，基于相对最近出现的cta特异性文献。

从批评性评论中获得的搜索字符串是“评估框架”和“数字接触追踪应用程序”和“COVID-19”或“移动应用程序”或“移动健康应用程序”或“可访问性”或“通用设计”或“可用性”或“分类法”或“数据保护”或“GDPR”或“安全威胁”。回顾了2010年至2020年期间用英语撰写并发表的文章。选择了提供评估框架的文章，以及讨论cta /移动健康应用程序特定方面、质量或特征的文章。通过阅读摘要来评估是否纳入，如果摘要不够充分，则通过阅读介绍和结论来评估。该团队的所有10名研究人员都参与了来源的搜索和选择，并在专门的小组会议上讨论了相关的边缘论文。

通过这种搜索策略，我们确定了44个相关来源(完整列表可在多媒体附件1［6，7，9，13-17，24-59])。其中21个是专注于cta特定方面的独特框架，13个为cta或移动健康应用程序的设计或评估提供了法规和指南，其他10个描述了cta的重要特征。从这些来源中，其中一名研究人员提取了111个属性的初始集，代表了用于推导框架的第一次迭代的属性池。同样，这些都在小组会议上进行了审查，讨论了更多的边缘属性，但最终都没有改变。

我们对这个初始属性列表进行了聚类分析，目的是确定重叠和相似性，并将它们分组到主题区域。也就是说，我们专注于构建类别的“信息架构”，而不是类别之间的“导航结构”，正如Righi等人所描述的[60］．然后，我们将我们确定的领域与针对cta框架和分类法的论文中明确提供的领域并列[13，14，17，24-31，58，59]，我们最终确定了6个评估领域，我们称之为支柱:可用性，数据保护，有效性，透明度，技术性能,以及自治该应用程序提供给下载市民。为了唯一地识别应用程序并报告其非评估性特征，”一般特征还加了一句。多媒体附件1提供包含论文的完整列表，从所选论文中提取的属性和类别的表格，以及我们如何将它们分组为我们的结果6个支柱。在此阶段，项目团队被划分为领域专家子小组，每个支柱一个，致力于他们的具体开发和进一步细化。总的来说，这些子组反映了一系列能力，如软件工程、人机交互、安全性和数据保护。

可用性

可用性是指cta易于使用和理解的能力。我们优先考虑可用性，因为项目围绕着增加市民的采用，因此了解目标受众的可用性是至关重要的。我们在回顾CTA评估框架后，得出了初始属性[14-17，58]，以及来自移动应用程序/移动健康应用程序的可用性框架、可访问性和UD文献[27，29，31，44-50］．我们讨论的其他来源是那些讨论可用性标准的人[61-63]一般及欧盟设计要求[55］．可访问性是可用性下的一个高级属性，主要源自欧盟指令无障碍EN 301 549 [30.]，我们从那里获得初始需求，并根据Web内容可访问性指引检查它们[56来提出与我们所确定的属性相关的探索性问题。儿童触屏界面设计框架[52，为儿童评估应用程序[53]，以及针对未成年人的《一般数据保护条例》(GDPR) [54]也征询了意见。有关这一支柱工作的初步报告可供查阅[64］．

数据保护

选择“数据保护”，是为了照顾社会对隐私和安全的关注，这些关注是由相关作品中的类似属性引起的[28］．尽管它以其复杂性而闻名[65]，我们选择GDPR作为我们发展数据保护支柱的参考:欧盟的GDPR [66]目前被认为是全球最重要的保护个人权利的资料保护法例。我们从国家法律解释中检索了初始属性和初步问题[67，68]，以关注数据。由于这种方法不包括更广泛的组织属性(例如，现在在我们的透明度支柱中发现)和面向系统的目标，如信息安全，我们开发了一种新的基于风险的方法来比较cta的系统安全性，基于对移动应用程序GDPR评估相关文献的回顾[65，69-76］．

有效性

有效性衡量一个应用程序的成功程度，包括接触者追踪的准确性、应用程序在辖区内遏制covid - 19的影响，以及应用程序在公民中的受欢迎程度。关注的问题包括发现和分享密切接触者，向公民提供相关信息，并评估他们对这些信息的反应。这一支柱是通过对Lueks等人提供的cta中有效性定义的借鉴和扩展而获得的[77]，并考虑Vokinger等人的[58框架，它也明确地解决了这个问题。

透明度

虽然透明度是GDPR的一个正式子集，但在框架中创建了一个单独的透明度支柱，以考虑透明度的更广泛方面，而不是特别与功能相关。例如，虽然GDPR的透明度方法考虑了特定的数据存储(例如本地存储的联系信息)，但隐私政策的可用性或源代码的开源等透明度问题不适合这种方法。换句话说，在这个上下文中，“透明度”关注的是发展中的组织对其内部过程和工件的开放程度。最初的属性和他们的问题是通过扩展我们对GDPR的解释而形成的[66]，并考虑到已有的分类[25，28］．

技术性能

技术性能支柱捕捉了接触追踪的效率。技术性能支柱特别关注系统资源利用和执行速度，因为这些方面会影响使用。这一支柱的相关性可以从谷歌提供的曝光通知服务的电池问题中看出。78并被整合到爱尔兰的全国联系人跟踪应用程序中，仅在一个周末就引发了电池问题，并导致应用程序的公众留存率大幅下降[79］．技术性能支柱的属性可以分为与资源利用相关的性能(例如，CPU/磁盘/内存使用)和与效率相关的性能(例如，响应时间)。由于COVID-19追踪应用通常是复杂的软件系统(具有专用的前端和后端子系统)，因此可以分别应用于这两个子系统。该支柱的初始属性来自ISO/IEC 25010的“性能效率”类别，这是一个软件工程质量模型。该模型是评估软件系统特性的标准，在软件工程中有广泛的应用。

公民自治

“公民自治”侧重于公民的同意能力和应用程序的自愿性质。它的包含受到了Gasser等人的工作的启发。16研究数字工具的伦理挑战。它也是基于Vokinger等人的“用户控制/自决”领域。58] van Haasteren等人提出的(COVID-19) cta评估框架和清单中的“自主性”类别[28］．在这些作品中，作者主要关注用户(现有的)“数据保护”问题，这些问题主要由我们的数据保护支柱处理，但我们希望扩展范围以具体涵盖最初的数据访问。因此，这一支柱侧重于一系列特定属性，以评估公民对应用程序访问手机功能(如摄像头、麦克风和GPS)的控制。

(一般的)特征

“一般特征”指的是非评估性的特征，但用于将应用程序与其他应用程序和其他版本区分开来。因此，特征支柱捕获的静态信息是进行更深入的比较和对比评估的必要的第一步，在其他支柱中可以找到。通过检查三个cta，得出了一组初始区分特征:SwissCovid(瑞士)[80]， Apturi Covid(拉脱维亚)[81]和Immuni(意大利)[82]，以及从他们的AppStore、谷歌Play和应用程序主页上检索的相关数据。接下来，我们分析了谷歌和Apple曝光通知(GAEN)应用程序编程接口(API)/框架[78]可在苹果和安卓设备上使用，以及分散式隐私保护接近跟踪(DP-3T)协议[83，84激发了谷歌的API。通过查看维基百科COVID-19应用程序页面上列出的联系人跟踪协议和框架，我们进一步扩大了属性列表[85］．最后，我们纳入了应用程序/mHealth应用程序评估的文献综述(见灰色文献)多媒体附件1［32-39])。

在上面描述的工作结束时，我们最初的111个属性列表已经增长到139个，分为7个支柱。

阶段2:具体化和批判

对五个cta框架的检验

在开发的第二阶段，我们的临时框架针对五个可在爱尔兰下载和激活的cta进行了测试:卫生服务管理局(HSE) COVID跟踪应用程序(爱尔兰)[86]， PathCheck SafePlaces(麻省理工学院，美国)[87]， NOVID(美国)[88]、Corona-Warn(德国)[89]和阿曼(约旦)[90］．

两个核心考虑因素是评估属性是否可以在CTA上产生有用的评估信息，以及如何可行地获得这些信息。在此阶段，可行性问题有时会被探测特定属性时所提供信息的感知重要性所压倒。例如，“有多少人被提前告知他们的密切接触状态，然后去进行检测”似乎是cta的核心“有效性”指标之一。然而，识别这个数字涉及的信息收集和报告工作比应用程序本身通常提供的要广泛得多，因此可能很难评估。21(也就是说，公众在接受检测时需要通知当局，他们是根据应用程序向他们发出的警报来进行检测的，并且需要在国家卫生系统中记录，最好是与CTA集成在一起)。

所选的五个应用程序反映了一个广泛的方法，说明了他们的不同领导机构，和不同的数据保护理念支撑他们。就“广泛的范围”而言，爱尔兰共和国的应用程序为欧洲和美国的其他司法管辖区的应用程序提供了基础。79］．就“领导机构”而言，这些应用程序主要来自国家卫生服务机构，但PathCheck SafePlaces是由麻省理工学院牵头的项目。91]和NOVID是众包的，起源于卡内基梅隆大学[88］．在这方面数据保护理念其中两个应用程序起源于GDPR管辖范围，但两个来自美国，一个来自约旦。

在此阶段中，领域专家将把他们的支柱应用到五个选定的应用程序中，以压力测试框架识别应用程序之间的关键和关键差异的能力。对于每一个确定的属性，他们制定了适当的问题，并评估得到的答案，看看这些属性和相关的问题是否具有评估价值。在需要的地方添加属性，有时合并或重组。例如，在一般特征在这个阶段，版本号被确定为一个重要的标识符，因为cta和其他应用程序一样，往往会收到定期更新。同样,在有效性， cta提醒密切接触者的努力/速度也被认为很重要。相比之下,可用性确保“可访问性”方面与更一般的可用性和交互方面区别对待，这导致重新组织一些子属性。

这种具体化有时会被进一步的、有针对性的文献回顾所补充和加强。

魔鬼的辩护会议

由于支柱是独立制定的，在各专家小组举行了一系列会议，以保持更广泛的观点。具体地说，会议的组织是为了让测试和改进特定支柱的领域专家向其他团队成员展示和辩护他们的工作(参见表1)，他解剖了这根柱子，并在：

• 相关性和充分性在那里，团队被鼓励提出诸如“为什么这很重要?”以及“还有什么重要的?”;
• 特异性，领域专家被鼓励假设地回答支柱中的每个相关问题，并(因此)探究它的任何模糊性;而且
• 反复核查用他们自己的支柱来识别框架中可能的重叠。

这些会议以“魔鬼代言人”的形式进行(共7次)，其中一个参与者积极地试图识别/夸大当前属性中的缺陷。这是因为这种方法已被证明可以提高“群解的准确性”[92］．该活动强调了一些主要涉及澄清可能的重叠或冗余、澄清术语和问题以及改进组织的变化。在基础和批评练习结束时，我们最终得到了163个“基础”属性和199个相关问题的初始提法。此外，我们确定了一些案例，在我们开发的第三个阶段，也就是最后一个阶段，由整个团队讨论。

阶段3:细化和最终化

为了支持整个团队的精细化工作(特别是考虑到新冠肺炎疫情对远程工作环境的要求)，我们创建了跨支柱分析矩阵(多媒体附件2)，其中列出了7个支柱中的每个支柱的有序属性和子属性，为每个属性分配了唯一标识符(例如，第一个通用特征属性被分配为标识符C01)，并为每个支柱分配了颜色代码。为了进一步支持对属性的理解并澄清它们的评估价值，我们决定还添加示例答案(基于我们对五个应用程序的基础分析)。我们讨论了前一阶段确定的困难情况，并进一步注意到围绕这个跨支柱矩阵的总共15个细化会话中每个属性的问题(相关性、充分性、特异性和冗余性)。所确定的变化逐步纳入框架，10名作者中有9人参与。例如，框架探测公民自治是否为使用该应用程序的公民提供官方讨论论坛，以及该论坛是否可以用于提示改变(CA01, CA02;看到多媒体附件2)．注意到这些与属性C16, a重叠特征属性表示探针形式的技术支持，和U73, a可用性属性探测是否存在用于技术支持的交互式帮助或任何其他机制，以便就检测到的技术问题、bug和错误提交反馈。建议进行重组，删除CA11(与CA01和CA02冗余);将C16从"应用程序是否提供技术支持?“进入”用户可以获得什么形式的技术支持，包括同步和异步支持?”;并通过删除对CA02的引用来简化CA02其他机制(获取技术支持)，因为这已被C16的新措词所涵盖。

在我们的15次会议结束时，改进的支柱应用于“接地”阶段使用的5个应用程序中的两个的最新版本(HSE的COVID跟踪器[86]和NOVID [88])系统地检查所有属性、问题和答案，以便我们可以确认或实现最终的编辑。主要目的是确保问题清晰易懂。许多其他应用程序也没有得到系统的评估。

在最后一次测试结束时，我们的合并框架被重新构造为161个属性和180个相关问题(带有示例答案)，现在具有内部一致性，没有重叠。还生成了经过改进的柱子及其结构的图形可视化(多媒体)．

整合框架(有7个支柱和161个属性)被提交给来自更广泛的“COVIGILANT”小组、(爱尔兰)卫生部和(爱尔兰)HSE的“应用程序咨询小组”的医学研究人员和从业人员，其中包括来自Nearform的代表，该公司负责创建爱尔兰国家CTA。同样，围绕有效性支柱与欧洲疾病控制中心(CDC)进行了非正式讨论，所有这些讨论都是为了建议对C进行一些小的编辑和调整，以创建C的最终版本^3.为cta提供EF，如下所示。

在这个阶段，我们还创建了一个基于web的应用程序[93]，以网上调查的形式提供我们的架构。这是我们框架的一个示范，但它的设计可能是为了帮助cta的相关利益相关者独立评估他们的工作和/或与我们分享任何反馈。这个在线工具提供了框架的可视化概述，并提供了对整个框架的访问。问题的深度和范围包括在我们的C^3.EF，评估过程可能显得艰巨和耗时。因此，我们决定提供对单个支柱的访问，以便能够分解评估，并允许涉众选择并优先考虑他们自己的评估重点。

结果

C概述^3.EF框架

在对最终框架的描述中，我们定义了每个支柱，并提供了其特定属性、子属性和问题的概述。然后，我们提供了一些示例问题和答案，以说明我们如何使用框架来评估、比较和对比cta，以及这如何有助于应用程序的可能改进，因为问题通常会探讨理想的或最佳的实践选项。表2提供7个支柱和高级属性的顶层视图。(一般)首先介绍特征，因为它为其他六个支柱提供了重要的背景化/识别信息。

特征

特征捕获非判断性的标准和事实信息，这些信息对于识别和区分给定应用程序及其主要功能非常重要。应用特征支柱根据四个标题进行组织:一般特征，可用性，组织声誉，而且应用程序内容（表2)．在这些标题下，总共有25个具体的问题，详细说明了这些应用程序的特征，所有这些问题都可以通过直接检查工作应用程序，通过谷歌Play和Apple Store上的信息，或通过开发者网站来回答。

一般特征捕获四个高级应用程序属性，包括应用程序的名称和国家。可用性查看连接性和平台依赖性。可用性的第一个方面是，使用应用程序是否需要互联网连接，因为一些应用程序似乎需要互联网连接，即使它们不使用互联网或基于位置的信息进行联系追踪(例如约旦应用程序AMAN [90])。第二个问题是关于游戏所支持的平台(Android/iOS)以及下载量大小。

组织的声誉查看应用程序的状态，包括应用程序是否是全国性的以及可用的官方文件。它还会考虑开发应用程序的组织，以及是否有第三方或合作伙伴参与开发。此属性检查开发历史，通过检查开发人员之前开发数据敏感应用程序的经验，以及实际产品的更新、增强和维护的证据。即使我们意识到关于组织声誉的问题(例如历史)可能会对新初创公司的应用程序不利，但我们相信这一属性抓住了有助于用户对应用程序采用的信心的一个方面。最后，对用户提问和寻求技术支持的能力进行了探讨。

应用程序内容指应用程序在功能和信息管理方面所包含的内容。查询联系人跟踪的定义，并提供有关何时以及如何管理联系人跟踪通知的信息，因为这可能因国家而不同，甚至因应用程序而不同。这是使用不同方法进行联系人跟踪和通知的应用程序之间的关键区别。例如，HSE的应用程序[86]指出，当“直接接触”阳性病例时，密切接触者通知将被激活，其中“直接接触”是指“在两米内接触15分钟或更长时间”。相比之下，NOVID [88当其他NOVID用户在他们的社交网络中关闭时通知用户。前者是一种更常见的方法，支持卫生当局警告公民他们曾接触过阳性病例，而后者则在接近感染时通知公民，旨在在公民接触病毒之前发出警告。NOVID将物理接近度分为“近”或“远”，6英尺(2米)或以下为“近”，12英尺(4米)或以上为“远”。在这两个系统(HSE的应用程序和NOVID)中，物理接近性的定义都是基于接近性分类的参数，这些参数可以在应用程序的更新版本中更改，具体取决于变体和感染事件。然而，从本质上讲，这些应用程序为用户提供了不同的好处。NOVID(它不是一个全国性的应用程序，因此可能很难达到所需的临界数量的公民采用该系统，以帮助其发挥最佳性能)似乎从公民采用的角度来看具有明显的优势。然而，这将在我们的数据保护支柱下引发一些问题，因为即使这种方法不捕获个性化的公民数据，因此用户可以完全匿名，但社交网络数据需要集中收集和汇总，提供间接但并非不可能的机会来反匿名化信息。我们注意到，尽管如此广泛不同的方法使得任何框架的应用都很困难，但这一属性在更高的水平上突出了分歧，并且许多属性被证明对这(NOVID的)不同范式具有弹性[94，虽然不是全部。

可用性

下面确定了五个高级属性可用性:主观满意度，普遍性，设计有效性，用户交互，而且持续应用评估（表2)．总之，他们提供了提出86个关于cta可用性方面的具体问题的机会。

主观满意度因为用户留存在cta中很重要，这个属性捕捉了公民如何评价他们在使用应用程序时的体验。它包括一个评级属性(1到5)，以及两个查看高分或低分动机的属性。为了回答这些问题，我们通常会查看谷歌Play和Apple Store上的评级和评论，尽管满意度可以通过纵向调查更好地获得。

普遍性解决人口渗透问题，这也是成功实施社区交通策略的关键。具体来说，普遍性旨在捕捉应用程序被各种不同用户使用的能力:有潜在缺陷(身体或精神)的用户，以及具有不同文化/教育水平或不同年龄的用户。前者由子属性可达性捕获，后者由文化普遍性捕获。可访问性指的是“易于接触和使用”的质量，它主要指的是可能有某种形式的残疾、损伤或限制(精神或身体)的用户。我们讨论了与易用性相关的三个方面:功能性能，用户界面元素,访问交流．前两者着眼于界面及其元素如何遵循一般可访问性指南和欧盟法规[6，29，30.，45，46，56］．问题可以用作检查表，以确保应用程序满足基本的可访问性要求。可交互的可访问性(Accessibility)下的最后一个子属性，涵盖了一些方面，如登录(即帮助新用户理解应用程序的功能并学习如何使用它)和交互元素的设计，以支持低体力劳动(例如，无需滚动，单手使用，单选按钮即可完成任务)。文化的普遍性帮助评估系统在多大程度上可以被不同的用户使用，而不管他们的文化背景和信仰。我们开发了属性和问题来涵盖以下方面:(1)不同语言的可用性;(2)应用程序名称所引起的含义;(3)应用程序目标年龄组的信息，通常在“条款和条件”中描述图2，例1);(4)标志、颜色、国旗、表达文化习俗的符号等设计元素。

设计的有效性涵盖了有关系统能力、用户界面和交互设计的几个方面，为公民提供必要的功能、选项、命令和支持。这一属性包括四个维度，它们被认为是传达正确使用系统及其适应不同使用上下文和用户偏好的关键:完整性，可配置性，用户界面,乐于助人．完整性的制定是为了确定应用程序提供的基本和可选功能，以及那些不包括在应用程序中，但用户(例如，在网上评论中)希望拥有的功能。识别核心功能和可选功能有助于识别用户在与CTA界面交互时可以执行的用户任务，这构成了我们框架中特定于任务的问题的基础，后面将介绍这些问题。随着cta不断发展并提供接触追踪以外的新用途(例如值机、数字疫苗接种证书、旅行通行证)，识别可选和新兴的新功能非常重要，而我们关于可选功能的问题允许我们的框架将其纳入评估。然而，这里有一个权衡，我们的框架可以帮助捕捉:提供许多不同的功能可能会增加CTA的吸引力，从而导致更高的采用和满意度，而在同一个应用程序中容纳更多的功能可能会损害可用性(在我们的案例中，导致我们的可访问性、设计有效性和用户交互属性下的潜在问题)。下一个属性(可配置性)从使用的技术(例如，允许GPS、蓝牙和其他技术的独立激活或停用)或其设计(例如，允许视觉、声学和触觉反馈的个性化)的角度，研究与系统的个性化能力有关的各个方面。用户界面处理在用户界面中使用的设计元素的评估审美和吸引力(关注外观和感觉，调色板和应用程序的名称)，响应性(与适应不同手机型号、屏幕尺寸和操作系统的能力有关)，以及清晰而且一致性设计元素。这是最后两个属性特定于元素的子属性，因为它们引用和评估界面的特定元素，而不是整个应用程序。元素可以是按钮、菜单、滑块或表格(参见[95]查阅用户界面元素的完整列表和术语表)。

我们的问题探讨了应用程序的感知和概念清晰度，着眼于它们的可见性，可理解性(图2(例2)和一致性(在整个应用程序中，它们的外观和含义都是一致的)。在这个意义上，我们希望框架能够帮助发现潜在的缺陷，阻碍满意、使用和采用。然而,这两个清晰而且一致性也适用于元素的结构(例如，包含按钮的按钮栏)，根据元素的逻辑分组方式以及这些基于逻辑的分组是否一致。的最后一个子属性设计的有效性是乐于助人，查看可用来使用和理解应用程序的文档的适用性，以及是否提供交互式辅助。子属性查看支持性信息的可用性，例如所使用的术语的定义(例如，什么算作联系人)，描述(参见图2例3)，示例(例如，演示如何使用应用程序的教程、演练或解释性视频)，以及用于故障排除的交互式辅助(例如，聊天机器人)。

用户交互帮助评估用户在执行特定任务时与应用程序界面的交互，这些任务在上述中被确定完整性属性。类似于设计的有效性，用户交互确保CTA的正确使用和减少用户的挫败感;然而，与考虑界面静态提供、外观和传达(例如提供)的设计有效性相反，用户交互考虑的是用户与界面交互时界面的行为(例如反馈)。它包括五个子属性:效率，健壮性，与元素交互的清晰性，与元素交互的一致性，而且警告及通知讯息．所选的大多数子属性及其相关问题是特定于任务的:与元素特定属性类似，任务特定属性和问题是针对从头到尾执行特定任务的用户的(例如，激活/取消激活联系人跟踪功能)。因此，要回答特定于任务的问题，就需要应用程序检查。效率探索系统的能力，以产生适当的结果，以回报所投入的资源。在这里，我们考虑了三个要素:人力努力，即执行核心任务所需的步骤数量;时间，就是完成任务所需的时间;以及被占用资源，代表执行任务可能需要外部资源(如电力或互联网)。鲁棒性处理系统适应不同用户偏好和使用上下文的能力，以及处理用户错误的能力。对于我们的属性，我们关注的是:横向/纵向模式，使用蓝牙或GPS等技术进行多个应用程序/任务时的多任务处理(例如，在使用蓝牙耳机时)，以及实现任务执行的多种方式的可用性(例如，快捷方式)。适应性着眼于在不同环境下支持任务执行(例如，在黑暗中)，而错误则着眼于应用中由于不适当的交互而导致的错误消息，以及错误恢复选项的可用性(例如，撤消，重做)或用户操作的可逆性。与元素交互的清晰性关注应用程序界面中可用元素的清晰度(即它们的功能支持)，以及当用户与这些元素交互时会发生什么(例如，关于应用程序反馈的清晰度/混乱)。与元素交互的一致性是下一个，它着眼于跨元素的操作的潜在一致性，反馈的不一致性，以及使用设计约束(如果有的话)来防止人为错误/引导用户正确使用(图2在我们的分析中，我们意识到反馈对联系人跟踪功能的重要性，因为我们注意到许多应用程序，特别是在它们的早期版本中，在启用联系人跟踪功能后未能向用户提供明确的反馈。在大多数情况下，用户必须退出应用程序才能启用蓝牙等功能，这可能会让用户感到困惑。在某些情况下(图3(示例5)，启用联系人跟踪的按钮不允许反转操作(例如，再次单击以禁用联系人跟踪)，而该操作只能通过从手机设置中禁用蓝牙(而不是从应用程序中)来反转，这在用户感觉控制应用程序方面也是个问题。

警告及通知讯息是用户交互属性的最后一个子属性，它指的是应用程序中使用的警报消息和通知。我们包括了属性和问题来评估应用程序中使用的各种类型的警报消息，并评估通知控件的可用性，特别是应用程序中的内置通知设置，以及通知消息，这些通知消息会提醒与报告COVID-19检测呈阳性的人有密切接触的用户。这一部分以一个关于用户访问、甚至可能操作或可视化生成的联系人跟踪数据(例如，一天、一周的联系人数量等)的能力的问题结束。

持续应用评估指的是应用的维护和升级，因为这些对于维持用户留存率非常重要，同时也能够瞄准新出现的需求。它只包含一个查看升级频率的子属性:这可以在谷歌Play和App Store中找到，应用程序可以在那里下载和安装。

‎ 查看此图

‎ 查看此图

数据保护

的数据保护支柱包括两个子类:安全而且GDPR．GDPR类别侧重于公民个人的权利，而安全类别则更以数据为中心(表2)．

安全由4个标准组成，以合同跟踪特定的安全威胁和漏洞为中心。它们的范围是为了确保公平地比较CTA，这样就不会考虑与CTA开发无法更改的软件或系统组件相关的安全漏洞;例如，那些与第三方提供者的系统安全相关的信息(第三方供应商在“一般特征”中，在“开发合作伙伴”下面，因此保留了一个间接的警告标志)。这些属性包含了一种新的CTA评估方法，开发该方法是为了确保使用每个应用程序可能不完整的可用数据进行轻量级比较:根据通用威胁评估模型分析不同应用程序功能的漏洞[96］．安全性下的属性(即STRIDE[欺骗、篡改、拒绝、信息披露、拒绝服务和特权提升]分类/漏洞、联系人跟踪特定威胁、软件架构安全性和软件开发生命周期[SDLC]和安全性)被设计用于指示这些漏洞是否是代码中的bug，可以修复或需要重新设计架构来解决。例如，当我们使用这种方法来比较两个cta的安全性(Corona-Warn [89]和MyTrace [97])，我们首先使用自动化工具来识别常见弱点枚举器(CWEs;一个超过600种软件弱点的分类“百科全书”)，然后我们使用内部安全专家手动确认它们。我们比较了两个应用程序中标识的枚举数(表3)，然后根据预定义的共同威胁评估模型(表4)，为我们的保安问题提供答案。我们的分析表明，虽然这两个应用程序在信息披露和去匿名化方面可能存在类似的问题，但实现这些问题的CWEs是不同的，我们在SDLC和Security下提出的问题允许我们捕捉已识别的漏洞是容易修补/修复还是更难纠正。

GDPR考虑因素很重要，因为它们反映了用户对数据隐私的基本关注。GDPR属性有三个子属性，包括“基本原则”、“GDPR原则”和“权利”。初步包括评估稍后存储的单个数据所需的信息:存储的数据、数据类型和处理基础。它还包括退出和组织是否宣布同意，并有法律要求作为他们处理数据的基础。例如，应用问题DP06(数据存储):“收集哪些个人数据?，登入新冠疫情追踪App [86]将生成以下列表:电话号码、最后接触日期、性别、年龄范围、县、镇、症状、诊断密钥、症状发作日期、应用指标、IP地址和应用安全令牌．GDPR原则是指GDPR的关键原则(如最小化、公平和存储限制)，这些原则在我们的C的其他维度中不受审查^3.英孚的框架。它由5个属性组成，通过从“数据存储”问题检索的存储数据对这些属性进行评估。这些标准中的大多数要求数据控制者提供详细信息，并且必须依赖于这些细节是真实和准确的。在GDPR下，我们的最后一个属性是权利，它指的是如果个人是组织处理数据的主体，则必须维护的个人权利。因此，它们指的是是否有确保这些权利的组织程序。根据GDPR权利，我们有5个属性:访问;对象重用;可移植性;自动处理拒收;和纠正、限制或擦除(数据)。 This is where a key distinction can be captured between CTAs that notify direct exposure to positive cases and the NOVID approach, which we discussed under Characteristics above. The way data are aggregated in NOVID creates a conflict with an individual’s right under the GDPR, as exercising a right that results in removal or change of these data (eg, the right to withdraw) will affect the wider data set. Additionally, such a data model would create conflicts with core GDPR principles such as data minimization, and avoidance of user may result in reidentification, through the combination of multiple data sources. Similarly, the AMAN app [90]，它不是基于欧盟国家，因此，只有在欧盟公民使用它时才被要求遵守GDPR，显然缺乏支持GDPR权利的文件，这是可以预料的。

有效性

的有效性“支柱”指的是这款应用在实现其核心目标方面的成功程度:准确检测亲密接触者，从而“通知其他应用用户，这些用户可能会接触到受感染的应用用户”。98］．它包含三个高级属性(参见表2)，其中第一项(有效的报告)指与准确侦测有关的事项，而第二项(有效的结果)是指向其他应用程序用户发出有潜在曝光风险的通知，业内其他评论员暂时将这一问题称为“表现”[77］．第三个属性(有效的参与)指的是定义中的“其他应用用户”和“受感染的应用用户”，具体指的是市民对应用的采用程度。

有效的报告专注于应用程序向个人用户准确报告密切接触者和病毒热点位置的能力。它首先评估密切接触检测的准确性:通常，这必须在协议级别上报告，例如，说明应用程序报告的gaen级精度[78］．然后，该框架将密切接触者的报告分为两类:报告covid -19阳性密切接触者和报告用户在一段时间内的密切接触者总数。后一种类型有时会被报道，以突出和完善用户行为，如在PathCheck SafePlaces的情况下[87］．最后，有几个应用程序会按地区报告流行情况，让用户知道病毒流行程度较高(或较低)的地区。这是用户热点识别的一种形式(参见图4例如，HSE的COVID Tracker应用程序[86])。本节中的最后一个问题探讨了该热点设施的可用性/粒度(在的情况下为“选举划分”)图4)．

有效的结果专注于应用程序在司法管辖区满足其更广泛目标的能力。因此，它关注的是在被告知自己的阳性状态后选择分享自己数据的用户(总数)，以及根据这种分享而被告知的其他密切接触者的数量。然后，它查看后来被确定为阳性的接触者的数量。最后，它的目的是评估通过应用程序识别密切接触者所需的相对时间和精力，而不是通过手动追踪。

有效的参与关注人群对应用程序的采用情况，探究应用程序在人群中的使用情况;用户对应用的留存率;如果应用包含互动功能，用户对应用的参与度，可以通过他们对这些互动功能的使用来衡量。这一点很重要，因为数字联系人追踪非常依赖于上传相关应用并随时间留存的用户比例。

‎ 查看此图

透明度

这里讨论的透明度是一个独立的支柱，尽管它与GDPR有明显的重叠。这是因为它在这里解决了应用程序开发过程中使用/形成的过程和工件的透明度。在这种情况下，从树立公民信心的角度来看，透明度是一个重要方面。该支柱已分为类别来看应用程序透明度，用户参与，而且数据透明度（表2)．

应用程序的透明度包括应用程序目的和应用程序权限。应用程序目的提供了以下属性(1)应用程序目的知识，这是指应用程序的目的是准确地、可访问地向采用的公民明确;(2) App Participation Knowledge(应用程序参与知识)，考察公民是否获得了关于自愿参与性质的明确解释;(3) App Development Knowledge，着眼于确保社区反馈的机制;(4)开放源代码存储库，以评估源代码是否可用(例如，在GitHub上)，因为这也显示了高水平的透明度。App Permission调查应用程序正在请求的所有权限，例如访问蓝牙/相机的权限，根据应用程序对这些手机功能访问的透明度。Modus Operandi调查CTA在其功能所需权限方面的透明度，并查看服务被使用的时间段以及开发人员声称的联系人跟踪准确性(例如，提出诸如“应用程序对他们所实现的联系人跟踪准确性是否透明?”)。

用户参与只有一个问题，确保用户同意:“应用程序是否表明并向最终用户解释参与的自愿性质?”

数据透明度关注应用程序是否遵循了设计中的隐私原则(在数据捕获知识下)，因为这将增强对其数据隐私性质的信心。它评估用户是否在数据和访问主体(数据访问知识)方面准确和可访问地了解其他主体可访问的数据。它探测用户是否明确知道他们的数据存储在哪里以及存储多长时间。“隐私政策知识”在这里也值得关注，看看公民是否、如何以及何时被告知在数据保护影响评估中收集的数据。另外两个属性着眼于收集的个人数据的“最小化”和数据保护，它专门关注数据加密和数据匿名的透明度部分。它有几个问题来评估数据的匿名性、加密协议和寿命结束条件。

技术性能

技术性能定义了软件系统运行的效率(相对于效率而言)，它包括有助于捕获这种操作效率的属性和问题。填充技术性能支柱的主要属性是:速度，效率，消耗，而且资源/故障排除和信任．

的速度子属性捕获软件系统前端应用程序响应用户请求的速度，因为延迟可能会导致用户沮丧。这个子属性探测了两个问题。第一个查询应用程序对用户交互的响应速度。这里的响应是以时间单位(如毫秒)来衡量的，并且可能受到多个方面的影响，如第三方应用程序(包括操作系统的库和API)、硬件及其配置、应用程序的各种组件以及它们如何协同工作。

第二个效率问题集中在应用程序的算法，负责回答用户的请求。

消费而且资源/故障排除和信任捕获软件系统消耗可用硬件资源的效率，包括电池使用效率、磁盘使用效率、CPU和内存使用效率以及带宽消耗。如果用户发现设备的电池/存储/CPU消耗殆尽，这些属性对于用户留存尤为重要。79因此，根据某种“明显的阈值”水平，应该被评估为高于或低于。

公民自治

公民自治支柱指的是用户在授予应用程序的权利和访问方面定义自己控制级别的能力的程度。此外，它还涉及用户影响应用程序未来发展的能力:自治的一个重要元素，因为司法管辖区要求用户在紧急情况期间保留应用程序。

支柱有三个高级属性:应用程序讨论权限，手机功能,数据控制(见表2)．这三个类别总共包含9个问题。

App讨论权限关注用户影响应用未来发展方向的能力，从而产生主人翁意识。它首先检查是否有一个论坛，用户可以自由地发表意见和修改请求(大多数应用在谷歌Play或苹果应用商店默认至少有一个评论区)。然后一个重要的考虑是可用的评论网站是否由应用开发团队的代表策划或调节。例如，HSE的COVID Tracker应用程序[86在谷歌Play和Apple Store上有评论，但它也有一个GitHub存储库[99]，用户可将他们的推送请求留给开发人员，如图5．

‎ 查看此图

手机的功能专注于用户控制应用程序对电话服务的访问的能力。通常，这些是相关的服务，如GPS, GAEN [78]、蓝牙和通知功能，这些功能在应用功能中的作用显而易见。然而，有时可能需要额外的服务。例如，NOVID [88为了使近距离接触的检测更加准确，它使用了超声波，因此需要使用手机的麦克风。

数据控制主要关注从用户应用程序上传的数据，通常是在病毒诊断呈阳性的情况下。它检查用户是否明确要求他们允许上传这些敏感数据，以及用户是否知道结果数据存储在哪里(以及由谁存储)。

讨论

框架的意义

本研究的研究问题围绕着设计和组织一个框架，以便对当前的cta进行更全面的评估，从而支持决策者(如开发人员、卫生当局)在cta的开发和演变方面的工作，并有可能增加公民的采用。虽然存在评估框架，但它们往往侧重于cta的特定方面，我们希望能够实现更全面的评估，有助于在一系列对公民采用很重要的维度上比较和改进cta的设计。为此，我们还想评估文献中可用的内容，并根据我们使用选择的cta运行的经验和迭代测试得出的结果。在这样做的过程中，我们为我们的框架衍生的属性制定并添加了探究性问题(和示例答案)，我们认为这是另一个关键贡献，就感兴趣的涉利益者的应用而言。

C的开放性^3.英孚

C类问题^3.EF的制定主要是为了评估cta的基本功能(即接触追踪功能)。尽管如此，在这个阶段有一个重要的考虑是关于C的开放性^3.EF。它们的迭代推导和改进特别明显地表明cta是如何不断变化和发展的。cta不仅(或多或少)经常更新以修复问题和改进功能，而且它们还在不断变化的场景中运行，随着时间的推移，这提供了新的需求和设计机会。例如，在我们的项目开始时，还没有疫苗。然而，在撰写本文时，许多疫苗正在使用中，这开辟了新的需求(数字疫苗护照，出国旅行时系统之间的互操作性)，这可能会扩大我们目前所了解和评估的cta的范围。我们不认为这是对我们工作的限制，而是对推进这一主题的研究和扩展框架的邀请。此外，诸如可用性、数据保护、公民自治和透明度等支柱提供了几个与所审查的功能类型无关的问题，并且可以很容易地应用于非必要的功能，如签到功能、统计仪表板、显示测试和疫苗证书等等。从这个意义上说，我们的框架可以支持对不一定专注于接触追踪的移动健康应用程序的评估，尽管一些问题仍然是特定于cta的，不一定适用于该领域之外。

透明地报告我们的方法，同时还共享一个支持网站，使感兴趣的利益相关者能够公开访问框架，并能够向我们发送反馈[93]，代表了促进采用我们的框架并使其适应新出现的问题和需求的策略。在这个意义上，我们希望研究人员将参与、批评和改进这些属性，以支持改进和扩展的cta，但我们也希望涉众可以在设计、发展或评估cta时使用所包含的评估关注点作为指导。

框架的使用

我们在结果部分分享的例子(图2-5，表3而且4)旨在说明如何使用该框架来评估或比较应用程序。添加与属性相关的问题、我们自己测试的样本答案、我们分类法结构的可视化表示，以及允许其他人以调查的形式使用框架的网站(有机会对框架的应用留下反馈)，这些都是我们设计的设备，以支持潜在的利益相关者(如开发人员和卫生当局)使用我们的框架开发、发展、改进cta的设计，着眼于公民的采纳。

虽然这些问题本质上是描述性的，但该框架也可以用作需要考虑的重要元素的清单。从这个意义上讲，该框架是规范性的，因为它有助于开发人员欣赏可取的品质(例如，询问是否有公民反馈论坛也意味着cta为公民提供这样的论坛是可取的)。同样地，它可以告知他们设计权衡。例如，虽然更多的功能和可操作的信息可能使cta更有吸引力，但也可能使它们更难使用。另一个例子是在社交网络中警告用户的替代方法(CTA)之前暴露于阳性病例(如NOVID中实施的那样)。这可能对公民更有吸引力，但它可能更容易受到数据去匿名化的影响。

我们的大多数问题都是通过应用检查，应用网站检查或应用商店页面检查来回答的(如特性，透明度，可用性和公民自治支柱)。我们假设感兴趣的涉众拥有独立回答这些支柱问题所需的技能。在其他一些情况下，回答问题可能在可行性和所需能力方面更加困难。例如，数据保护支柱的安全部分根据公共威胁评估模型分析不同应用程序功能的漏洞[96]，这需要技术技能和熟悉系统安全工具。类似地，技术性能评估假设用户具有软件工程背景。

在可行性方面，我们经常注意到属性的重要性和获取信息以回答属性问题的可行性之间的紧张关系。效能是一个很好的例子，早期响应应用通知进行测试的用户数量被视为核心衡量标准。然而，如果没有国家卫生主管部门的大力支持和整合，很难确定这一点，该部门正在努力获取和提供这类数据。然而，我们认为，框架最终应该包含重要的属性，即使很难得到答案，因为它们往往突出了应用于评估应用程序的核心标准，从而反映出相关卫生当局和/或公民更广泛接受的需求。

一般CTA设计注意事项

作为我们衍生和整合阶段的一部分，我们必须将我们的框架(其早期、迭代和最终版本)应用到这5个应用程序中，这使我们能够理解我们在所有cta中发现的许多问题，并进一步确认我们的框架捕获关键方面的能力。例如，一些评估普遍性和可访问性(可用性)的问题显示，大多数应用程序在父母/法定监护人同意的情况下不支持未成年人使用，界面和功能的设计似乎不适合13岁以下的儿童使用。我们认为这是一个问题，因为针对13岁以下个人的疫苗接种运动仍然不清楚，而且他们在大多数国家人口中是一个很大的群体。

如上所述，我们还发现大多数应用程序缺乏清晰和可操作的反馈，这有时会导致混乱(例如，我的联系人追踪是否活跃?)，缺乏控制感。类似地，我们发现信息推送和同步交互功能的整体匮乏，包括同步辅助(仅在德国由Corona-Warn提供)。这种同步、交互特性的缺乏有可能对采用产生负面影响，因为cta的预期好处没有足够明显。在一项相关的工作中，我们论证了如何将反馈和向公民提供更多样化和可操作的信息(例如，日常联系人数量、邻近热点、热点)视为保持cta参与度的关键。

最后，我们还注意到，在安全性方面，单个CWE问题并不是整个cta的标准问题。即便如此，基于所审查的cta所特有的个别CWE问题，个别安全问题似乎在cta中出现。雪上加霜的是，该框架没有评估完整的CTA，忽略了与安全性相关的第三方组件。

结论

我们提出的研究问题是“如何设计和组织一个框架，以便对当前的cta进行更全面的评估，支持决策者(如开发人员、卫生当局)在cta的开发和演变方面的工作，并有可能增加采用?”虽然这个问题的“如何”部分主要在我们的方法部分进行了讨论，但由此产生的以公民为中心的CTA框架提供了一个整体的比较和对比工具，支持决策者在这一领域的工作。它旨在支持对开发人员设计决策的反思，以便更好地理解和优化设计妥协。因此，我们认为它是设计师设计和发展当前cta以增加公众采用的重要工具。然而，评论家也可以在评估cta时使用它，更一般地，跨司法管辖区，以确定更优的替代方案和普遍存在的问题。当政府寻求CTA解决方案以采用或模仿时，此类评论可以成为一个重要工具。

为此，重要的是我们要继续根据框架评估现有和新的cta，并记录结果。作为先决条件，我们还必须制定在使用框架时执行应用程序评估的“最佳实践”指南。这两个议程都是我们在“COVIGILANT”项目中持续关注的领域。理想情况下，这项工作将产生一个公开可访问的协议和框架应用程序结果数据库，CTA设计师/开发人员也将有权回复(以提高可追溯性)，这些设施将作为一个单一的资源，设计人员可以在可用的CTA中获得广泛的比较。

尽管如此，仍有一些问题需要解决:例如，前面讨论的示例假设存在关于被告知COVID-19阳性的公民人数和因CTA通知而决定接受检测的公民人数的数据，并且这些数据受到监测。只有在卫生当局制定了某些程序(例如保存因cta通知而要求检测的个人的记录)的情况下，这才有可能。我们的框架专注于应用本身;然而，为了对病毒的传播产生重大影响，cta需要通过组织、政治和社会实体的生态系统，作为大流行应对的一部分，这远远超出了我们的框架范围。卫生系统在处理数字接触者追踪方面的暂时失败已得到充分证明[21]，这意味着取得好成绩在我们的C^3.EF并不一定保证cta将对遏制病毒传播产生可评估的影响。

另一个限制是目标用户没有直接参与我们的C的初始派生^3.EF。该项目是在欧洲第一次封锁期间运行的，尽管团队与爱尔兰的CTA开发人员、爱尔兰卫生当局和欧洲疾病预防控制中心有联系，但我们承认，在推导过程接近尾声时，与这些机构进行的互动是非正式会议。在这些会议上，他们向我们提供了关于框架的反馈，就疾病预防控制中心而言，我们为其有效性框架做出了贡献[One hundred.]利用所获得的见解来确定我们自己框架中的小改进。由于缺乏形式化，我们不再在方法部分详细描述这些交互，并承认应该做更多的工作来将这些核心涉众合并到派生过程中。为了部分解决这个问题，我们公开了我们的框架，并为用户提供了留下反馈的机会，以支持未来与利益相关者的接触。我们认识到，如果没有进一步的指导工作，这是不可能发生的，这也是我们未来工作的一个领域。

这项工作的最后一个潜在限制是所采用的方法。虽然所采用的不同方法可被视为数据三角测量的一种形式，因此具有积极的属性[101，102]，这些数据是非独立的，早期的数据被用作后续数据生成/改进的基础。此外，我们用于第二阶段第一部分(将临时框架应用于5个cta)和分析的第三阶段(细化和最终化)的方案是专门为本研究派生的，而不是基于任何既定的方法。然而，这是因为这些分析阶段的特定目标:确定框架中的相关性、充分性、特异性和冗余问题。此外，应用程序/改进会议的广泛、沉浸式和有针对性的性质，以及根据现有cta对结果框架的最终评估，表明这些阶段的严格程度是可辩护的。