评估儿童慢性疼痛干预的数字健康实施:比较RE-AIM和BIT框架与现实世界的试验数据和对未来研究的建议

介绍

背景

数字健康干预措施已证明对糖尿病等多种疾病有效[1]，癌症[2]，慢性疼痛[3.，4]，抑郁和焦虑[5］．这些干预措施在卫生保健系统中得到了更好的建立和整合(例如，澳大利亚的MindSpot诊所[6])和基于诊所的护理(例如，将可穿戴设备的监测数据集成到数字健康记录中)，并越来越多地被最终用户直接采用(例如，直接用于消费者应用程序[7])。

然而，随着数字健康解决方案在临床研究试验中显示出功效，以有效方式向最终用户提供这些解决方案的过程(即在现实环境中实施)仍然具有挑战性，并且仍然是一个新的研究领域。这是知识动员的一个关键要素(即向有需要的人提供基于证据的干预措施)，包括确定设计和提供干预措施的最佳方式，使其易于适应、具有吸引力并减轻使用者的负担，同时还解决确保可持续性资金的需求(即支付人力和技术资源的成本)。

为了在这一领域取得进展并找到创建和传播数字卫生干预措施的最有效方法，已经建立了综合框架，以评估这些规划的有效性和实施情况，并建立基准，以便对不同的实施和传播战略进行比较。评估干预措施的公共卫生影响的传统的、完善的框架，如Reach、有效性、采用、实施和维持框架[8，已被广泛使用[9］．例如,达到通过量化在全国干预中所有潜在诊所中接触到的潜在诊所的数量或与公司总工人中接触到的工人数量进行评估;有效性以糖尿病管理干预的参与者报告的生活质量变化或健康培训干预中达到学习目标的百分比等来衡量。然而，一般公共卫生影响框架可能不够详细或量身定制，无法捕捉数字卫生干预措施实施过程中的独特要素和细微差别。

以前的工作

最近，当局提出了一个框架，以测试“使用科技进行行为干预”(以下简称“行为干预框架”)的实施情况。[10]，重新描述了行为干预技术的实施结果。

BIT框架旨在澄清和更好地说明另一个广泛使用的实施框架，即"卫生服务干预措施的实施层面" [11]，其中包括以下领域:可接受性、采用性、适当性、可行性、保真度、实施成本、渗透和可持续性。BIT框架可以帮助满足对更详细和实用框架的需求。然而，尽管Proctor的框架在数字健康实施工作中经常被引用，但它尚未被广泛使用。据我们所知，只有一份同行评议的出版物用不同干预措施的例子说明了框架的不同领域[11］．虽然这是一个重要的起点，但迄今为止，BIT框架中的所有领域尚未在单一的数字卫生试验中得到测试。此外，目前尚不清楚BIT框架如何直接与其他已建立的框架(如RE-AIM)进行比较(例如，可能产生哪些具体优势)。因此，我们的目标是进行一项全面的概念验证研究，将最近开发的BIT框架与RE-AIM框架进行比较，使用有效性实施试验来评估这些领域，以帮助测试其实证有效性，并指导该领域的未来研究。

目标

本研究的主要目的是将RE-AIM和BIT框架与一项混合有效性-实施随机对照试验(RCT)收集的数据进行比较，该试验评估了青少年慢性疼痛的数字健康干预措施，称为基于网络的青少年疼痛管理(WebMAP Mobile, WMM;试验注册:ClinicalTrials.gov NCT03332563) [12］．具体来说，通过这个真实世界的试验，我们的目标是:(1)比较和评估BIT和RE-AIM框架的优势、局限性和障碍;(2)就如何设计未来的研究提出建议，以收集测试不同领域所需的数据。

方法

个子研究

WMM研究是一项混合有效性-实施集群随机对照试验，测试青少年慢性疼痛自我管理的移动健康干预。为了向患有慢性疼痛的青少年提供基于证据的心理干预措施，这些青少年无法进入专门的疼痛诊所，基于经过验证的基于网络的干预措施开发了一款智能手机应用程序:WebMAP;详情请参阅Palermo的研究[13])。这款手机应用程序有6个主要模块，主要解决以下问题:疼痛教育;压力、情绪和思想;放松和想象;生活方式和学校干预;保持活跃;维持和复发预防以及2个补充模块在基线上分配基于睡眠和情绪问题的筛查。家长可以访问相关的基于网络的认知行为干预(WebMAP家长计划)，该计划包含8个模块，重点是慢性疼痛教育、识别压力和负面情绪、操作策略(2个模块)、建模、睡眠卫生和生活方式、沟通和复发预防[13］．我们已经公布了该试验的临床试验方案[14并发表了主要的结果论文，描述了WMM项目在接受干预的青少年中与在疼痛和专科诊所接受常规护理的青少年中的疗效[12］．

方法、程序和参与者

对于WMM随机对照试验，采用了阶梯楔形设计[14在这项研究中，儿科疼痛或专科(如胃肠病学)诊所被随机分为4个阶段，以获得干预。全美共有8家诊所参与其中(5家疼痛诊所和3家专业胃肠病学诊所)。每个诊所在常规护理条件下开始试验，在此期间，所有青少年单独接受常规护理。在随后的8个月期间，随机分配诊所开始干预期(每波2个诊所)，以便所有诊所结束干预，允许一段时间测试维持情况。共有143名患有慢性疼痛的青少年(年龄在10到17岁之间)和一名护理人员参与了这项研究，其中73人被分配到干预组，70人被分配到常规护理组。

主要试验的纳入标准有目的地扩大，以提高外部有效性，包括以下内容:(1)年龄在10至17岁之间，(2)慢性疼痛定义为疼痛存在至少3个月，(3)儿童可以使用智能手机(iOS或Android)，参与的父母可以使用支持网络的设备。排除标准包括:(1)不会说英语的孩子或父母，(2)目前处于精神危机(例如，最近住院或自杀企图)，(3)阅读能力达不到家长报告的五年级水平。没有排除身体或其他精神健康合并症。

措施

收集了提供者调查、家长和儿童调查、诊所数据和行政数据来评估实施结果。父母报告了社会人口学特征(使用背景表格)、疾病相关疼痛的存在、疼痛状况的持续时间和用药史。青少年报告了通常的疼痛强度(用11分的数值评定量表)，疼痛相关的残疾(使用儿童活动限制访谈[cal -9]]。15])，以及耐心的整体变化印象(PGIC)，并提出一个单项问题:“自研究开始以来，我的总体状态是……[1=“没有变化(或情况变得更糟了)”到7=“好多了，有了很大的改善，一切都不同了。”])

RE-AIM框架中领域的评估

根据不同的研究类型和相关目标，以不同的方式使用再教育目标架构[9］．在本节中，描述了用于评估每个域的度量，以及用于检索WMM研究信息的来源。

达到

Reach评估参与研究或干预的情况。它被定义为同意参加研究的患者在诊所提供人员推荐的符合条件的患者中的百分比。该指标分别为8个诊所中的每个诊所计算，并在所有诊所中取平均值。此外，将计划样本量与最终样本量进行比较。由于这项研究的目标是纳入现实世界的人群，因此跟踪了患有合并症的参与者的百分比。最后，评估治疗组患者对治疗的可接受性，作为确定潜在未来可及性的一种方式(即，如果参与者认为治疗可接受，则更有可能达到未来的患者)。治疗评估量表(TEI)是我们组在其他试验中使用的治疗可接受性指标[13]，使用研究电子数据采集(REDCap)进行网上管理[16]，这是一款安全的网络调查应用。

有效性

使用意向治疗分析和线性混合效应(LME)回归模型，从基线到治疗后和患者报告症状(疼痛和残疾)3个月随访的变化来测试有效性。PGIC的变化采用单因素协方差分析。治疗参与对治疗反应的影响也使用LME回归模型进行了检验。有效性结果测量的来源是一组心理测量学上合理的问卷调查(见措施部分)在线管理。这些措施由青少年及其父母在3个时间点独立完成(见WMM方案[14]查阅详情)。

采用

采用侧重于参与实施干预措施的交付环境(即诊所)。它被定义为(1)在被邀请的诊所中同意参与研究的诊所数量;(2)在同意参与研究的诊所中转诊患者的诊所百分比。

实现

实施评估干预措施按预期交付的程度。它在个人(即使用者和参与者)和组织(即诊所)两个层面进行评估，包括交付的成本和与如何交付干预的保真度和一致性。在个人层面干预的参与度(即按预期使用干预)计算为治疗组参与者完成至少一个干预模块的百分比，依从性计算为参与者完成至少四个模块的百分比，症状自我监测也被评估为参与者在治疗期间使用应用程序记录症状的平均天数。在组织层面，通过一项6项调查来评估实施情况，该调查评估了不同诊所提供者的态度(例如，“我认为我的病人会从这个应用程序中受益”)，并评估了开发和实施干预的实际成本是否与预算成本相似或超过预算成本。来测试实现个体层面,应用程序使用数据被自动跟踪和存储，用于确定每个参与者完成的模块数量。为了测试在组织层面的实现，使用REDCap对供应商进行了基于web的调查。还将预计预算与最终费用报告进行了比较。

维护

维护工作在个人和组织两个层面进行评估。的个人层面通过评估3个月随访时的症状和跟踪在维持期间开始使用该应用程序的新患者数量来评估。组织水平维持计算为(1)在研究结束后同意继续推荐患者进行干预的诊所百分比(即同意继续在诊所使用该应用程序)，(2)实际将患者转介到该应用程序的诊所百分比，以及(3)提供者愿意继续开具该应用程序处方的态度(即“我会鼓励我的患者在研究结束后使用该应用程序”)。为个人和组织水平，分别使用了基于网络的调查和行政跟踪的数据。

BIT框架中领域的评估

在本节中，选择用于评估BIT的每个领域的指标[10]并描述了用于检索WMM研究的信息的来源。

可接受性

可接受性的定义是认为治疗是有用的或令人满意的。它在个人和组织两个层面进行了评估。的个人层面使用TEI进行评估。具体地说，我们纳入了治疗组中高于TEI截止总分(即27分)的参与者的百分比，以获得中等可接受的治疗。使用供应商填写的问卷对组织级别进行评估，该问卷评估了推荐应用程序的态度、障碍和促进因素。所有信息都使用REDCap收集。

采用

采用被定义为开始使用干预措施。这是通过评估以下内容来衡量的:(1)在手机上下载应用程序的参与者的百分比，(2)首次登录后使用应用程序的参与者的百分比，以及(3)完成至少一个模块的参与者的百分比。这些数据是从应用服务器数据库中提取的。

适当性

适当性是指干预在特定情境下的适应性、与实践的兼容性以及可用性。在个体层面,通过青少年对应用程序的外观、导航、主题和内容的满意度评分来评估适当性。

可行性

可行性被定义为干预在个人和组织层面的特定环境中能够成功使用的程度。在个体层面,我们收集了研究期间报告的技术问题的数量。在组织层面，我们收集了以下数据:(1)受邀诊所中同意参与的诊所数量，(2)参与诊所转介患者的诊所数量，(3)治疗后提供者反馈。有关技术问题的数据是从研究人员收集的行政跟踪系统中检索的。

忠诚

保真度被定义为干预措施的预期用途与实际用途的对比，或对干预措施的遵守程度。我们使用了以下数据:(1)完成治疗的参与者百分比(至少四个模块)和(2)在应用程序中跟踪其症状的天数。网站和应用程序后端数据被用作该信息的来源。

实现成本

实施成本可以包括与应用程序或基于web的程序开发相关的任何费用(例如，研究人员和开发人员的工资)或实施本身(例如，将研究工具的干预调整为独立的公开可用应用程序所需的更改成本)。将实际费用与预算费用作了比较。为了评估这一领域，使用了预算和管理数据库的跟踪费用。

渗透

渗透是在服务或诊所内整合实践(在这种情况下是干预)。测试穿透个体层面,计算在维持期间(即研究登记结束后临床医生可以将患者转介到应用程序后的一段时间)使用该应用程序的青少年人数。要在组织级别测试此域，需要计算从每个诊所引用了多少新用户。该指标是从后端数据和研究管理跟踪数据中检索的。

可持续性

最后，可持续性被定义为实践维持的程度，其持续使用。这是通过两种不同的方式来评估的:(1)通过计算同意参与维护期的诊所数量和(2)转诊诊所的百分比。这是使用管理跟踪数据、后端数据和预算信息进行评估的。

结果

概述

在本节中，报告了RE-AIM和BIT框架的不同领域的结果。RE-AIM和BIT域的详细结果可在表1和2,分别。

RE-AIM框架中各领域的成果

达到

最初，我们计划在1年的时间内招募120名青少年和父母，但由于参与率高，我们能够招募143名参与者(即最终招募的参与者人数是计划人数的+19%)。在符合条件的转诊中，同意参与者的百分比平均为79%，个别诊所的比例从66.7%到100%不等。85.7%的参与者认为治疗是可接受的。共有20名青少年(14.3%)患有疾病相关疼痛，即继发于合并症的慢性疼痛，反映了样本的异质性。

有效性

有效性分析显示，从基线到治疗后和随访，干预组和对照组的疼痛相关残疾(主要结局)和强度均以相似的速度下降。与对照组的青少年相比，干预组的青少年报告了明显更大的PGIC改善感知(Cohend= 0.54;P<措施)。与WMM接触程度较高的参与者(高于平均值1个标准差)分别报告了从预处理到3个月随访期间疼痛和疼痛相关残疾的显著改善(P=。01和P= .02点;参见Palermo等人的研究[12]查阅详情)。

采用

所有被邀请参加研究的诊所都同意参加研究，并且所有诊所都推荐参与者参加研究(每个诊所推荐6到80名参与者)。

实现

的实施个人层面是变量。随机分配到干预组的参与者中，有93%的人下载了应用程序，74%的人参与了干预(即至少完成了一个模块)，40%的人坚持了干预(即至少完成了四个模块)。考虑到治疗后评估是在基线评估后约8周进行的，参与者记录症状的平均天数为19.7天;在治疗期间，参与者平均有35.2%的天数出现症状。

在组织层面上,提供者(n= 27,47 %的提供者样本)对WMM态度的平均得分从4.3到4.6(满分5分)不等，表明强烈同意与(1)WMM对患者的有用性和益处相关的项目，特别是100%的参与者同意或强烈同意，以及(2)在诊所内实施应用程序的成本效益，特别是93%同意或强烈同意。主要成果文件载有详细的[12］．关于预算，执行应用的公开发行的实际成本超过了最初预算的7%。

维护

在个体层面,3个月随访时出现的症状见有效性部分。在维护期间，共有56名新患者下载了该应用程序(每家诊所参考的患者从0到26名不等)。在组织层面，100%的诊所同意在研究结束后继续推荐患者进行干预，88%(7/8)的诊所在维护期间推荐患者使用该应用程序。通过应用程序数据跟踪，我们还能够确定，在6个月的实施期间，56名青少年在手机上下载并打开了该应用程序。最后，大多数医疗服务提供者(92%)同意或强烈同意这一点:“我将鼓励我的病人在研究结束后使用WMM。”对调查的一些补充评论指出了执行的潜在障碍和促进因素。报告的主要障碍是治疗内容似乎与一些家庭无关。报告的主要促进因素如下:(1)很容易进行推荐;(2)该应用程序被认为是有用的，他们可以将其整合到他们的实践中。

BIT框架下各领域的成果

可接受性

治疗观念个人层面在TEI上，86%的青少年认为治疗至少是中等可接受的(平均得分为31分)。组织级别的评估方法与实现RE-AIM框架的结果(即，与提供者完成的问卷):所有提供者同意或强烈同意关于WMM对患者的有用性和益处的项目，93%的提供者同意关于在诊所实施应用程序的成本效益的项目。

采用

随机分配到积极干预组的参与者在手机上下载应用程序的比例很高(68/ 73,94%)。所有参与者(100%)在第一次登录后使用了干预措施;74%的参与者至少完成了一个模块。

适当性

在个人层面在美国，青少年对干预的外观、导航、主题和内容的回答平均得分为3.3到3.9分(满分为5分)，满分为0分“不喜欢”到5分“非常喜欢”。

可行性

的可行性个人水平高:没有报告任何技术问题。共有2名青少年(2.7%)表示，他们的手机上没有足够的空间来下载这款应用，这使他们无法使用它。在组织层面上,所有诊所都同意参与并推荐参与者参加这项研究。最初的招生目标超出了19%。治疗后的定性反馈也很积极:提供者表示很容易将患者转介到应用程序，这是一个有用的资源，他们可以将其整合到实践中。

忠诚

总共有40%的参与者完成了治疗。青少年在治疗期间平均追踪症状31天(中位数19天)，但这是高度可变的(标准差29.4)。

实现成本

实现这款应用需要聘请一家软件开发公司，并承担代码编写、图形设计、应用测试和应用商店费用。最初的预算是97,500美元，用于为每个iOS和Android系统开发定制应用程序。此外，在研究结束时，我们决定将该应用程序公开提供给用户，并且免费提供。最后一步涉及到一些修改(游戏邦注:例如，删除密码保护登录页面和更改隐私政策)，新的测试和扩展正在进行的应用维护，这超出了我们计划预算的7%(12,000美元)。这7%的费用来自于捐赠资金和应用开发公司的实物支持。

渗透

通过渗透，在维护期间有56名新用户访问该应用程序(当应用程序在商店中公开可用时关闭)，每家诊所的范围为0到26。

可持续性

最后，作为可持续性的衡量标准，所有诊所都同意参与维护期，我们确定其中88%的诊所进行了转诊。在研究结束时，该应用程序在英语国家的应用程序商店(针对Android和iOS用户)上公开发布，免费供用户使用。在两年的时间里，该应用程序将由开发人员维护。作为传播的最后一步，我们与我们机构的传播部门协调发布了一篇关于应用程序可用性的新闻稿。

RE-AIM和BIT框架确定的障碍和促进因素的比较

在表3，我们提供了我们使用两个框架评估每个领域的经验总结，包括使用的促进因素和障碍。我们还就如何克服这些障碍提出了建议。

讨论

主要研究结果

这是第一次将现实世界的数字健康干预作为概念验证来测试RE-AIM和BIT框架的所有领域，展示了从研究开始到后续收集信息和评估不同领域所遵循的过程的完整示例，并比较了两个框架。

使用RE-AIM架构，WMM [12表现得很好达到从高入学率和参与率可以看出。有效性是有限的，尽管更高的治疗参与程度与减少疼痛和残疾有关，但治疗组只有一个整体的印象显示出更大的改善。采用也很优秀，从临床参与就可以证明。实现在用户层面是中等的，93%的参与者下载了应用程序，40%的参与者坚持使用(至少完成了四个模块)。在组织层面上,提供者对WMM持积极态度。关于预算，需要少量增加资金，使WMM能够公开提供。最后,维护在用户层面上，新患者在维护期间下载了应用程序。在组织层面上,维护也很好，大多数诊所继续进行新的转诊。

使用BIT框架可接受性大多数用户认为治疗是可以接受的，供应商对该应用程序表现出积极的态度，这证明了WMM的有效性。采用,，显示大多数参与者下载WMM并指示其使用。适当性在用户级别的测试表明WMM非常适合这种情况。的可行性实施干预的成功率很高，大多数参与者能够下载应用程序而不报告任何问题。在组织层面上,推荐超过了最初的目标;提供者提到，转诊很容易，WMM可以很容易地整合到他们的实践中。此外，所有诊所都同意继续对患者使用该应用程序，而且大多数诊所都这样做了。忠诚是温和的，因为只有不到一半的参与者完成了治疗，并且只在某些天监测症状。实现成本关于应用程序开发的计划都是按计划进行的，但是采取额外的步骤使WMM公开可用意味着成本的小幅增加。渗透也很出色，在实施期间，大多数诊所都有新患者。最后,可持续性看起来很有希望，因为大多数诊所同意继续使用该应用程序，并对新患者也这样做了。

比较这两个框架，我们可以看到它们之间有一些重叠，但也存在重要的区别。具体来说，RE-AIM非常强调达到和有效性并以更有限的方式评估其他方面。其实是一个方程来计算的个人的影响已被提议[17］．可以计算为长期随访个体变化达到domain×average的目标行为之和(Effectiveness)。此外，组织层面的影响可以计算为Adoption×Implementation。然而，维护仍然是一个孤立的领域，在RE-AIM框架中进行了更肤浅的解释。相比之下，在BIT框架内，的概念维护通过两个领域进行评估:渗透(实践在上下文中的集成)和可持续性(集成被维护的程度)。BIT框架更详细，因为它包含了大量与技术领域相关的领域，并允许测试以技术为中心的方面，例如可用性和可行性(为集成定性用户反馈提供更多空间)，并且它还考虑了组织度量和成本(这对于干预和预算计划可能很重要)。然而，该方法没有纳入研究人员需要单独评估的有效性维度，也没有提出如何整合各个领域的建议。总的来说，这两个框架都对WMM研究的实施情况进行了全面评估，据估计，该研究总体上是成功的。

尽管每个框架都评估了几个不同的实现组件，但选择使用其中一个而不是另一个可能取决于不同的上下文(要么是因为所需的信息更容易访问，要么是因为检索的信息与特定的实现目标更相关)。同样重要的是要注意，大多数情况下，不会在一个项目中评估每个维度，并且需要做出选择来优先考虑对研究问题最重要的维度。除了RE-AIM和BIT之外，还有许多其他框架和理论用于传播和实施循证干预措施(RE-AIM工作组引用了167种不同的理论)。使用相同实施框架的好处是可以比较电子保健和移动保健干预措施，并为实施结果制定共同的语言和标准。我们的经验表明，RE-AIM框架可能更适合和更容易用于项目规划或评估阶段的基于研究的干预措施，并且具有几十年来通过许多已发表的评估得到充分研究的优势。但是，BIT框架可以灵活地用于研究是否进行有效性评估的干预措施的实施情况，并且也适用于项目的规划阶段。BIT的主要优点是，它更全面地评估实施的技术和成本方面，并更细致地关注可持续性。然而，实施研究的目标应该是帮助指导选择最适当框架的关键因素。

这两个框架都为评估数字干预实施的不同领域提供了一个结构，提供了关于衡量什么(要跟踪的数字)、如何衡量(建议一些标准化指标和截止阈值，使用基于网络的工具)以及何时衡量(基线和后续行动)的指导。在规划阶段考虑如何相应地编制预算和在评价阶段确定干预措施实施后的优势和需要改进的领域是适当的。这两个框架出现的主要障碍是时间和预算方面的潜在限制，以及根据干预的背景无法获得某些信息，调查参与率低，需要训练有素的人员来解释检索到的数据。

基于这一概念证明，可以提出一些关键建议:(1)提前规划可用预算和时间至关重要，因为评估执行情况需要额外的资源;(2)从一开始就与团队所有成员和参与中心(如医院和学校)沟通是确保获得信息和预算的关键;(3)应优先使用基于网络的调查等高效(即需要很少时间或资源)的方法，但可能需要与更密集的技术(如电话或视频访谈)相辅相成，以在某些领域获取更详细的信息;(4)进行多地点真实世界试验需要在不可预测的不受控制的环境中进行研究，并且在可能的情况下，使用多个指标来评估每个领域，这样，如果一个失败，备用指标将可用;(5)评估给定框架中的所有领域可能是昂贵或耗时的，在开始试验和评估数据收集的可行性之前，选择与研究目标相关的领域(例如，事先询问参与中心他们有哪些可用的信息并愿意分享，并询问开发人员外行用户的后端数据的可用性)将最大限度地提高成功收集数据的机会并帮助最小化成本。

限制

在解释研究结果时应考虑本研究的局限性。我们无法评估所有的领域个人和组织水平对于这两个框架。在不同背景下进行的研究可能会这样做，并发现这里没有包括的新障碍或促进因素。尽管这是一项多中心的地理多样性研究，但参与者属于特定类型的人群，如患有慢性疼痛的青少年;当对成年人进行研究或对其他健康问题进行数字干预时，结果可能会有所不同。最后，我们的参与者样本的人口统计学特征主要是白人，女性，具有较高的社会经济地位，尽管这是参加疼痛诊所的青少年的代表，但可能无法推广到具有更大社会人口统计学多样性的样本。

与以往工作的比较

到目前为止，再教育目标框架只用于评估非数字干预措施的实施情况[9]，所以我们没有其他数字健康的例子可以比较。利用不同的干预研究对BIT框架进行了部分测试，以展示每个领域的例子[10];因此，所有的例子都代表了评估这些领域的成功案例。在以前的研究中，没有具体的指导来允许测量每个领域的精度，或者如何解决测量中的任何潜在问题。

如前所述，还有许多其他传播和实施框架来评估数字干预措施，例如不采用、放弃、扩大、传播、可持续性(NASSS)框架[18］．然而，这个框架的重点是非常不同的，它更多地集中在宏观系统和组织上，作为要测试的定义环境，并且它不适合在用户(个人)级别测试实现，缺少相关的实现信息。

未来的研究可能会考虑使用这里提出的结构(即，使用单一干预测试框架中的每个领域)，但包括不同的人群和组织设置来测试通用性。重要的是在拥有不同卫生保健系统的其他国家测试实施情况，因为可能会出现新的障碍或促进因素。

结论

RE-AIM和BIT框架通过概念验证研究进行了测试，表明两者都适合评估具有不同优缺点的实施情况。就选择评估数字卫生干预措施实施情况的框架提出了一些建议。提出了克服评估框架时遇到的主要障碍的战略。