基于模型创建和迭代的电子健康干预措施内容有效性评估新方法

简介

概述

解决心理问题和健康行为的电子健康干预措施的出现创造了新的机会和新的挑战。一些电子卫生干预措施是对既定面对面干预措施的改编;许多是从零开始创建的，作为电子交付的干预措施。在任何一种情况下，它们都提供了优化干预活动有效性的能力，然后将这些活动持续地提供给大量有需要的个人。

理想情况下，任何干预措施的发展(无论是通过电子方式还是亲自进行干预)都始于以经验证据和临床经验为基础的清晰描述的计划理论或变化模型[1，2］．在这样的模型中，干预活动针对特定的机制(心理或行为过程)，以便在健康或行为结果方面产生所需的修改。使用理论模型来指导电子卫生干预措施的开发似乎与有效性有关。最近一项对85项针对健康行为改变的电子健康干预研究的元分析发现，更多地利用理论(即将理论结构与干预技术联系起来)的干预具有更大的效应量[3.］．

电子卫生干预措施的内容有效性和适应性定义

内容效度的概念起源于心理和教育工具的发展领域。评价工具的内容效度是构念效度的一个方面[4，5]并被定义为“评估工具的要素与某一特定评估目的的目标结构的相关性和代表性的程度”，第238页[5］．在本定义中，仪器的相关要素可根据评估的方法和目的而有所不同，包括项目措辞、呈现刺激的方式、如何给出指令，以及哪些情况被采样[5］．内容效度是有条件的，而不是评估工具的固有特征;评估是针对特定的评估目的或目的，以及特定的目标人群[5］．从专家对评估工具内容效度的审查中得出的定量和定性指标可用于在评估工具的开发阶段识别失误和打磨内容[5，6］．

我们对eHealth内容有效性的定义是建立在这些公认的仪器开发中的内容有效性属性之上的。我们将电子健康干预的内容有效性定义为其组成部分干预活动与基础结构(即规划理论)相关的程度，以及在特定预期人群中可能有效实现特定干预目的的程度。因此，我们建议专家评估三个核心维度:相关性、可能的有效性和对特定受众的适当性。第一个维度，相关性，是指干预活动与计划理论或改变模型中所定义的预期干预目标相关的程度，即“这个箭头是否指向正确的方向?”第二个维度，可能效果是指证据、理论和专家判断在多大程度上表明这一特定活动将成功地修改预期的干预目标，也就是说，“这支箭有可能击中目标吗?”第三个维度是活动的程度适合特定的目标受众，这可能是由年龄、文化或其他因素定义的。

考虑电子卫生干预措施内容有效性的基本原理

在开发电子卫生干预措施时，有几个令人信服的理由要仔细关注内容有效性。当干预内容基于清晰描述的计划理论和变化模型制定时，不仅电子健康干预更有可能有效，其使用和评估还可以促进对试图干预的心理或行为过程的理解[7，8］．然而，在电子健康干预的开发者明确阐述了变化/规划理论模型之后，接下来的步骤充满了挑战，包括在干预活动的设计和交付方面的众多选择。在实际干预活动的设计中，对内容有效性的正式评估可以是一个关键的检查点，以确保这些活动和过程与它们打算操作的底层规划理论和变更模型相匹配。电子交付的干预计划(在更大的程度上比手工亲自干预)提供了一组预先确定的和高度可观察的活动，从而促进了在开发过程中对具体活动的审查。内容有效性评估结果可用于在开发过程中完善eHealth干预措施，或更好地了解现有干预措施性能的意外变化。考虑到开发电子卫生干预措施的费用，在开发过程的早期(例如，在故事板阶段)评估内容有效性可能具有成本效益，因为这会增加成本高昂的进一步开发将导致有效干预措施的可能性。

毫无疑问，大多数干预开发人员都在努力实现这种有效性，并非正式地评估他们成功的程度。然而，据我们所知，还没有提出评估电子健康干预措施内容有效性的系统过程。因此，本文的目的是定义内容有效性，因为它适用于基于模型的电子健康干预开发，提出了一个可行的方法来评估内容有效性在这种情况下，并描述了该方法在干预开发过程中的实施。基于上述提出的电子健康内容效度定义，我们设计了一种评估电子健康干预内容效度的实用方法，并将该方法应用于我们为学龄儿童开发的应对教练网络干预。外部专家的正式审查使我们能够评估干预活动与变革模型和规划理论的匹配程度，我们的干预发展基于这些模型和理论。

方法

内容有效性专家评审程序

我们提出了一个直接的，系统的方法来获得专家审查的内容有效性的电子健康干预。这种方法假定所讨论的电子健康干预措施是基于明确的规划理论或变化模型创建的，或者可以将适当的理论/模型应用于(甚至是回顾性的)现有干预内容。我们的方法包括以下步骤:

• 步骤1是指定本次电子保健干预措施要解决的关键干预目标。
• 步骤2是通过定义针对每个目标的离散干预活动来描述具体的活动-目标对。这些可能不是一对一的关系;一个目标可以由多个活动处理，反之亦然。在这种情况下，干预活动被定义为一组有意义的用户操作或体验，这些操作或体验可以明确地与一个或多个目标相关联。能够描述每个活动是很重要的，这样专家评审员就能准确地理解包含哪些干预内容。
• 步骤3是用每个干预活动-目标配对填充内容有效性调查工具。调查工具包括相关性、可能的有效性和针对特定目标受众的适当性(见多媒体附件1）.
• 第4步是招募未参与电子健康干预措施开发的专家，并使用内容有效性调查工具收集调查数据。专家审稿人应具备相关内容知识;审稿人的学科和地域多样性可以提供有益的平衡[5，9］．对于内容有效性的初始阶段评审，建议评审员的理想人数为8-12人，对于二次评审或后续评审，建议评审员的理想人数为3-5人(可能是原始组的一个子集)[6］．必须向专家评审员提供eHealth干预措施的最佳当前版本(例如，故事板、文本脚本、对干预措施的在线访问)的访问权限，并要求专家评审员在线或通过电子邮件填写在第3步中创建的内容有效性调查工具的副本。
• 第五步是分析结果并根据需要改进干预措施。结果应进行定量分析(例如，通过计算内容有效性指数)和定性分析(例如，通过检查专家评分者的叙述性评论)。利用这些发现来识别潜在的问题活动，并根据需要完善干预措施。根据干预措施的开发阶段，开发团队可以选择立即或在干预措施的未来迭代中删除或修改潜在的次优干预活动。

基于之前关于仪器开发中内容效度的文献，我们提出项目级和量表级内容效度指数(I-CVI和S-CVI/AV)作为可接受内容效度的定量指标[6］．对于电子保健干预措施，“项目”是干预活动-目标配对，“量表”是一组活动-目标配对。I-CVI是在4分制中，专家评审员将某项评分为3或4的比例(0.0到1.0)。S-CVI/AV是一组项目的所有i - cvi的平均值[6］．Polit等[6]基于对文献的回顾和对替代内容有效性指数的定量属性的检查，提出了内容有效性的标准。我们建议对eHealth采用这些标准，这样，如果所有的i - cvi至少为.78,S-CVI/AV至少为.90，则一组eHealth干预活动可以说具有良好的内容效度。

利用内容有效性评估的结果来完善和改进电子健康干预措施总是涉及定量指标和开发团队经过深思熟虑的判断。例如，如果像I-CVI这样的定量指标指出了特定活动-目标对的问题，那么开发团队的下一个步骤取决于确定的问题的性质。如果一个活动被评为与其预期目标不相关，开发团队可能会考虑删除它或进行重大修改。另一方面，如果一个活动被认为是相关的，但不太可能是有效的，开发团队应该考虑是否有一种方法来改变或增强该活动，以增加其可能的有效性。作为内容有效性调查的一部分，专家评审员提供的叙述性评论可能是有帮助的，后续访谈以引出有关特定关注点的额外细节可能是有用的。开发者可能还需要考虑某个活动是否对某些目标(而非所有目标)具有相关性/可能有效。

该方法在应对教练干预中的应用

应对教练描述

应对教练是一项电子健康干预措施，旨在预防或减少8-12岁经历过不同类型的急性单次创伤性事件的年轻人的创伤后压力及其对健康相关生活质量的负面影响[10］．应对教练干预的结构是一个有故事情节的互动游戏。干预活动包括技能练习和与游戏角色的互动，因为儿童用户通过三个级别的游戏进展。作为我们开发应对教练干预的基础的程序理论在其他地方有详细介绍[10，11并在此简要描述。基于创伤后应激障碍病因学的经验文献[12-14]，我们首先确定了应对教练干预使用者的四个近期目标:(1)识别创伤后的情绪反应，(2)建立认知重新评估技能，(3)减少使用回避应对策略，(4)增加社会支持寻求。对于每一个目标，我们都从儿童创伤后压力和焦虑干预的经验文献中借鉴[15-17来描述更具体的可操作的干预目标，然后与Web/游戏开发团队密切合作，制定干预活动来解决这些目标。

五步内容效度法在应对教练中的应用

步骤1(指定关键干预目标)贯穿整个开发过程。如上所述，我们基于计划理论开发了干预措施，其中我们确定了13个特定的干预目标(四个近端目标中的每个目标2-5个目标)，以解决预防创伤后应激障碍的关键机制。

在第2步(划定活动-目标配对)中，我们划定了11个离散的干预活动;每个活动处理13个干预目标中的一个或多个，结果总共有15个活动目标对。表1提出每个干预活动的目标(s)，它的意图解决。对于应对教练干预，描述活动-目标配对的过程很简单，因为我们的干预发展过程开始于对干预目标的仔细定义，并且每个活动都旨在解决一个或多个这些目标。当没有明确地以这种方式开发干预措施时，步骤2可能需要额外的努力，例如通过开发团队关键成员之间的共识过程映射活动-目标配对和/或评估活动与目标匹配的相互评价者的可靠性。

对于第3步(填充调查工具)，我们创建了一个内容有效性调查工具，对15个活动目标对中的每一个都有三个评级。对于每个活动-目标配对，专家们使用李克特5点型量表(0-4)对干预活动的相关性、可能的有效性和年龄适宜性进行评分，如下所示:相关性(该特定干预活动与预期干预目标的相关程度)，0定义为“与该目标无关/无关”，4定义为“对该目标的核心/关键/必要”;（2）有效性(该特定活动将成功修改预期干预目标的可能性)，0定义为“不太可能有效”，4定义为“很可能有效”;和(3)适合目标受众，以《应对教练》为例，定义为年龄适当性(活动的语言、内容和性质清楚、易于理解，适合8-12岁儿童的发展程度)，0定义为“不适合/不适合8-12岁”，4定义为“适合8-12岁的活动的语言/性质”。调查表格包括干预的屏幕截图，以帮助专家评审员了解他们正在评级的活动。内容有效性调查工具模板的副本可在多媒体附件1．

对于第四步(招募专家并收集调查数据)，我们邀请了一组国际专家参与对应对教练干预进行评级。专家的选择是基于他们在潜在创伤事件后儿童应对和调整、创伤性压力预防、文化敏感儿童干预或基于网络干预的发展方面的知识和专业知识。我们为每位专家提供了用户名和密码，以在线访问应对教练干预，并鼓励他们像儿童用户一样至少玩一次整个游戏。我们还提供了所有干预要素和活动的全文记录。内容有效性调查工具以Word文档的形式提供，并通过电子邮件发送给专家;专家们在这份文件中完成了他们的评级，并通过电子邮件返回了这份文件。专家评审员被要求完成内容有效性调查工具，并对任何特定活动或整体干预提供额外的评论。干预措施的专家评审不构成人体受试者研究，因此机构审查委员会或伦理委员会的批准程序是相关的或不需要的。

对于第5步(分析结果和改进干预)，我们首先计算每个维度上每个活动目标对的I-CVI;I-CVI是在这个版本的调查工具中使用的5分制(0-1-2-3-4)中给出3或4分的评论者的比例。然后，我们计算了每个维度(相关性、可能有效性和年龄适宜性)的S-CVI/AV，作为该维度所有i - cvi的平均值。在这种情况下，I-CVI是一个比Polit等人描述的专家共识略保守的指标，因为用于应对教练评级的调查工具使用的是5分制而不是4分制。我们还检查了来自专家评审员的其他叙述性评论。这些数据，连同儿童用户及其父母的反馈[10]和一项试点随机试验的结果[11，现在正被用于磨练和改进下一个迭代的应对教练干预。

结果

概述

共有15名专家(来自美国、澳大利亚、英国、荷兰和瑞士)通过电子邮件受邀参加;所有15家公司都同意参与并提供评级。所有专家都是独立的，也就是说，没有参与干预措施的制定。每位专家都是活跃的临床研究员(12名心理学家和3名精神病学家)，在该领域至少有5年的经验和相关内容的专业知识。13名专家应要求在大约2个月内提供了评级;2名专家由于其他任务需要额外的时间，但最终提供了评级。很少有不完整的评分(225个相关性评分中只有2个，225个有效性评分中有3个，225个年龄适当性评分中有5个缺失)。

内容有效性的量化指标

表1显示了每个干预活动/目标配对的I-CVI，基于内容有效性调查工具的专家评分。

S-CVI/AV对所有活动的评分在相关性(0.94)方面都很好，但在可能的有效性(0.82)或年龄适宜性(0.85)方面还没有达到这一标准。在更细粒度的水平上检查定量指标，对于几乎所有的活动-目标配对，可能的有效性和年龄适宜性的I-CVIs都是极好的(≥.78)。然而，我们确定了两个i - cvi低于。78的活动(包括三个活动-目标对)。干预活动1 (Face-O-Matic Machine活动)和干预活动4(应对教练和一般不适角色之间的对话)的相关性评分很高，但可能的有效性或年龄适宜性的i - cvi为0.60至0.73。审稿人还提供了叙述性的评论来解释他们的担忧和/或建议替代方法。基于这些i - cvi和评审意见，将对这两个活动进行评审，以确定它们是否应该在干预的下一次迭代中保留、删除或修改。

专家评审员的叙述性评论

除了定量评分之外，对于许多干预活动，审稿人的叙述性评论有助于理解应对教练干预的优势和潜在差距。评论者评论了可能的行动机制，例如，“最强的部分之一，很好地教授了思想、感觉和行动之间的联系，并且很好地识别了具体的想法”和“练习的互动性，事实上，它没有‘粉饰’逃避有一些积极的一面，因为它对孩子来说是现实的”。审稿人还强调了扩展或改进当前干预活动的方法，以更好地实现关键目标，例如，“也许还可以讨论孩子在悲伤、愤怒、担心等时候的行为反应(例如，哭泣、跺脚、翻肚子)可能会给他们提供更多的机会来识别他们的感受”。

讨论

主要研究结果

该项目表明，内容有效性评估是直接可行的，评估结果可以为新的电子卫生干预措施的持续开发和迭代提供有用的信息。内容有效性调查工具的专家评分显示出可变性，这表明响应选项被适当地缩放和锚定，以捕获专家对特定干预活动的内容有效性判断的有用等级。

特别是对于被认为是干预结果关键的组件，内容有效性评估可以减少产生有效电子卫生干预所需的迭代次数。明确表达变化模型和规划理论，并进行内容有效性评估，以确保干预活动与其预期目标相匹配，对于从头开始创建的电子卫生干预措施的开发可能特别重要，也就是说，这些干预措施不是基于网络的现有完善的面对面干预措施的改编[10，18］．然而，内容有效性评估也有助于确保完善的面对面干预措施成功地转化为基于web /数字的交付。面对面治疗的组成部分(例如，暴露于解决焦虑症状)并不总是直接的。

专家对内容有效性的评级是对其他信息来源的重要补充。根据评估内容有效性的开发周期中的点，干预开发团队可能需要权衡用户反馈、有效性评估和其他上下文考虑因素中关于特定活动的次优内容有效性的信息，以确定适当的行动。一种可能是立即改进或取消可能有问题的活动;另一种选择是根据用户参与度或有效性对这些活动进行持续监测。在应对教练的案例中，专家评审肯定了所有评级活动的相关性，但确定了两项干预活动在可能的有效性和年龄适宜性方面的潜在差距。这些信息将与用户反馈和试点随机试验的结果结合使用，以做出优化应对教练干预活动的决定。

该方法的实施揭示了关于评估内容有效性的过程和时间的一些经验教训。关于过程，我们了解到，开发团队需要经过深思熟虑的判断，以适当的粒度级别定义干预活动，也就是说，具有足够的特异性，以便专家评审员进行有意义的评估。还需要经过深思熟虑的判断来确定哪些活动目标对值得对内容有效性进行评估。在“应对教练”的案例中，我们选择将每个干预目标与一到两个最直接解决该目标的活动配对，以构建调查。然而，一些干预目标至少是通过额外的活动间接解决的，一份较长的调查表格可以要求专家评分者评估所有此类活动-目标配对。第1步和第2步，或在专家评审(第4步)期间收到的反馈的一个潜在结果是，干预开发者可能会意识到他们没有充分指定干预目标或干预活动与预期目标之间的预期匹配。如果出现这种情况，可以将其视为对开发团队的一个重要提醒，必要时由专家咨询协助，重新审视和澄清作为电子健康干预基础的规划理论和变革模型。在这方面的明确可能不仅有助于干预设计，而且有助于促进干预的有效性。

关于时间，我们在开发过程中已经创建了一个功能性的在线干预，在儿童用户中试点了这个干预，并启动了一个试点随机试验，我们寻求了专家对内容有效性的审查。这个时机的优势在于，专家们看到了干预活动的完整版本，可以完全掌握我们的预期设计。更早地寻求专家评审(使用情节串联板或功能原型)或在开发过程中的多个点，即基于内容有效性评估迭代修改早期干预草案的能力，会有不同的优势。

限制

本项目存在一些局限性，为今后的研究方向提供了建议。首先，我们建议应用定量指标(I-CVI和S-CVI/AV)，以及这些指标的阈值水平，这些指标是基于心理测量的内容效度研究。虽然我们认为这是一个合理的起点，但还需要进一步的研究来记录在各种类型的电子卫生干预活动的发展中I-CVI和S-CI/AV结果的范围，以及这些评级与改进电子卫生干预绩效的关系。这类研究也将有助于评估拟议的内容效度调查工具本身的信度和效度，因为这超出了当前研究的范围。值得注意的是，我们为eHealth项目实现了这种内容有效性方法，该项目采用“隧道”设计，要求所有用户参与所有活动。由于电子健康干预措施在指导每个用户参与同一组活动的程度上各不相同，因此对更复杂分支结构或允许自由探索一组活动的干预措施进行内容有效性评估，可能需要对我们的方法进行一些调整。所提出的内容有效性方法针对三个领域:相关性、可能的有效性和对特定受众的适当性。随着该工具的使用越来越广泛，可能会认识到对其他域的需求。最后，重要的是要记住，专家评定的内容效度并不能保证一系列干预活动的有效性。研究者和干预开发者不应该用内容效度评估来代替严格的干预效果评估。

结论

内容有效性评估在开发或改进电子健康干预过程中是一个有用的检查点。我们的团队创建并实现了一种简单的方法和内容有效性调查工具，它提供了有关干预活动与底层规划理论匹配的有用信息。这种方法可以在开发过程的多个阶段适当利用，以指导正在进行的电子卫生干预措施的优化。