电子卫生干预措施的出现，解决了心理问题和健康行为，创造了新的机会和新的挑战。一些电子卫生干预措施是对已有的面对面干预措施的改编;许多是作为电子交付的干预措施从零开始创建的。在任何一种情况下，它们都提供了优化干预活动有效性的能力，然后将这些活动始终如一地提供给大量有需要的个人。

理想情况下，任何干预措施的开发(无论是通过电子方式还是亲自进行干预)都始于基于经验证据和临床经验的明确描述的项目理论或变化模型[ 1， 2］．在这种模式中，干预活动针对特定机制(心理或行为过程)，以便在健康或行为结果方面产生所需的修改。使用理论模型来指导电子保健干预措施的开发似乎与有效性有关。最近一项对85项针对健康行为改变的电子健康干预研究的元分析发现，更多地利用理论(即将理论结构与干预技术联系起来)的干预具有更大的效果量[ 3.］．

内容效度的概念起源于心理和教育工具开发领域。评估工具的内容效度是建构效度的一个方面[ 4， 5]并被定义为“评估工具的要素与特定评估目的的目标结构相关并具有代表性的程度”，第238页[ 5］．在此定义中，评估工具的相关要素可能会因评估的方法和目的而有所不同，包括项目措辞、刺激的呈现方式、指示的给出方式以及对哪些情况进行抽样[ 5］．内容效度是有条件的，而不是评估工具的固有特征;评估是根据某一评估目的或目的，以及某一特定目标人口而进行的[ 5］．在评估工具的开发阶段，由专家评审工具的内容效度得出的定量和定性指标，可用于识别错误和打磨内容[ 5， 6］．

我们对eHealth内容效度的定义建立在仪器开发中已确立的内容效度属性的基础上。我们将电子健康干预的内容效度定义为其组成干预活动与基础结构(即项目理论)相关的程度，以及在特定预期人群中实现特定干预目的时可能有效的程度。因此，我们建议专家评审的三个核心维度:相关性、可能的有效性和针对特定受众的适当性。第一个维度, 相关性，干预活动与计划理论或变化模型中定义的预期干预目标相关的程度，即“这个箭头指向正确的方向吗?”第二个维度, 可能效果，是证据、理论和专家判断在多大程度上表明这一特定活动将成功地修改预期的干预目标，也就是说，“这支箭可能击中目标吗?”第三个维度是活动的程度 适合特定的目标受众这可能是由年龄、文化或其他因素决定的。

在电子健康干预措施的发展中，有几个令人信服的理由需要仔细关注内容有效性。当干预内容基于明确描述的项目理论和变化模型而开发时，电子健康干预不仅更有可能有效，其使用和评估还能促进人们对试图干预的心理或行为过程的理解[ 7， 8］．然而，在电子健康干预的开发者明确表达了变化/规划理论的模型之后，接下来的步骤充满了挑战，包括干预活动的设计和交付中的多种选择。内容有效性的正式评估可能是实际干预活动设计中的一个关键检查点，以确保这些活动和过程与它们打算实施的基础项目理论和变更模型相匹配。电子交付的干预方案(甚至比手工亲自干预更大)交付了一组预先确定的和高度可观察的活动，从而促进了开发过程中对特定活动的审查。内容有效性评估的结果可用于在开发过程中完善eHealth干预措施，或更好地了解现有干预措施性能的意外变化。考虑到开发电子健康干预措施的费用，在开发过程的早期评估内容有效性(例如，在故事板阶段)可能是具有成本效益的，因为增加了成本高昂的进一步开发将导致有效干预的可能性。

毫无疑问，大多数干预开发人员都努力实现这种有效性，并非正式地评估他们成功的程度。然而，据我们所知，目前还没有系统的过程来评估电子健康干预措施的内容有效性。因此，本文的目的是定义应用于基于模型的eHealth干预开发的内容有效性，提出在此背景下评估内容有效性的可行方法，并描述该方法在干预开发过程中的实现。基于以上提出的电子健康内容效度定义，我们设计了一种实用的方法来评估电子健康干预的内容效度，并将该方法应用于我们为学龄儿童开发的基于网络的应对教练干预。外部专家的正式审查使我们能够评估干预活动与我们的干预开发所依据的变化模型和规划理论的匹配程度。

我们提出了一种直接的、系统的方法来获得专家对电子健康干预的内容有效性的评审。这种方法假设所涉及的eHealth干预措施是基于明确的规划理论或变化模型创建的，或者可以将适当的理论/模型应用于现有的干预内容(甚至是回溯性的)。我们的方法包括以下步骤:

基于以往有关仪器开发中内容效度的文献，我们提出项目级和量表级内容效度指数(I-CVI和S-CVI/AV)作为可接受内容效度的定量指标[ 6］．对于电子保健干预措施，“项目”是干预活动-目标配对，“规模”是一组活动-目标配对。I-CVI指的是在4分制的评分体系中，给某项打分为3或4的专家评论家的比例(0.0到1.0)。S-CVI/AV是一组项目的所有i - cvi的平均值[ 6］．波利特等人[ 6]提出了内容效度的标准，该标准基于对文献的回顾和对替代内容效度指标的定量属性的检验。我们建议对eHealth采用这些标准，如果所有的i - cvi至少为。78,S-CVI/AV至少为。90，那么一组eHealth干预活动就可以说具有优秀的内容效度。

利用内容有效性评估的结果来完善和改进电子健康干预措施，总是涉及定量指标和开发团队经过深思熟虑的判断。例如，如果一个定量指标，例如I-CVI，指出了一个特定的活动-目标对的问题，那么开发团队的下一步取决于所确定的问题的性质。如果一个活动被评为与其预期目标不相关，开发团队可能会考虑删除它或进行重大修改。另一方面，如果一个活动被评为相关的，但不太可能有效，开发团队应该考虑是否有一种方法来改变或增强该活动，以增加其可能的有效性。作为内容有效性调查的一部分，专家评审员提供的叙述性评论可能是有帮助的，后续采访可以引出关于特定关注的额外细节，这可能是有用的。开发人员可能还需要考虑一个活动是否与某些目标相关/可能有效，但不是所有目标。

共有15名专家(来自美国、澳大利亚、英国、荷兰和瑞士)通过电子邮件被邀请参加;所有15家公司都同意参与并提供评级。所有专家都是独立的，也就是说，没有参与干预措施的制定。每位专家都是活跃的临床研究人员(12名心理学家和3名精神病学家)，在该领域至少有5年的经验和相关的内容专业知识。13名专家应要求在大约2个月内提供了评级;2名专家由于其他任务需要额外的时间，但最终提供了评级。很少有不完整的评级(225个相关性评级中只有2个，225个有效性评级中只有3个，225个年龄合适评级中只有5个没有)。

表1显示了每个干预活动/目标配对的I-CVI，基于内容效度调查工具的专家评级。

S-CVI/AV对所有活动的评级在相关性(0.94)方面都很好，但在可能的有效性(0.82)或年龄适宜性(0.85)方面还没有达到这个标准。在更细的水平上检查定量指标，I-CVIs可能的有效性和年龄适宜性是极好的(≥.78)，几乎所有的活动目标配对。然而，我们确定了两个I-CVIs低于0.78的活动(包括三个活动-目标对)。干预活动1 (Face-O-Matic Machine活动)和干预活动4(应对教练和全身不适角色之间的对话)在相关性方面有很好的评分，但在可能的有效性或年龄适宜性方面的I-CVIs为0.60至0.73。审稿人还提供了叙述性的评论来解释他们的担忧和/或建议替代方法。基于这些I-CVIs和评审意见，我们将对这两个活动进行评审，以确定它们是否应该在干预的下一次迭代中保留、删除或修改。

除了定量评分，对于许多干预活动，审稿人的叙述评论有助于理解应对教练干预的优势和潜在差距。评论者对可能的行动机制进行了评论，例如，“最强大的部分之一，很好地教授了思想、感觉和行动之间的联系，并很好地识别了具体的想法”和“练习的互动性和它没有‘糖衣外衣’的事实是，它对逃避有一些积极的影响，这是有用的，因为它对孩子来说是现实的”。评审员还强调了扩展或改进当前干预活动的方法，以更好地实现关键目标，例如，“也许还可以讨论儿童在悲伤、愤怒、担忧等情况下的行为反应(例如，哭泣、跺脚、翻胃)，这可能为他们提供更多的机会来识别自己的感受。”

该项目表明，对内容有效性的评估是直接的和可行的，该评估的结果可以为新的电子健康干预措施的持续开发和迭代提供有用的信息。专家对内容效度调查工具的评分显示出了可变性，这表明，在专家对具体干预活动的内容效度的判断中，应适当地调整和固定反应选项，以捕获有用的等级。

特别是对于被认为是干预结果关键的组件，对内容有效性的评估可以减少产生有效的电子健康干预所需的迭代次数。明确表达变化模型和规划理论，并进行内容有效性评估，以确保干预活动与预期目标相匹配，这可能对从零开始创建的电子卫生干预措施的发展尤其重要，即不是基于web的现有完善的面对面干预措施的改编[ 10， 18］．然而，内容有效性评估也可能有助于确保已建立的面对面干预成功地转化为基于网络/数字交付。亲自治疗的组成部分(例如，暴露以解决焦虑症状)的转化并不总是直接的。

专家对内容有效性的评级是对其他信息来源的重要补充。根据评估内容有效性的开发周期中的点，干预开发团队可能需要在用户反馈、有效性评估和其他上下文考虑因素的背景下，权衡关于特定活动的次优内容有效性的信息，以确定适当的行动。一种可能是立即改进或删除有潜在问题的活动;另一个选择是从用户参与度或有效性的角度持续监测这些活动。在应对教练的案例中，专家评审确认了所有被评级活动的相关性，但确定了两种干预活动在可能的有效性和年龄适宜性方面的潜在差距。这些信息将与用户反馈和试点随机试验的结果结合使用，以优化应对教练干预活动的决策。

该方法的实施揭示了许多关于评估内容有效性的过程和时间的教训。关于过程，我们了解到开发团队需要深思熟虑的判断来在适当的粒度级别上定义干预活动，也就是说，要有足够的专一性以便专家审查员进行有意义的评估。还需要经过深思熟虑的判断来确定哪些活动-目标对值得进行内容效度评估。在应对教练的例子中，我们选择将每个干预目标与一到两个最直接针对该目标的活动相结合来组织调查。但是，一些干预目标至少是通过额外活动间接解决的，一份较长的调查表格可以要求专家打分者评估所有这些活动-目标配对。步骤1和步骤2，或在专家评审(步骤4)期间收到的反馈的一个潜在结果是，干预开发人员可能会意识到他们没有充分指定干预目标或干预活动与预期目标之间的预期匹配。如果出现这种情况，它可以被视为开发团队的一个重要提醒，如有必要，可以通过专家咨询的帮助，重新审视和澄清作为电子健康干预基础的项目理论和变化模型。明确这一点不仅有助于干预措施的设计，而且有助于提高干预措施的有效性。

关于时间，当我们已经创建了一个功能在线干预时，我们在开发过程的某个点上寻求专家对内容有效性的审查，并在儿童用户中进行了干预试验，并启动了一个试点随机试验。这个时机的好处是，专家可以看到干预活动的完整版本，并可以完全掌握我们的预期设计。更早地寻求专家评审(使用故事板或功能原型)或在开发过程的多个点寻求专家评审会有不同的优势，即基于内容有效性评估迭代修改干预的早期草案的能力。

本项目存在一些局限性，为今后的研究方向提供了建议。首先，我们建议应用定量指标(I-CVI和S-CVI/AV)，以及这些指标的阈值水平，这些指标基于心理测量的内容效度研究。虽然我们认为这是一个合理的起点，但还需要进一步的研究来记录I-CVI和S-CI/AV在开发各种类型的电子健康干预活动中的结果范围，以及这些评级与电子健康干预的改进性能之间的关系。这类研究也有助于评估拟议的内容效度调查工具本身的信度和效度，因为这超出了当前研究的范围。值得注意的是，我们为一个电子健康项目实现了这种内容有效性方法，该项目采用了“隧道”设计，要求所有用户参与所有活动。由于eHealth干预措施在指导每个用户参与同一组活动的程度上各不相同，对更复杂分支结构的内容有效性评估，或对允许自由探索一组活动的干预措施的内容有效性评估，可能需要对我们的方法进行一些调整。提出的内容有效性的方法针对三个领域:相关性、可能的有效性和特定受众的适当性。随着该工具的使用越来越广泛，可能会认识到对其他域的需求。最后，必须记住，专家评定的内容效度并不能保证一系列干预活动的有效性。研究人员和干预开发人员不应用内容效度评估代替严格的干预效果评估。

内容有效性评估可以成为开发或改进电子健康干预过程中一个有用的检查点。我们的团队创建并实现了一个简单的方法和内容有效性调查工具，提供了有关干预活动与基础项目理论匹配的有用信息。该方法可在开发过程中的多个点适当利用，以指导正在进行的电子卫生干预的优化。