这篇论文报告了一个原始方法的内容验证评估价值的教育材料交付给卫生专业人员从他们的角度。每天都有大量临床相关研究报告发表;因此，卫生专业人员不可能过滤和吸收所有这些信息。教育项目通过基于网络的信息资源和电子邮件提醒服务努力克服这个问题。特别是，临床电子邮件渠道向卫生专业人员提供教育材料，如每日诗歌研究概要(诗歌代表以患者为导向的重要证据)或重点(每周一封有循证治疗建议的电子邮件)[ 1- 3.］．正如之前的一篇文章所示，家庭医生认为通过电子邮件接收教育材料有好处[ 4］．

本研究旨在从家庭医生(信息使用者)的角度验证一种评估通过电子邮件传递的信息(教育材料)感知价值的方法。信息评估方法(IAM)被15,000多名加拿大药剂师和医生用作评估教育项目中传递的信息(反思学习)结果的继续教育工具。本研究中描述的医生参与了由加拿大医学协会赞助的纵向每日诗歌计划。该课程由加拿大家庭医生学院和加拿大皇家内科和外科医生学院认证为继续医学教育学分。每完成一份IAM问卷(反思学习活动)，医生都能获得学分。然后，我们使用IAM评级进行验证研究。萨拉塞维奇和坎特[ 5将信息的感知价值定义为“获取-认知-应用”的过程;随后，我们在一个理论模型中将这一过程与信息结果的4个层次联系起来，该模型已通过IAM问卷进行了操作。ACA-LO(习得认知应用-结果水平)模型解释了信息的“价值”，即从用户的角度来看，信息是如何有价值的[ 6- 8］．卫生专业人员订阅警报服务，然后获取一段文本(获取)，他们阅读、理解和整合(认知)。随后，他们可能会将这些新理解和认知处理的信息用于特定的患者(应用)。相应的后续4个结果级别如下:信息的情境相关性(第1级)、其认知影响(第2级)、对该信息的使用(第3级)和后续健康益处(第4级; 图1)．

IAM是一种从信息使用者的角度对信息进行系统、全面的评估的方法;已为公众(患者和家长)和卫生专业人员(护士、药剂师和医生)开发和使用了不同版本的IAM问卷[ 1， 2， 7- 13］．IAM可以帮助在信息的“拉”或“推”的背景下评估电子知识资源。信息概念框架的“推拉式获取-认知-应用”已在其他地方发表[ 2， 14］．一方面，“拉”指的是信息寻求行为，如在电子知识资源中搜索信息。另一方面，“推送”指的是信息传递，目前被用于继续教育、疾病预防、健康教育、医疗和营养等多个卫生领域[ 1， 10， 15- 19］．这是一种被动获取信息的类型，如电子邮件警报。

关于医生在“推送”情境下对临床信息的评价，2011年版IAM问卷(IAM-v2011)包含23个条目，分布在4个构式上(源自4个结果级别):(1)“认知影响”构念包含6项积极影响和4项消极影响(信息对临床医生的认知影响)，(2)“临床相关性”构念包含3项(特定患者的信息相关性)，(3)“临床使用”构念包含7项(特定患者的信息使用)，(4)“健康益处”构念包含3项(特定患者的预期健康益处; 多媒体附录1)．在“推送”环境中，临床信息会在某种程度上影响临床医生的继续教育(例如，学习有关医疗干预的新知识)，但可能与临床医生的特定患者不一定相关(与“拉”环境相反，在“拉”环境中，临床医生通常寻找与特定患者护理相关的情况的信息)。因此，我们将IAM问题按实用主义顺序排列(而不是理论顺序);因此，操作“认知影响”构念(第2层)的问题出现在有关“临床相关性”构念(第1层)的问题之前。接下来，我们遵循这个语用顺序。具体来说，自2001年以来，IAM问卷通过文献综述、定性、定量和混合方法研究不断改进[ 20.］．它允许信息用户，包括专业人员，系统地报告每条信息的结果，如教育邮件。例如，在终身学习的背景下，2010年1月至2014年12月期间，加拿大家庭医生学院的13444名家庭医生使用IAM激励反思性学习并获得继续教育学分[ 1］．这一过程允许他们对每周的治疗建议进行评分，这些建议来自一个名为RxTx的基于web的参考资源。在评分的同时，参与者向信息提供者(加拿大药剂师协会)提供建设性的反馈，然后用于提高RxTx的信息含量[ 21］．本文解决了以下问题:IAM在“push”上下文中(用于信息传递)没有得到充分验证。关于“push”上下文的IAM-v2011，项目是根据Haynes等人的指导开发的[ 22］．在之前的工作中，我们与专家进行了讨论，以及文献综述，定性、定量和混合方法研究[ 1， 2， 9， 11， 21， 23- 27］．在这篇论文中，我们报告了对IAM-v2011的内容效度的评估。

评估工具(如IAM问卷)的内容验证的一个重要方面是确保涵盖了措施的所有方面[ 22］．因此，我们回顾了有关教育邮件提醒相关结果的文献(定性、定量和混合方法研究)。纳入的研究包括(1)初级研究研究，(2)针对医生的教育电子邮件，(3)电子邮件的结果，(4)用英语报道。具体来说，我们纳入了2010年的一项综述中的5项研究[ 2，并跟踪这些研究引用的研究论文(截至2014年3月)，以及教育邮件中的3篇文献综述(使用Scopus综合书目数据库)。此外，我们还进行了个人搜索，例如在谷歌Scholar中。共识别出258条记录(146条来自Scopus, 112条来自个人搜索)。检索和筛选了全文出版物。共纳入13项研究[ 11， 14， 26- 36］．纳入的研究设计多样:6项定量描述性研究、2项随机对照试验、2项定性研究、2项混合方法研究和1项定量前瞻性观察研究。进行了专题综合，并在 表1．就信息建构的结果而言，(1)“认知影响”有9项研究报告，(2)“临床相关性”有6项研究报告，(3)“临床使用”有8项研究报告，(4)“健康益处”有5项研究报告。没有其他施工报告。文献中未发现类似IAM的仪器。当向医生发送教育邮件时，我们的综合支持IAM问卷中涵盖的4个结构。因此，本文旨在从使用IAM的医生的角度，在向医生提供教育材料的背景下，评估IAM-v2011的内容效度。

我们使用了三部分混合方法收敛设计(定量、定性和混合)[ 37， 38］．在定量部分，使用基于web的纵向研究收集的数据测量IAM-v2011项目的相关性。在定性部分，我们评估了IAM-v2011项目的代表性及其与IAM结构的关系。考虑到生态内容验证由最终用户决定[ 39， 40]，需要实际IAM用户的观点，参与者是验证研究定量和定性部分的IAM用户。混合部分对定量和定性结果进行了综合，并与专家进行了讨论。

我们对IAM-v2011的生态和逻辑内容效度进行了评估。效度指测试是否测量了它应该测量的内容[ 41- 44]，内容效度被定义为“评估工具的要素的程度” 有关和 代表为某一评估目的而设的目标构式" [ 22］．的 相关性评估工具的适用性是指评估工具的要素与评估的目标结构和功能相适应的程度。例如，一个项目的相关性指的是该项目可能完成结构隐含的目标的程度。相关性可以通过定量方法进行评估。的 代表性评估工具的性质是指评估工具的要素是否涵盖目标结构的所有方面。例如，一个有代表性的项目很好地说明了它的结构要度量什么。代表性可以通过定性方法进行评价。

内容效度可分为(1)逻辑内容效度(由专家确定)和(2)生态内容效度(由用户确定)[ 39］．生态效度是指研究中观察和记录的行为反映自然环境中实际发生的行为的程度[ 39］．我们的总体目标是评估IAM-v2011在教育邮件提醒方面的逻辑和生态内容有效性。符合评估工具内容验证的标准程序[ 22]，我们的具体目标是衡量相关性和评估IAM-v2011项目的代表性，以评估通过电子邮件警报收到的信息。

进行了一项基于网络的纵向研究。我们在阅读了Daily POEM邮件提醒后，考虑了医生提交的所有2012年IAM评级[ 33］．《每日诗歌》是为初级保健读者量身定制的，是对102种医学期刊上发表的研究进行扫描和批判性评价后选出的原始初步研究或系统综述的摘要。2012年，共计270首每日诗歌通过电子邮件发送给加拿大医学协会的医生成员。参与者都是来自加拿大各地的医生，他们自愿订阅每日诗歌，并在2012年使用IAM-v2011评分至少一首诗歌，作为获得继续教育学分的要求。从5596名医生中，我们从2012年1月1日至12月31日收集了234,196份IAM完成的基于网络的问卷(评分)。关于数据分析，对于每个IAM-v2011结构项目，使用如下公式计算比率(R) 图2．

另一方面，对于每个构念或子构念，计算所有项目的相关比。以“I learned something new”为例，计算关联比R如下。选择该项目的填写问卷的数量除以至少选择了一个“积极认知影响”结构的IAM问卷的总数。符合教育及心理测试的标准[ 45，验证是开发人员和知识用户的共同责任。IAM知识用户(IAM评级分析结果的用户)是信息提供者(如加拿大药剂师协会，它产生了上述的重点)，并欣赏“负面认知影响”项目，它可以检测信息内容的问题。因此，消极的认知影响项目很少被选择，但却是必要的，“认知影响”结构被分为两个子结构:“积极的”和“消极的”认知影响。例如，对于“这个信息可能是有害的”这一项，为了计算R的值，选择了这一项的填写问卷的数量除以至少选择了一个“消极认知影响”结构的问卷的总数。

结果解释如下。与我们之前在“拉”环境下的内容验证研究一致[ 46]，当R大于或等于10%时，这些项目被认为是相关的，当R小于10%时，这些项目被认为是不相关的。关于排除项目的R临界值，确定内容效度的标准或通用临界值尚无共识[ 41， 42］．

进行了一项定性描述性研究[ 47通过对15名家庭医生(最终用户)的半结构化面对面访谈。访谈从关于教育邮件提醒和继续医学教育活动的一般性问题开始，以探索参与者的经验;然后，我们对IAM-v2011项目的代表性进行了具体的提问。

将定性和定量结果进行综合比较。关于混合方法的参考书，特别是在初级保健研究中，都推荐这样的结果比较[ 37， 52］．将IAM条目的相关性和代表性制成表格。确定了相关性或代表性有问题的项目，并与小组成员讨论了这些项目。相关性低或不具代表性的IAM项目被排除。此外，我们审查和讨论了所有项目的清晰度和语言。小组成员以协商一致意见就每一项目作出最后决定。对于不包括的项目，优先考虑从5596名医生那里收到的定量数据(相关性)。定性调查结果可能提出了新的项目(代表性)。在我们的研究中，定性结果支持删除一个不相关的项目，并证实了定量结果，但不建议任何新的项目。

这项研究是根据《赫尔辛基宣言》所阐述的伦理原则进行的。获得了麦吉尔大学机构审查委员会的伦理批准。机构审查委员会提供了伦理批准#A11-E25-05A用于收集和分析定量数据，#A06-E44-13A用于收集和分析定性数据。

在23个条目中，有21个条目的R值大于10% (N=234,196)。所有21人都被保留下来，以提出IAM的2014版本(IAM-v2014;在 表2，除第1项和第13项外的所有项目)。其余2个项目的R值小于10% (in 表2，见第1项和第13项)。“积极认知影响”(“我的实践将被改变和改进”)第1项的R为4.86% (N=234,196)，“信息使用”(“我不知道该做什么，我将使用这个信息来管理这个病人”)第13项的R为3.04% (N= 45,394)。项目1和13的最后决定是排除它们。

我们采访了9名男性和6名女性家庭医生。共有9名参与者在学术健康科学中心工作，6人在社区私人家庭医疗诊所工作。参与者的实践年限从9年到38年不等。共有5名参与者表示对他们的实践没有特别的临床重点，而10名参与者表示对产妇和新生儿护理(n=3)或老年人护理(n=3)特别感兴趣。我们在所有参与者的办公室采访了他们。与会者都很欢迎，也很合作。在15名面试者中，11人给了充足的时间进行面试，4人似乎很匆忙。对于每一个IAM-v2011项目，所有受访者都回答了我们关于其与结构之间关系的所有问题，以及如果可以选择，他们是否会添加、修改或删除项目。定性部分的研究结果如下(逐构)和总结 表3．

将定量分析和定性分析结果相结合。所有的IAM-v2011项目，他们的相关性，代表性，和最终决定 表4．决策过程包括与itpccrg成员讨论，然后将1个相关性较低的项目(项目1)和1个相关性较低的非代表性项目(项目13)排除在IAM之外。对于前一项(相关性低的代表性)，我们优先考虑定量数据(相关性)，因为它提供了5596个用户的反馈。其他21个项目被认为是相关和具有代表性的。没有一个具有高相关性的项目是不具有代表性的。定性资料中未提出新项目。

这些结果使我们为“推送”技术生成了一个21项内容验证的IAM版本，呈现在 多媒体附录2(IAM-v2014)。这项工作有助于提高继续教育的知识和继续教育工具，因为在文献中没有类似的方法报道。除了电子邮件提醒之外，我们的研究结果还可以应用于其他基于网络的传递教育材料的手段，比如移动设备上的应用程序。例如，我们开发了一个应用程序(称为IAM Medical Guidelines)，在呼吸道疾病的继续医学教育项目中提供间隔教育。在这样的项目中，IAM问卷被临床医生用来记录反思学习并获得继续教育学分。此外，这些结果有助于在3个层面(用户、提供者和研究人员)进行实践。首先，在个人知识用户层面，医生可以使用一种经过验证的方法来评估通过教育电子邮件提醒传递给他们的临床信息。超过15000名加拿大家庭医生和药剂师正在使用IAM问卷的验证版本来评估教育邮件提醒，并在Daily POEMs和Highlights等项目中获得继续教育学分。在2016历年期间，加拿大的医生和药剂师完成了超过40万次IAM问卷(推送版)。据我们所知，在卫生专业人员的继续教育方面，IAM问卷是加拿大使用最频繁的问卷。其次，在组织知识提供者层面，对IAM-v2014评级的分析可以基于一个经过验证的方法。 For example, information providers such as the Canadian Pharmacists Association are receiving validated feedback from their members. Third, using a validated questionnaire offers at least two other advantages: (1) researchers will save time and resources by avoiding the lengthy process of developing and validating their own instrument, and (2) new studies can compare their findings against those of other IAM-based studies.

IAM作为一个整体的验证基于我们之前的工作和理论模型，尽管我们为验证每个构造和项目收集了定量和定性的证据。未来的研究可能追求IAM作为一个整体的验证，例如，使用因子分析。正如教育和心理测试标准中提到的，验证总是可以进行的[ 45］．关于研究的定量部分，由于继续教育项目依赖于医生的自愿参与，我们承认在参与者方面存在选择偏差。虽然我们的定量数据样本包括234,196份IAM问卷，由5596名医生完成，但这些参与者并不代表所有加拿大医生。例如，参与者更容易适应信息技术。就定性部分而言，尽管焦点小组已足够进行内容验证[ 40，我们选择进行面对面的采访，因为通常很难安排与医生小组的会议。

我们关于临床信息对患者健康的预期益处的数据反映了医疗保健专业人员的主观观点。例如，少数研究报告了如何利用来自知识资源的信息帮助医生避免不必要的检查、治疗或转诊给专家同事。在计算机实验室使用临床场景进行的外部研究，大多数研究都有自我报告的局限性，没有客观地检查与患者相关的结果。关于卫生专业继续教育的文献，以自我报告为基础的研究结果是典型的。例如，一项范围审查审查了医生自我审计项目的影响[ 53］．纳入综述的6项观察性研究均未客观评估结果。在自我报告鼓励社会期望反应的程度上，基于自我报告行为的研究结果的有效性和对患者预期的健康益处在未来的研究中可能会受到质疑。

我们的内容验证研究遵循了开发心理测量和教育评估工具的通常建议[ 22， 39］．在之前的工作中，我们回顾了信息研究并开发了一个理论模型，而在本研究中，我们收集了定量和定性的证据，以支持在特定环境中使用IAM:教育材料的传递。内容验证通常是一项混合方法的研究工作[ 37， 38， 54］．基于定性和定量方法的互补性和协同性，混合方法通过整合仪器不同方面的定量和定性结果来加强验证研究。例如，焦点小组就概念的相关性和代表性提供定性证据[ 40]，然后使用因子分析(为收敛性和辨别性概念提供定量证据)对其进行检验。

我们的验证研究基于Messick的效度定义[ 42- 44]，这亦为教育及心理测试的标准提供参考资料[ 45］．我们的混合方法研究评估了IAM的内容效度。对于每个构念，我们分别用定量方法衡量IAM项的相关性，用定性方法评估其代表性;然后，将定量和定性结果进行综合。在出现分歧的情况下，对于“删除”项目的最终决定，我们给予定量结果更多的权重，因为定量样本很大。除了研究定量部分的大样本外，我们还采访了IAM的15名医生用户。这可视为与生态专家(IAM用户)的咨询[ 40］．我们的数据分析的最后步骤和IAM-v2014草案与ITPCRG成员进行了讨论，他们是评估临床信息价值的逻辑专家。专家小组讨论是内容验证的核心组成部分[ 22］．

本研究制作了一份内容验证的IAM问卷(IAM-v2014)，用于临床医生和信息提供者评估继续教育项目中提供的临床信息。研究卫生保健质量和特定患者的健康状况如何与教育内容的提供相关联，可以使用工具在多个时间点准确记录临床事件。研究人员进行这类工作的工具之一是我们经过验证的IAM问卷，以及来自电子医疗记录的数据。最后，IAM可以促进提供“最佳”证据(知识翻译)的信息提供者和评估该证据(评级)并提交建设性反馈的信息用户之间的持续交互过程;反过来，信息提供者可以利用信息用户的这种反馈来优化他们的证据(从而建立双向知识翻译)，这些证据可在互联网上用于进一步检索[ 21］．利用IAM，卫生专业人员提供的基于经验的信息可以加强以研究为基础的教育信息的提供。例如，除了IAM评级之外，卫生专业人员还提供大量的自由文本评论。这些意见包括建设性的反馈，如对附加内容的建议、保留意见或不同意意见、考虑相互矛盾的证据的建议，或需要澄清内容。这种双向知识翻译在信息管理方面似乎是独一无二的[ 55］．与有关关系营销的文献一致[ 56]，开放接受用户反馈并处理此类反馈可以改善教育资源，并帮助信息提供者通过重视用户的专业知识来维持与用户的关系。