使用基于视频的沟通评估应用程序进行实践并获得众包反馈对住院医师不良事件沟通技能的影响:前后试验

简介

医疗伤害后的沟通通常无法满足患者和家属的需求[1］．患者经常感到被抛弃、困惑和不确定如何获得信息和支持[2］．因为许多医生对这些谈话毫无准备[3.，4]， 2017年，美国研究生医学教育认证委员会(ACGME)要求所有住院医师接受关于如何披露不良事件的培训，并参与对患者和家庭的“真实或模拟”伤害事件披露[5］．不幸的是，许多美国住院医师项目并不能保证毕业生具备这些技能。在2021年对1.1万多名美国居民进行的一项调查中，28%的受访者表示没有接受过错误披露方面的培训。其中只有9.2%的人接受了模拟训练[6］．相反，大多数人接受的是基于讲座的培训或非正式的培训，这些技术在培养需要练习和反馈的沟通技能方面存在严重限制。

尽管一些错误披露课程可能会提高知识和态度，但已发表的干预措施缺乏对技能习得的严格评估[7］．住院医师可以通过临床实践学习，但高风险的信息披露并不常见，观察起来也有问题，而且很少伴随着来自督导人员或受伤害患者的形成性反馈[8，9］．讲座和多项选择题并不能保证技能的习得7]，对标准化患者的模拟在逻辑上要求很高，大规模实施成本很高，并且缺乏统计可靠性[10-14］．同样不清楚的是，标准化的患者和教师医师评分者是否充分接近经历过医疗伤害的患者的观点。特别是，医生对理想的披露内容和表现的观点与患者的观点不同，这可能会限制教师评估和提供表现指导的能力[9，15］．为了完全满足ACGME的要求和患者的期望，教育工作者需要为住院医生提供实践错误披露的工具，并获得以患者为中心、可靠、及时、负担得起和实用的形成性反馈。

美国国家医学检查委员会创建了基于视频的沟通评估(VCA)应用程序，允许医生和学员练习并获得关于他们口头沟通的具体个人反馈[16，17］．VCA应用程序会呈现病例片段的简短视频，并提示用户用音频记录下他们想对患者说的话。亚马逊Mechanical Turk (MTurk)网站上招募的外行人对这些回答进行了评级，就好像他们是小插图中的病人一样。18］．MTurk拥有非常庞大、多样化的众包人群，同时也有大量证据证明它是一个廉价、快速和高质量的数据源[19-21］．VCA用户会收到带有评级的反馈报告、对其队列的比较数据、从评级者的评论中获得的学习点，以及评分高的同行回答的样本录音。在一项关于初级保健沟通场景的研究中，VCA应用程序提供了高质量、可操作的反馈[22］．我们将这一工具用于有害医疗错误案例，发现众包外行对医生错误披露提供了可靠的评估，而规模足够大的众包外行小组可以作为过去涉及有害错误的患者小组的可靠替代品[23］．然而，VCA实践和反馈对住院医师错误披露技能的影响尚不清楚。

本文描述了一个使用VCA实践和反馈来提高住院医生错误披露技能的前后试验。这种方法包括使用VCA应用程序作为培训和评估的工具，让居民依次练习沟通技能，接收评估和反馈的结果以指导改进，然后再次回应以评估技能增长。我们假设，由外行评定的住院医生的错误披露技能会随着个性化反馈而提高。我们还试图评估2个次要研究问题。首先，我们假设住院医师的表现会随着患者的影响而变化。第二，基于以往文献[24，25]，我们假设居民对错误披露的信心与外行对其沟通技能的评分无关。

方法

概述

这项关于错误披露的VCA应用程序的前后功效研究是为了确定外行对居民错误披露的评级是否随着实践和反馈而提高。根据经验丰富的主治医生的意见，我们制作了12例病例，其中4例具体涉及以下三个领域:内科、病理和妇产科。每个案例由3或4个小插曲组成，描述对话中的连续阶段，例如最初分享关于错误的信息或回应患者的情绪反应(多媒体附件1)．我们在一个学术中心招募了住院医师来完成四个病例(即2个病例在2个时间点)。参与研究的住院医生被随机分配到他们专业范围内的2个组中的1个，仅因病例分配顺序不同(图1)．居民在时间1完成2例;大约4周后，通过应用程序提供反馈，并要求居民在时间2完成其余两个案例。时间点间隔4周，以便在教学会议期间可以招募住院医生。我们要求住院医师在研究完成之前不要与同事讨论病例。我们收集了来自居民的众包评分和调查。

‎ 查看此图

VCA软件和内容

VCA应用程序已在前面描述[16，23]，这个项目使用相同的软件来展示小插图，记录居民的反应，并提供反馈。对于每个专科，2例表现为愤怒的患者反应，另外2例表现为悲伤的情绪反应。专业演员扮演病人。我们设计的案例具有等效的错误严重程度。此外，2名主治医生和3名老年住院医师在他们的专业范围内对病例进行了试点测试，并通过结构化访谈提供反馈，以提高病例的相关性、质量和可信度。

在VCA应用程序中查看的反馈报告，向用户展示了他们对每个小片段的总体沟通得分、同龄人的平均得分，以及来自评分者对以下问题的评论的书面建议:“如果你是这种情况下的患者，你希望提供者说什么?”用户可以重放他们自己的回答，并听取来自同伴的评分较高的回答(图2)．

‎ 查看此图

环境和参与者

我们于2020年3月至6月从华盛顿大学的3个院系招募了所有培训级别(研究生1-4年)的住院医生。这些部门分别代表了一个程序专科(OBGYN)、一个诊断专科(病理学)和一个非程序专科(内科)。在美国，病理学和妇产科住院医师培训通常持续4年，内科住院医师培训持续3年。我们邀请了所有237名妇产科(n=28)、内科(n=183)和病理学(n=26)住院医师。病理学和妇产科专业的招聘是在项目范围的教学会议上进行的，并有VCA使用的保护时间。COVID-19大流行打乱了原计划招聘的面对面内科会议;大多数内科住院医师是通过电子邮件邀请招募的。每次会议包括10分钟的VCA介绍和30分钟的完成2个案例。居民在完成所有4个VCA案件后获得了50美元的礼品卡。当时，住院医生并没有要求错误披露的全项目培训，而且这次试验也没有提供说教性培训。

道德的考虑

华盛顿大学机构审查委员会根据其政策、程序和指导，确定本研究无需对住院医师、非专业人员和患者维权参与者进行审查(病例标识符:STUDY00008246) [26］．口头解释了风险和益处;自愿参与VCA活动即暗示同意。

结果测量

居民通过VCA软件对每个小插图提供音频响应。音频回答被打包到MTurk外行评分任务中，这些外行评分者符合以下标准:美国居民、18岁或以上、能够说英语和阅读英语的人。OBGYN小短文的评分者进一步限制为女性。为了参与，评分者完成了音频检查，回答了人口统计问题，阅读了用外行语言写的小插图的描述，观看了病人的视频，并听了第一个住院医生的回答。然后，评分者对6个项目做出了回应，这些项目涵盖了与问责制、诚实、道歉、同理心、关怀和整体反应相关的领域(多媒体附件2)，然后再进行下一个回答。这些项目采用5分制，分为“差”、“一般”、“好”、“非常好”和“极好”。该工具是由调查人员开发的，因为美国ACGME开发的核心能力评估工具仅以“参与”、“披露”或“模型披露”来衡量住院医生对患者安全事件的披露，而不是评估披露质量或患者对披露的体验[27］．尽管目前用于评定住院医生对标准化患者的错误披露情况的工具数量非常有限[7，其中包括关于肢体语言的问题，或者是为教师评分者准备的;因此，它们不适合合并到VCA应用程序中。在对集合中的最后一个回答进行评分后，评分者被提示输入自由文本来回答以下问题:“如果你是这种情况下的患者，你希望提供者说什么?”众包评估师根据每次评分0.20美元的费率获得可变补偿金额。

在每次基于视频的沟通评估之前和之后，使用VCA应用程序内置的问卷对居民进行了调查。最初的调查询问了居民的性别、他们的培训水平，以及他们是否亲自向患者透露过医疗伤害。住院医生使用从“非常同意”到“非常不同意”的5分制回答了以下两个问题:“我对自己在医疗伤害后与患者分享信息的能力有信心”和“我对自己在医疗伤害后应对患者情绪的能力有信心”。评估完成后，要求居民对VCA应用程序的易用性和案例的相关性进行评分。他们还被要求评价自己在问责、明确解释、道歉、同情、关心和整体反应(多媒体附件2)．这些物品按照李克特5分制进行评分，分为“差”、“一般”、“好”、“非常好”和“极好”。在时间2之前，住院医生被问及他们是否“将反馈纳入他们与患者的一般沟通中(而不仅仅是关于医疗伤害事件的沟通)”。由于技术错误，第二次调查没有显示给OBGYN的居民。

分析

在剔除有不注意或对可靠性贡献较低迹象的评分者后，我们在每个回复中寻求至少8名评分者[28］．将评分者、项目和小插图的评分汇总在一起，为时间1和时间2的每个居民创建一个总分。分数是通过对6个李克特量表问题的多个回答的平均得出的，这些问题旨在评估一般的沟通技能;因此，本文给出的连续分数是由连续变量的序数近似得到的[29，30.］．分别对代表性案例的可靠性和可推广性进行了分析和报道[23］．我们使用2×3分裂图方差分析(split-plot ANOVA)来测试时间(前后)和专业对沟通评分的影响。

我们使用双尾配对样本t从时间1到时间2，测试居民在分享信息和回应情绪方面的自信是否有所增加。为了确定自信是否与实际评分相关，数据进行了多元线性回归分析，其中居民对自己能力的自信预测了反馈前和反馈后的评分。为了确定从时间1到时间2中这种信心的变化是否与实际评分的变化相关，我们创建了差异分数;一个分数代表了不同回合之间住院医生评分的差异，另一个分数代表了不同回合之间住院医生对自己能力的自信程度的差异。差异分数进行Pearson相关分析。为了确定在时间1之前个人向患者透露有害错误的自我报告(“是”vs“否”)是否与时间1的表现相关，我们使用了一个独立的双尾样本t测试。为了确定训练年限是否与评分相关，我们进行了皮尔森相关分析。为了确定医生的专业是否与先前的披露经验相关，我们使用卡方检验。

为了确定沟通评分是否随患者的情绪影响而变化，我们为每位住院医生创建了2个情绪评分。一个分数代表居民对两个愤怒情绪案例的平均评分，另一个分数代表居民对两个悲伤情绪案例的平均评分。分数由双尾配对样本进行t测试。

结果

人口统计和用户体验

在所有专业部门的238名志愿者中，62人(26%)完成了前两例VCA病例(时间1)并收到反馈(表1)．在这62名住院医师中，48名(77%)完成了反馈后的病例(时间2)。不到一半的住院医师(27/ 62,44%)报告了之前向患者披露医疗伤害的经验;不同专业的经验差异显著(P<措施)。此外，17名病理住院医师中有1名(6%)曾参与过此类对话，而23名妇产科住院医师中有15名(65%)和22名内科住院医师中有11名(50%)曾参与过此类对话。

在时间2之前，在48名返回的居民中，有23人完成了关于将VCA反馈纳入与患者一般沟通的调查。大约一半(11/ 23,48%)同意或非常同意他们采纳了反馈意见，39.1%(9/23)既不同意也不反对，13%(3/23)不同意他们采纳了反馈意见。

在62名居民中，38人(61%)完成了关于VCA应用程序的调查。大多数人(32/ 38,84%)认为这些案例与他们的实践“非常”或“完全”相关。此外，71%(27/38)的人认为VCA应用程序“非常”或“完全”易于导航。在剔除对可靠性贡献低的评分员后，我们实现了每个案例平均8.63名众包评分员，导致对1名居民的回复进行评分的平均成本为8.90美元。

从时间1到时间2居民通信等级的变化

基于时间1到时间2期间居民平均沟通评分变化的方差分析，我们发现时间2时居民的评分(平均3.75,SD 0.16)明显高于时间1时(平均3.53,SD 0.25;P<措施)。

自信与沟通评分

在两个时间点完成调查的30名居民中，对分享医疗伤害信息的能力的信心从时间1(平均值2.87，标准差0.73)增加到时间2(平均值3.47，标准差0.63;P<措施)。时间1 (mean 3.20, SD 0.71)至时间2 (mean 3.60, SD 0.72;P= .005)。多元线性回归分析显示，对这些能力的信心与前反馈评分或后反馈评分的表现之间没有关系。基于皮尔逊相关分析评估的差异分数，我们发现随着时间的推移，信心的增加和评分的增加之间没有关系。

自我报告披露经验、专业和培训年限

基于专业的交流评分没有发现差异。我们发现住院医师接受培训的年数与整体沟通评分之间没有显著的关系(P=无误)。然而，报告有向患者披露医疗伤害经验的住院医生在第1次的表现更好(平均3.63，标准差0.23)，与没有披露经验的住院医生相比(平均3.46，标准差0.25;P= .02点)。

患者情绪评分

愤怒病例(平均3.69,SD 0.22)与悲伤病例(平均3.58,SD 0.21;P= . 01)。

错误披露域中的自我报告性能

在首次使用VCA后，居民对整体反应的平均自评为3.82 (SD为0.80)。住院医师报告了他们在以下方面的表现:真诚地向患者表达遗憾(平均4.05,SD 0.77)、承认和确认患者的情绪(平均4.00,SD 0.66)、表示关心患者(平均3.79,SD 0.70)、表示对有害事件负责(平均3.68,SD 0.70)以及以患者能够理解的方式解释事情(平均3.45,SD 0.80)。

讨论

主要研究结果

我们测量了外行在收到数字和书面反馈之前和之后对住院医生错误披露技能的评估。居民的平均评分(5分制)由基线时的3.53分改善至反馈后的3.75分(P<措施)。这一发现提供了新的证据，模拟实践和非专业人员的反馈可以改善住院医生的错误披露沟通。VCA应用程序代表了一种新颖的、可扩展的、统计上可靠的工具，用于教育工作者寻求满足ACGME的要求，即住院医生“参与真实或模拟的患者安全事件的披露”[5］．我们的研究结果表明，VCA应用程序可以跨多个专业使用。该工具可以特别支持诊断专业(如病理学)的教育工作者和住院医生，他们可能很少有机会参与现实生活中的错误披露。

与先前关于医生自我评估准确性的文献一致[24，31，我们发现，住院医生对他们的错误披露技能的信心与外行对这些技能的评分并不相关。虽然医生仍然应该反思他们的表现，但教育工作者可以强调使用众包评级，作为一种更以患者为中心、更可靠的方式来评估错误披露准备情况。这一发现与披露专家的建议一致，即医生在与患者讨论有害事件之前应寻求建议[32，33］．教练经常使用简短的练习和反馈来帮助临床医生在实际披露之前识别无效的沟通习惯和措辞。

住院医生对愤怒情绪患者和悲伤情绪患者的较高评价值得进一步研究。这一发现与预测相反，医生可能会对对抗性的、愤怒的病人做出防御性的反应，这将导致较低的沟通评分。对这一发现的一种可能的解释是，愤怒的病人挑战性的评论促使他们明确地承认自己的愤怒，而悲伤、孤僻的病人并没有促使他们直接表达承认或支持。这将加剧现有的医生避免讨论患者情绪的倾向，正如观察显示的那样，只有55%的执行模拟错误披露的主治外科医生试图承认或验证患者的情绪[34］．第二种假设是，居民们在引起愤怒而不是悲伤时感到更少的羞耻，并乐于用支持的表达来回应。或者，本研究中的住院医生可能已经接触到不同的指令(即，在本研究之外)来处理患者的情绪。未来的研究可以将VCA反应内容的分析与关于评分者对情感支持期望的新调查相结合，以描述针对特定患者情绪的有效方法。错误披露课程应使受训者能够根据患者和家属的不同情绪反应调整沟通方法[35］．

优势与局限

我们的工作有局限性。首先，VCA应用程序评估伤害后有效沟通所需的技能，但排除了其他重要领域，如非语言沟通。参与者收到了关于他们措辞的可操作的和有重点的反馈，这抵消了这种限制，这解决了医生最关心的问题，并有助于避免在多个领域的建议压倒他们[1，3.］．其次，住院医生没有接受及时的指导或错误披露的讲座，而这些实践可能会提高表现。第三，这项研究没有评估长期技能维持。第四，效应量的教育意义是未知的，因为我们没有建立能力或精通的门槛。第五，研究人群的局限性包括单一学术中心的招募和队列训练水平的异质性。少数符合条件的内科住院医师参与了研究(22/ 183,12%)，并不是所有参与者都完成了所有病例，这可能引入了选择偏差。为了解决这个问题，后续的研究应该嵌入到必修课程中，而不是基于志愿者参与。第六，我们没有收集数据来解释为什么一些居民报告他们没有将反馈纳入他们的沟通实践，或者为什么有些人没有在第二个时间点完成病例;这些发现值得进一步研究。这项工作的有效性和现实世界的实施仍然未知; we tested the VCA app as a stand-alone intervention instead of incorporating it into a longitudinal curriculum with a lecture. Lastly, we did not simultaneously measure faculty ratings of residents. Although this limited our ability to make comparisons between faculty and crowdsourced laypeople, we do not believe that this is a weakness. Rather, it highlights 2 key strengths of the VCA app. First, laypeople directly represent the ultimate arbiters of physician communication effectiveness—patients themselves. Second, crowdsourced laypeople can be recruited rapidly for statistically reliable sample sizes and at lower costs when compared to faculty.

结论

VCA错误披露应用程序允许用户在安全的环境中练习，提供形成性反馈，并似乎有助于技能的习得。如果这些发现被复制，VCA应用程序可能会为住院医师负责人提供一种可扩展的方式，以满足ACGME的要求并评估住院医师的技能。然而，如何最好地将VCA应用程序纳入研究生医学教育仍然是重要的问题。多点验证性研究应检查使用VCA应用程序的有效性，并结合有关错误披露和教师指导的教学课程，以及纵向技能发展。更多的工作可以确定VCA应用程序在其他具有挑战性的交流场景和其他学习者群体(包括执业医生)中的有效性。最后，住院医师领导和住院医师对VCA的可接受性、可行性和适当性的观点将需要确保采用和可持续使用。