使用基于视频的沟通评估应用程序进行实习和获取众包反馈对住院医师不良事件沟通技能的影响:前后试验

简介

医疗伤害后的沟通通常无法满足患者和家属的需要[1］．患者经常感到被抛弃，困惑，不确定如何获取信息和支持[2］．因为许多医生对这些对话没有准备3.，4]，在2017年，美国研究生医学教育认证委员会(ACGME)要求所有住院医师接受有关如何披露不良事件的培训，并参与对患者和家属的“真实或模拟”伤害事件披露[5］．不幸的是，许多美国住院医师项目并不能保证毕业生能够胜任这些技能。在2021年一项针对1.1万多名美国居民的调查中，28%的受访者表示没有接受过错误披露方面的培训。在接受过模拟训练的人中，只有9.2%的人接受了模拟训练[6］．相反，大多数人接受的是以授课为基础的培训或非正式的培训——在培养需要实践和反馈的沟通技能方面具有关键局限性的技术。

尽管一些错误披露课程可能提高知识和态度，但已发表的干预措施缺乏对技能习得的严格评估[7］．住院医师可以通过临床实践学习，但高风险的披露很少发生，观察起来也有问题，而且很少伴随着来自主管或受伤害患者的形成性反馈[8，9］．讲座和多项选择题并不能保证技能的获得[7]，对标准化患者的模拟在后勤方面要求很高，大规模实施成本昂贵，而且缺乏统计可靠性[10-14］．标准化患者和专职医师评分者是否充分接近经历过医疗伤害的患者的观点也是未知的。特别是，医生对理想的披露内容和表现的观点与患者的不同，这可能限制了教师评估和提供绩效辅导的能力[9，15］．为了完全满足ACGME的要求和患者的期望，教育工作者需要为住院医师提供工具来练习错误披露，并接受以患者为中心的、可靠的、及时的、负担得起的和实用的形成性反馈。

美国国家医学检查委员会开发了基于视频的沟通评估(VCA)应用程序，让医生和培训生可以练习并获得关于口头沟通的具体个人反馈[16，17］．VCA应用程序呈现病例小片段的简短视频，并提示用户录音他们会对患者说什么。在亚马逊的Mechanical Turk (MTurk)上招募的外行人对这些回答进行打分，就好像他们是小插图中的病人一样[18］．MTurk拥有非常庞大、多样化的人群来进行众包，并有大量证据证明它是一个廉价、快速和高质量的数据源[19-21］．VCA用户会收到带有评级的反馈报告，他们队列的比较数据，从评级者的评论中获得的学习点，以及高评级的同行回应的样本音频记录。在一项针对初级保健沟通场景的研究中，VCA应用程序提供了高质量、可操作的反馈[22］．我们将该工具用于有害的医疗错误案例，并发现众包的外行人提供了可靠的医生错误披露评估，而适当规模的众包外行人小组可以作为可靠的替代者，代替过去参与过有害错误的患者小组[23］．然而，VCA实践和反馈对住院医师错误披露技能的影响尚不清楚。

本文描述了一项使用VCA实践和反馈来提高住院医师错误披露技能的岗前试验。这种方法包括使用VCA应用程序作为培训和评估的工具，住院医生依次练习沟通技能，接受评估结果和反馈，以指导改进，然后再次回应，评估技能增长。我们假设，根据外行人的评分，住院医生的错误披露技能将随着个性化反馈而提高。我们还试图评估2个次要研究问题。首先，我们假设住院医生的表现会随着患者的情绪而变化。第二，基于以往文献[24，25]，我们假设住院医师对错误披露的信心与外行人对其沟通技能的评价不相关。

方法

概述

这项关于错误披露VCA应用程序的前后有效性研究是为了确定外行人对住院医师错误披露的评分是否随着实践和反馈而提高。在经验丰富的主治医生的帮助下，我们共制作了12个病例，其中4个病例具体涉及以下三个领域:内科、病理学和妇产科(OBGYN)。每个案例都由3到4个小片段组成，描述了对话的连续阶段，如最初分享关于错误的信息或对患者情绪反应的回应(多媒体附录1)．我们招募了一个学术中心的住院医师来完成这四个病例中的每一个(即两个时间点的两个病例)。参与研究的居民在其专业范围内被随机分配到两组中的一组，这两组之间的区别仅在于病例分配的顺序(图1)．患者在时间1完成2例;大约4周后，通过应用程序提供反馈，并要求住院医生在时间2时完成剩下的两个病例。时间点间隔为4周，这样就可以在教学会议期间招募住院医生。我们要求住院医生在研究结束前不要与同事讨论病例。我们收集了众包的居民表现评分和居民调查。

‎ 把这个图

VCA软件和内容

VCA应用程序已在前面描述过[16，23]，这个项目使用相同的软件来呈现小片段，记录居民的反应，并提供反馈。每个专科有2例患者表现为愤怒反应，2例患者表现为悲伤情绪反应。专业演员扮演病人。我们设计的案例具有相同的错误严重性。此外，2名主治医师和3名高级住院医师对各自专业的病例进行了试点测试，并通过结构化访谈提供反馈，以提高病例的相关性、质量和可信度。

在VCA应用程序中查看的反馈报告向用户展示了他们对每个小细节的总体沟通得分，他们的同伴的平均得分，以及来自评分者的评论的书面建议，这些评分者回答了以下问题:“如果你是这种情况下的患者，你希望服务提供者说什么?”用户可以重放他们自己的回答，并听取来自同伴的评价较高的回答(图2)．

‎ 把这个图

设置和参与者

我们从2020年3月到6月从华盛顿大学的3个院系招募了所有培训级别(研究生1-4年)的住院医生。这些科室代表了一个程序专科(妇产科)，一个诊断专科(病理学)和一个非程序专科(内科)。在美国，病理学和妇产科住院医师培训通常持续4年，内科住院医师培训持续3年。我们邀请了237名妇产科(n=28)、内科(n=183)和病理(n=26)住院医师。病理学和妇产科专业的招聘在项目范围的教学会议上进行，VCA使用时间受保护。2019冠状病毒病大流行打乱了计划招聘的内科会议;大多数内科住院医师是通过电子邮件邀请的方式录用的。每次会议包括10分钟的VCA介绍和30分钟的2个案例完成。居民在完成所有4个VCA案例后，会收到价值50美元的礼品卡。当时，住院医师并没有要求对错误披露进行项目范围的培训，而且这个试验也没有提供说教式的培训。

道德的考虑

华盛顿大学机构审查委员会根据其政策、程序和指导(病例标识:STUDY00008246)，决定本研究免于对住院医师、非专业人员和患者倡导者参与者的审查[26］．口头解释了风险和好处;自愿参与VCA的做法隐含同意。

结果测量

居民通过VCA软件对每个小片段提供音频响应。音频反馈被捆绑到MTurk的外行评级任务中，这些外行评级者满足以下标准:美国居民，年龄在18岁以上，以及能够说和读英语的人。OBGYN小片段的评分者进一步限制为女性。为了参与，评分者完成了音频检查，回答了人口统计问题，阅读了用通俗语言写的小插画描述，观看了病人的视频，并听了第一个住院医生的回答。然后，打分者对6个项目进行了回答，涵盖了与问责、诚实、道歉、同理心、关心和整体反应(多媒体附录2)，然后再进行下一个回应。这些项目采用5分制，分别标有“差”、“一般”、“好”、“非常好”和“极好”。调查人员之所以开发该工具，是因为美国教育和医学认证委员会(ACGME)开发的核心能力评估工具仅将住院医生对患者安全事件的披露作为“参与”、“披露”或“模型披露”来衡量，而不是评估披露质量或患者的披露体验[27］．尽管用于评定住院医师对标准化患者的错误披露的工具数量非常有限[7，它们包括关于肢体语言的问题，或者是针对教员评分者的;因此，它们不适合合并到VCA应用程序中。在对集合中的最后一个响应进行评级后，评级者被提示输入免费文本来回答以下问题:“如果您是这种情况下的患者，您希望服务提供者说什么?”众包评分者根据每次评分0.20美元的费率获得可变补偿金额。

在每一次基于视频的交流评估前后，都对居民进行了调查，问卷内置在VCA应用程序中。最初的调查询问了居民的性别、他们的培训水平，以及他们是否亲自透露过对患者的医疗伤害。住院医生回答了以下两个问题，采用从“非常同意”到“非常不同意”的5分制:“我对自己在医疗伤害后与患者分享信息的能力有信心”和“我对自己在医疗伤害后对患者情绪做出反应的能力有信心”。评估完成后，居民被要求对VCA应用程序的易用性和案例的相关性进行评级。他们还被要求对自己在问责、清晰解释、道歉、同情、关心和整体反应等方面的表现进行评估(多媒体附录2)．这些物品按照李克特5分制进行评级，分为“差”、“一般”、“好”、“非常好”和“极好”。在第二阶段之前，住院医生被问及他们是否“将反馈纳入了与患者的一般沟通中(而不仅仅是关于医疗伤害事件的沟通)。”由于技术上的错误，第二次调查没有显示给产科医生。

分析

在剔除了有不注意迹象或对可靠性贡献低的评分者后，我们在每个回复中至少寻找了8名评分者[28］．评分通过评分者、项目和小插图进行聚合，以创建时间1和时间2时每个居民的总分。通过对6个李克特量表问题的多重回答的平均得出得分，这些问题旨在评估一般沟通能力;因此，本文给出的连续分数是由连续变量的序近似推导而来的[29，30.］．对具有代表性的案例分别进行了可靠性和可泛化性分析和报告[23］．我们使用2×3分裂图方差分析来测试时间(前-后)和专业对沟通评分的影响。

我们使用双尾配对样本t在时间1到时间2期间，测试居民对分享信息和对情绪反应能力的自信是否有所增加。为了确定自信是否与实际评分有关，数据进行了多元线性回归分析，其中居民对自己能力的自信预测了反馈前和反馈后的评分。为了确定从时间1到时间2的这种信心的变化是否与实际评分的变化有关，创建了不同的分数;一个分数代表两轮之间居民的评分差异，另一个代表两轮之间居民对自己能力的自信报告的差异。差异评分采用Pearson相关分析。为了确定在时间1之前亲自向患者披露有害错误的经验的自我报告(“是”vs“否”)是否与时间1的表现相关，我们使用了独立的2尾样本t测试。为了确定训练年限与评分是否相关，我们进行了皮尔逊相关分析。为了确定医生的专业是否与事先披露的经验相关，我们使用卡方检验。

为了确定沟通评分是否随着患者的情绪影响而变化，我们为每位住院医生创建了2个情绪评分。一个分数代表一个居民在两个愤怒的情绪案例中对所有小插曲的平均评分，另一个代表一个居民对两个悲伤的情绪案例的平均评分。评分采用双尾配对样本t测试。

结果

人口统计和用户体验

在所有专科部门的238名志愿者中，62人(26%)完成了前两个VCA病例(时间1)并收到了反馈(表1)．在这62名住院医师中，有48名(77%)完成了反馈后的案例(时间2)。不到一半的住院医师(27/ 62,44%)报告了此前披露对患者的医疗伤害的经验;不同专业的经验差异显著(P<措施)。此外，17名病理住院医师中有1名(6%)报告以前参与过此类对话，而23名妇产科住院医师中有15名(65%)和22名内科住院医师中有11名(50%)报告以前有过此类对话的经历。

在时间2之前，48名回归住院医师中，23人完成了一项关于将VCA反馈纳入与患者一般沟通的调查。大约一半(11/23,48%)同意或非常同意他们吸收了反馈，39.1%(9/23)既不同意也不反对，13%(3/23)不同意他们吸收了反馈。

在62名住院医生中，38名(61%)完成了关于VCA应用程序的调查。大多数(32/38,84%)认为这些案例与他们的执业“非常”或“完全”相关。此外，71%(27/38)的人认为VCA应用程序“非常”或“完全”容易操作。在剔除对可靠性贡献低的评分者后，我们实现了每个案例平均8.63个众包评分者，因此对来自1名居民的回应进行评分的平均成本为8.90美元。

居民通信等级从时间1到时间2的变化

基于检验时间1至时间2期间居民平均通讯评分变化的方差分析，我们发现时间2对居民的评分显著高于时间1(平均3.53，标准差0.25;P<措施)。

自信心和沟通能力评分

在30名在两个时间点完成调查的居民中，对分享医疗伤害信息的能力的信心从时间1(平均值2.87，标准差0.73)到时间2(平均值3.47，标准差0.63;P<措施)。住院医师对自己在医疗伤害事件发生后对患者及家属情绪反应能力的信心也在时间1(平均3.20,SD 0.71)到时间2(平均3.60,SD 0.72;P= .005)。多元线性回归分析显示，在反馈前评分和反馈后评分中，对这些能力的信心与表现均无相关性。基于皮尔逊相关分析评估的差异分数，我们发现随着时间的推移，信心的增加和评分的增加之间没有关系。

自我报告披露经验、专业和培训年限

基于专业的交流评分未发现差异。我们发现住院医生接受培训的年数与整体沟通评分之间没有显著关系(P=无误)。然而，与没有披露医疗伤害经验(平均3.46，标准差0.25;P= .02点)。

患者情绪评分

愤怒病例对居民沟通的评价显著高于悲伤病例(平均3.58,SD 0.21;P= . 01)。

错误披露域中的自我报告性能

首次使用VCA后，居民对整体反应的平均自评为3.82 (SD 0.80)。住院医师在真诚向患者表示遗憾(平均4.05,SD 0.77)、承认和确认患者情绪(平均4.00,SD 0.66)、表示关心患者(平均3.79,SD 0.70)、表达对有害事件的责任(平均3.68,SD 0.70)、以患者能理解的方式解释事情(平均3.45,SD 0.80)方面的表现。

讨论

主要研究结果

我们测量了外行人在收到数字反馈和书面反馈前后对住院医师错误披露技能的评估。居民在5分制的平均评分由基线时的3.53改善至反馈后的3.75 (P<措施)。这一发现提供了新的证据，证明模拟实践和来自外行人的反馈可以改善住院医师的错误披露沟通。VCA应用程序代表了一种新颖的、可扩展的、统计上可靠的工具，用于教育工作者寻求满足ACGME的要求，即住院医师“参与披露真实或模拟的患者安全事件”[5］．我们的研究结果表明，VCA应用程序可以跨多个专业使用。该工具可以特别支持诊断专业(如病理学)的教育者和住院医生，他们可能很少有机会参与现实生活中的错误披露。

与先前关于医生自我评估准确性的文献一致[24，31]，我们发现住院医师对自己的错误揭示技能的信心与外行人对这些技能的评级并不相关。尽管医生仍然应该反思他们的表现，教育工作者可以强调使用众包评级作为一种更以患者为中心和更可靠的方法来评估错误披露准备情况。这一发现与信息披露专家的建议一致，即医生在与患者讨论有害事件前应寻求建议[32，33］．教练经常使用简短的练习和反馈来帮助临床医生在实际披露之前识别无效的沟通习惯和措辞。

住院医生在面对愤怒情绪的病人和面对悲伤情绪的病人时给出的更高评分值得进一步研究。这一发现与之前的预测相反，之前的预测认为，住院医生可能会对对抗性的、愤怒的病人做出防御性反应，这可能会导致较低的沟通评分。对这一发现的一种可能的解释是，愤怒的患者提出挑战的评论促使他们明确承认自己的愤怒，而悲伤、孤僻的患者并没有直接表示承认或支持。这将加剧现有的医生避免讨论患者情绪的倾向，正如观察结果所表明的那样，在进行模拟错误披露的主治医生中，只有55%试图承认或确认患者的情绪[34］．第二个假设是，当引起愤怒而不是悲伤时，居民感到的羞耻感更少，并且很容易以支持的表情回应。或者，本研究中的住院医生可能已经接触到不同的指导(即，在本研究之外)来处理患者的情绪。未来的研究可以将VCA反应内容的分析与关于评分者对情感支持期望的新调查结合起来，以表征针对特定患者情绪的有效方法。错误披露课程应使学员能够根据患者和家属的不同情绪反应调整沟通方法[35］．

优势和局限性

我们的工作有局限性。首先，VCA应用程序评估伤害发生后有效沟通所需的技能，但排除了其他重要领域，如非语言沟通。参与者收到了关于其措辞的可操作的、有重点的反馈，这抵消了这种限制，这解决了医生最关心的一个问题，并有助于避免在多个领域的建议让他们不知所措[1，3.］．第二，住院医生没有接受及时的指导或错误披露的讲座——这些实践可能会提高表现。第三，本研究没有评估长期技能维持。第四，效应量的教育意义是未知的，因为我们没有建立能力或精通的门槛。第五，研究人群的局限性包括单一学术中心的招募和队列训练水平的异质性。少数符合条件的内科住院医师参与了研究(22/183,12%)，并不是所有的参与者都完成了所有的病例，这可能导致了选择偏差。为了解决这一问题，后续研究应纳入强制性课程，而不是以志愿参与为基础。第六，我们没有收集数据来解释为什么一些居民报告说他们没有将反馈纳入他们的沟通实践，或者为什么有些人没有在第二个时间点完成病例;这些发现值得进一步研究。这项工作的效果和实际执行情况仍然未知; we tested the VCA app as a stand-alone intervention instead of incorporating it into a longitudinal curriculum with a lecture. Lastly, we did not simultaneously measure faculty ratings of residents. Although this limited our ability to make comparisons between faculty and crowdsourced laypeople, we do not believe that this is a weakness. Rather, it highlights 2 key strengths of the VCA app. First, laypeople directly represent the ultimate arbiters of physician communication effectiveness—patients themselves. Second, crowdsourced laypeople can be recruited rapidly for statistically reliable sample sizes and at lower costs when compared to faculty.

结论

VCA应用程序的错误披露允许用户在一个安全的环境中练习，提供形成性的反馈，并似乎有助于技能的获取。如果这些发现被复制，VCA应用程序将可能为住院医师领导提供一种可扩展的方式，以满足ACGME的要求并评估住院医师的技能。然而，如何在研究生医学教育中最好地结合VCA应用程序仍然是重要的问题。多地点验证性研究应检查使用VCA应用程序的有效性，并结合错误披露的教学会议和教师的指导，以及纵向技能发展。额外的工作可以确定VCA应用程序在其他具有挑战性的交流场景和其他学习者群体(包括执业医生)中的有效性。最后，为了确保采用和可持续使用，需要住院领导和住院居民对VCA的可接受性、可行性和适当性的观点。