利用机器学习了解情绪如何影响公平相关教育:准实验研究

简介

关于解决卫生专业人员偏见问题的研究发现，关于偏见等话题的反馈对话会引发防御性反应[1，2］．然而，这些情绪并没有劫持学习过程，因为学习者仍然认为他们的经历是积极的，同时认为关于他们偏见的反馈是可行的。3.］．这一发现在反馈文献中是独一无二的，一般认为反馈的目标应该远离自我，以避免劫持反馈过程。4］．这一悖论表明，有必要进一步探索情绪如何在卫生专业人员之间调解关于偏见的对话。

在讨论有关偏见或公平的话题时，理解情绪的作用对推进该领域的教育至关重要。我们知道，情绪在自我概念和学习之间的中介关系中起着重要作用。如果面对他们的偏见，学习者可能会感知到一种威胁，因此认为情况有一个消极的成就价值，导致消极情绪。消极情绪可能会阻碍信息回忆，促进对信息内容的回避。5］．并不是所有的情绪都对学习有负面影响。例如，对于变革性学习和需要不和谐、批判性反思、促进对话、行动和行为改变的类似方法来说，情绪是必不可少的[6］．

理解与偏见或公平教育相关的情绪的重要性，在引发防御性或怀疑性反应时尤为突出。当挑战学习者对于他们没有偏见的错误信念的认知时，情绪可能会导致适得其反的效果，即使在试图反驳之后，也会加强对这些错误信息的信念[7，8］．这可能导致学习者花费大量的认知资源来反驳反驳。9，10，并激活更多支持他们最初错误信念的证据。

在我们之前的工作中，我们发现，存在偏见并因此容易受到其影响的想法，对卫生专业人员的一种坚定信念构成了威胁，即他们必须在工作中不存在偏见[11］．研究表明，根深蒂固的信念，例如认为卫生专业人员不能有偏见的想法，是卫生专业人员自我意识的组成部分[12，13］．因此，偏见接受可能被视为身份威胁，并引发自我保护反应，如防御和否认[14恢复自我价值感[15］．

关于健康职业教育中情绪的研究也可能是具有挑战性的，原因有很多。例如，在健康专业教育中，情绪如何被概念化存在着矛盾。有人认为情绪是一种生理反应，有人认为情绪是一种技能或能力，还有人认为情绪是一种社会文化媒介[16］．还有本体论上的紧张，以及概念和方法上缺乏一致性[17］．尽管存在这些挑战，但我们仍需要对情绪如何影响学习有更深入的了解，以加强关于平等等情感挑战主题的教学和学习。

机器学习(ML)技术的进步，如自然语言处理(NLP)和情感分析(SA)，可能为开展这类研究提供一种新的方法[18］．ML技术可以自动处理信息，并已应用于能力评估等应用[19］．NLP是ML的一种形式，它可以构造和提取基于文本的信息，使其可用于进一步分析[20.］．NLP和高级文本分析正在越来越多地用于卫生保健环境[21，22］．SA是一种评估文本数据情感的分析机制，它通过给文本组件分配分数，计算并分配文本的情感值[23］．

SA在商业环境中最常被讨论，因为它允许人们通过从社交媒体上收集和分析数据来确定客户对产品和服务的整体情绪[24］．在医疗保健领域，SA已用于分析关于医院服务的在线评论，以探索患者体验[25，并应用于电子健康记录分析卫生专业行为[26］．在另一项研究中，将SA应用于twitter健康新闻，以比较健康新闻是否以更符合事实或观点的方式发布[27］．在这些例子中，研究人员承认他们缺乏临床经验，在执行他们的分析时存在局限性。例如，Gohil和他的同事承认他们的方法没有经过准确性的测试。26］．因此，如果没有进一步的研究和评价，SA在卫生专业教育研究中的潜力是有限的。

我们之前对情绪和偏见相关反馈的研究可能为SA的应用提供了一个窗口。最近，关于敏感和情绪化话题的讨论从课堂讨论转向网络讨论，这可能为探究提供了机会。因此，对卫生专业人员在社交媒体上使用的语言进行更深入的分析，可能有助于洞察与公平和偏见教学相关的情绪。

总的来说，我们的研究目的是提高我们对情绪在偏见相关话语中的作用的理解。因此，我们在卫生专业人员中开展了与偏见相关的SA对话。首先，我们通过在卫生专业人员中与偏见相关的现有文档中测试我们的NLP库的准确性，来测试我们的SA算法是否准确。其次，我们利用我们的SA来比较卫生专业人员和普通大众之间对与公平相关的在线话语的情绪是否不同。

方法

情绪分析

情绪是一种基于对特定话题或项目的潜在感觉或情绪的想法、意见或想法。SA被用来分析文本，并将作者的态度划分为积极、消极或中立，前提是存在某些关键字。首先，文本被分成四个基本组件:标记、句子、短语和实体。接下来，使用两种系统中的一种应用算法。在基于规则的系统中，规则是手工制作的，以分析文本组件。具体的词汇分为否定的、中性的或肯定的，并与分数相关联。然后将这些值制成表格，以估计文本的总体情绪。在自动系统中，机器学习技术用于从数据中获取知识，并允许当前不在现有规则集中的术语。基于规则的系统和自动系统也可以结合在一起，利用初始数据库作为参考，同时允许加入新的术语和更改情感值[28］．

步骤1:开发和测试我们的SA算法

我们从一个叫做TextBlob的NLP库中开发了一个潜在的SA算法。这个库是在一个工具包的基础上建立起来的，使用了许多不同的资源，这些资源用途广泛，包含了从电影评论到在线对话的数百万份培训文本。TextBlob使用naïve贝叶斯分类器，这是一个自然语言工具包(NLTK)，是从电影评论语料库中训练出来的。数以百万计的评论被分割成标记，被赋予积极或消极的值，以允许整个消息的情绪被解释。

由于naïve贝叶斯是一个生成模型，而其他方法，如线性回归(LR)是鉴别的，我们认为Naïve贝叶斯是一个更强的模型，用于小型数据集，需要扩展到最初用于训练的语料库之外。这只有在独立的假设成立的情况下才成立，我们的数据就是这样。此外，naïve贝叶斯在有分类输入变量的情况下表现良好，本研究也是如此。最后，TextBlob有很好的文档记录，因此很容易集成到我们现有的算法中[29］．

为了确定我们新开发的SA算法的准确性，我们利用了一组预先存在的、去识别的健康专业人员的访谈数据集，以了解他们的隐性偏见。去识别数据的二次分析不需要伦理批准。我们对转录后的访谈进行SA，对他们的潜在情绪进行评分。然后，我们将机器评分与人工评分的情感分类进行比较，人工评分是在算法执行之前完成的。这一比较使我们能够在卫生专业教育和实践的背景下确定算法的准确性。我们计算了我们算法的准确性，通过计算有多少访谈被正确计算与手动评分值进行比较。

第二步:SA在Twitter Archive中的应用

我们收集了公开可用的tweet的存档，包括通过Twitter应用程序编程接口(API)显示名称、用户名和用户传记等元数据。如果这些“推文”包含特定的标签(通常用于讨论与偏见相关的话题)，就会被存储起来。这些标签包括“#所有生命都重要/#ALM”、“#黑人生命都重要/#BLM”、“#HeForShe”、“#ImplicitBias”、“#RepresentationMatters”和“#无意识偏见”。

然后将我们的档案分类为两个数据库，“健康专业人士”和“普通人群”，我们通过搜索显示名称、用户名或传记中的特定标记来区分每个组，手动检查这些标记，以确保数据集中的所有人都符合健康专业人士的分类。那些“推文”属于普通人群的人，除了使用话题标签外，不需要满足其他标准。

数据收集过程始于2020年1月12日的第一次官方数据提取，并从2020年3月29日开始收集了约三个月，当时数据库已足够分析。最终的档案包含555条来自健康专业人士的“推文”和6680条来自普通民众的推文。

为了比较卫生专业人员和普通民众之间的情绪得分，我们计算了“卫生专业人员”和“普通民众”两个数据库中“积极”、“消极”和“中立”三个类别的总得分。一般人口比例的目的是作为一个期望值，并确定卫生保健专业人员是否与这一标准不同。这允许我们进行卡方拟合优度检验。在与当地流行病学和生物统计学专家进行方法学咨询后，选择卡方拟合优度检验。一般来说，卡方可以让研究人员推断和测试类别变量之间的关系。拟合优度检验用于评估样本数据是否代表了一个完整的总体。由于我们的研究样本试图比较健康专业话语和一般人群之间的情绪，我们认为拟合优度检验将是适当的。

我们注意到，普通民众和卫生专业人员之间收集的数据量在数量上有很大差异。我们选择使用比例，因为数据的数量可能具有误导性。由于包含的健康专业推文较少，我们缩小了这个组，以便有更多的具体数字用于统计分析。例如，在给定的数据拉拔中，如果来自普通人群的负面推文有150/500条，而来自卫生专业人员的负面推文有12/20条，那么原始数量的比较就会造成分析和解释的偏差。因此，观察值由卫生专业人员数据集中各类别的计数组成。期望值是每一类在一般人口数据集中所占的比例乘以卫生专业人员数据集的总和。保持0.05的标准显著性值，考虑到有三个类别，存在两个自由度，我们得出anχ²偏离一般人群的值为9.21，才被认为具有统计学意义。

编程规范

我们的SA算法是用Python 3.0编写的。这是一个面向对象的程序，它使用类方法处理Twitter API凭据，授权对数据库的访问，并在检索“tweet”时利用NLP。类方法引用算法的结构，这意味着类、程序代码模板和方法都绑定到类上，而不是类的对象。在编程中，类指的是特定对象的描述符，而不是对象本身。我们的算法为每个标签开发了一个Python脚本，然后编写了一个bash脚本文件，以便方便地访问收集数据。bash文件指的是包含一系列命令的文本文件。在本研究中，bash文件包含运行Python算法以收集数据和填充数据库的命令。总的来说，我们在准确性测试和推特分析这两个部分使用了相同的算法。但是，有一些轻微的修改，比如在本地检索数据时从本地准确性测试脚本中删除身份验证。

结果

为了测试NLP库对所进行的访谈的准确性，有53名卫生专业人员，包括注册护士和医生。当我们测试原始算法时，我们的工具能够准确地识别出超过所需数量的潜在情绪。

在53次访谈中，有44次(83%)在使用引用的方程时对情绪进行了正确的评估，这返回了0.82的准确性，高于要求的阈值0.75。由此得出的结论是，使用TextBlob库是非常准确的，但不会有微小的偏差。尽管如此，当应用到诸如医疗保健等主题时，它仍然可以被高度自信地利用。表1提供分数的分类。

当将算法应用于收集到的推文时，医护专业人员和普通民众之间的情绪有明显的差异。这一差异突显出，来自医疗保健专业人士在社交媒体上的专业账户的中立推文所占比例较小。这种差异被证明具有统计学意义。

当使用卡方检验方程拟合优度时，aχ²实现了35.455的值(χ²[2, n= 555]=35.455;P<措施)。由于该值高于达到显著性所需的9.21，因此可以认为结果具有统计学意义。因此，可以这样说，医疗保健专业人员在他们的推特帖子上比一般人附上更多的情感。表2提供分数和比较的更详细的分类。表3而且表4提供情绪评分的说明。表3结果表明，医护专业人员的情绪比预期的更积极、中性和负面。表4显示了医疗保健专业人员的推文与具有相同指定话题标签的推文的一般人群之间的情绪差异。这一数字表明，与普通人群的推文相比，卫生专业人员的推文更积极，更少消极，几乎处于相同的中立水平。表5提供示例tweet的分类。

讨论

主要研究结果

卫生专业人员更有可能在社交媒体上就与公平相关的问题表现和传达情绪，这一发现对卫生专业人员在与公平和偏见相关的敏感话题上的教学和学习具有启示意义。这种情绪可能会影响学习过程，因此在设计、实施和评估与公平和偏见有关的教育时必须考虑到这一点。

健康职业教育中的情感与认同

通过这项研究，我们的目的是进一步了解情绪如何通过SA影响公平和偏见相关的教育。通过利用ML技术、NLP和SA的进步，我们开发、测试并应用了一种新的SA算法到社交媒体话语中。我们的研究结果表明，与普通公众相比，卫生专业人士更有可能在社交媒体上表达与公平相关的话题的情绪。尽管先前的研究发现证据表明，卫生专业人员和公众对关于偏见的讨论都有防御性反应[30.-32，我们的SA研究结果表明，卫生专业人员可能特别容易通过积极的情绪作为回应来防御和反击。

这一发现与之前关于防御机制的研究相一致，这些研究旨在解决个人在延续偏见或歧视中所扮演的角色这一现实问题。33］．我们的研究为学习者提供了反应形成作为一种防御的证据。反应形成(Reaction formation)指一个人形成的态度与自己威胁性或不可接受的实际想法相反。34］．通过传达更高程度的积极情绪，卫生专业人员可能试图表现出他们更中立或客观，而实际上，他们表现出的偏见程度与一般人群相同[35］．

我们还发现，卫生专业人员和公众之间的情绪差异表明，卫生专业人员不仅传达了更多的情绪，而且与公众相比，他们在积极情绪方面表现出更大的情绪差异，而公众在消极情绪方面传达了更大的差异。卫生专业人员中更积极的情绪表明，卫生专业人员使用Twitter的方式与普通公众不同。因此，我们的研究结果建议那些试图挑战卫生专业人员中立或客观的规范性思维的卫生专业教育工作者要谨慎。当出现这种挑战时，可能需要有经验的辅导员来调解和调节师生之间的情绪[36］．

情感与社交媒体

社交媒体话语提供了一个探索个人如何对社会问题和世界事件做出反应的机会。推文提供了一种数据来源，可以根据情绪自动分类，从而洞察特定话题的情感本质。虽然SA以前被用于数字营销或意见挖掘，但它在卫生专业教育研究中的应用迄今为止相当有限。

与公平和偏见相关的全球事件和社会运动，如#黑人的生命很重要#和#乔治·弗洛伊德的正义#，强调了社交媒体话语的重要性，因为它涉及到关于偏见的教学和学习。卫生专业人员和公众在意外事件期间的这种反应可以为集体意义的形成提供证据[37，情感的社交分享[38]，以及个别的接近/回避策略[39］．情绪还可以调解不同社会群体之间的接触如何有效地消除偏见[40］．在我们的研究中，SA可能是分析这类语篇的有效工具。

然而，在有效应用SA之前，需要确保其在卫生专业教育背景下的准确性和实用性。我们的研究提供了一个SA算法的例子，该算法在应用之前进行了准确性测试。该算法可用于未来的研究，以分析与社交媒体话语相关的情绪，并可能在未来应用于其他类型的档案，如电子健康记录。

健康职业教育中的情感分析

将自然语言处理应用于文本数据的教育目的正以快速的速度发展。SA在评估教学、设计政策、加强学习系统和教育研究方面显示出了潜力[41］．例如，SA已经被用来分析学生的反馈来改进教学[42-44]并透过学习日记追踪学生在纵向学习活动中的情绪[44］．然而，关于如何在卫生专业教育背景下具体应用情境分析的研究还很匮乏。

我们的研究为未来的研究人员开发和利用SA的各种目的提供了一个例子和模板。我们还希望，我们的工作可以为关于偏见的教学和学习的感性本质提供见解，并为未来为卫生专业学习者开发、实施和评估反偏见和反种族主义课程提供信息。

关键含义和未来方向

卫生专业教育工作者要在设计、讲授和评估与公平或偏见相关的课程时有效地考虑到情绪，教育工作者应预料到在情绪被激发时的防御性反应，并确保熟练地促进敏感或情绪化的讨论。我们关于卫生专业人员和公众之间社交媒体话语的独特性质的发现还表明，卫生宣传课程必须增加宣传的数字方面的信息。此外，现有的数字专业知识的教学可能受益于关于情感的信息，以及通信的数字方面与传统媒体的区别。

限制

SA方法的一个关键限制是，SA关注情绪价值的分类方面，如积极、消极或中性。这限制了我们理解反映个人经历的微妙情绪状态的能力。过去关于个人如何应对与他们的偏见相关的潜在威胁反馈的研究强调，矛盾心理可能是他们如何应对身份威胁并朝着改变前进的一个重要组成部分。45］．因此，需要进行更多的研究，特别是研究如何感知情况，以及个人和社会资源，个人经历或必须应对可能干扰学习的情绪。

使用NLP的另一个重要限制是它需要训练分类模型。这需要密集的学习和手工分类，最精确的模型仍在继续改进。然而，最有效的模型尚未经过训练，无法对卫生保健特定数据进行分类。虽然这项研究已经证明了较高的准确率(0.83)，但必须认识到它不是包罗万象的，容易出错。尽管如此，准确性只会继续提高，反过来，这些模型将变得更加相关。重要的是要确保在这些培训过程中使用保健数据。

我们的研究是在2019年进行的，当时BERT(来自变压器的双向编码器表示)模型不太常用。尽管这样的模型允许利用语言可接受性语料库的架构进行更好的句子处理，但它们需要一个非常大的测试数据语料库来进行模型，这并不一定符合我们的标准和潜在的限制准确性。

此外，值得注意的是，任何NLP算法本身都存在不可避免的偏差，因为人类设计的方法可能会受到训练数据集中存在的偏差的影响。这是未来工作的一个领域，应该考虑到健康教育中的SA随着更大数据集的发展而发展。

最后，我们认识到我们的SA不是使用来自公众的数据开发的;然而，我们认为在普通公众的推特上使用它是合理的，因为之前对普通公众对偏见相关反馈的防御反应的研究与我们之前的研究和其他研究一致。

结论

为了探索情绪在卫生专业人员关于偏见和公平的教学和学习中的作用，我们开发并测试了偏见相关话语的SA算法。我们开发了一种高度精确的SA算法，证明与普通人群相比，卫生专业人员在社交媒体上交流偏见时使用了更高程度的情绪。我们的研究结果支持在公平和偏见相关教育的设计、实施和评估中必须考虑情绪因素。