如何利用深度造假技术加强人工共情研究?

简介

良好的医患沟通是建立成功的治疗性医患关系的关键条件之一[1］．这种类型的交流使医生能够提供可能影响患者健康的更高质量的护理。关于良好医患沟通的研究表明，医生沟通技巧与患者满意度之间存在很强的正相关关系，这可能与患者对治疗的坚持有关;他们的照顾经验;因此，改善了临床结果[2-5］．

我们承认良好的医患沟通的重要性;医生必须通过口头交谈和非言语行为(如姿势、手势、眼神接触、面部表情等)来了解病人的观点[6，7］．建立使用非语言信息的沟通对于建立良好的医患关系是非常重要的，因为这种沟通所传达的信息比语言对话更有表现力和意义。8］．一项研究表明，在人际交往中，非语言信息占到信息传递的90%。6］．另一项研究还估计，超过一半的门诊病人认为，建立积极的非语言行为表明医生对病人更加关注，从而提高病人的满意度和治疗依从性[8］．

尽管有几项研究表明，人类的非语言行为与患者的满意度和对治疗计划的依从性有显著的关联，但医生往往对非语言信息一无所知。6］．医生应该更加注意自己的非语言行为，因为病人已经认识到了这些行为。医生还需要识别和评估病人的非语言行为以及自己对病人的非语言行为。

人工智能(AI)为探索医患接触中的非语言沟通提供了巨大的潜力[9］．例如，人工智能可以通过情绪识别来分析人类的面部表情，从而帮助医生变得更有同情心。一旦一个具有情商的人工智能识别出一种情绪，它就可以指导医生根据每个病人独特的情感需求表达更多的同理心[10］．

同理心指的是理解或感受他人经历的能力，表现出同理心可能会带来更好的行为结果。9］．同理心是可以学习的，人工智能技术的使用引入了一种有前途的方法，将人工同理心纳入医患治疗关系[11］．然而，人类的情感是非常复杂的。一个具有情商的人工智能应该从面部表情、声音和生理信号中学习一系列情绪(即患者所经历的情绪)，从而对人类情绪产生共鸣[12］．这些情绪可以通过各种形式来捕捉，如视频、音频、文本和生理信号[13］．

在人类所有的交流渠道中，面部表情被认为是最重要和最有影响力的。14-16］．人脸可以表达各种思想、情绪和行为。15］．它在人类人际交往和社会交往中的非语言表达中发挥着重要作用。17，18］．与通过情绪识别技术所能传达的信息量相比，面部表情传达了人类多模态交互中传递的55%的情绪表达，而言语信息、文本交流和通过生理信号进行的交流分别只传达了交互中总信息的20%、15%和10% [19］．

许多研究人员通过使用自动面部情绪识别(FER)来研究面部表情，以更好地理解与同理心相关的人类情绪[20.-24］．他们提出了各种机器学习算法，如支持向量机、贝叶斯信念网络和神经网络模型，用于基于观察到的记录在图像或视频上的面部表情来识别和描述情绪[20.-22］．尽管关于机器学习和深度学习自动从人脸中提取情绪的文献已经介绍了很多，但开发一个高度准确的FER系统需要大量的训练数据和高质量的计算系统[21］．此外，数据集必须包括不同的面部视图，包括角度、帧率、种族和性别等[21］．

许多公共数据集可用于FER [25］．然而，大多数公共数据集不足以支持医患互动。创建我们自己的医疗数据集也是不可能的，因为这个过程既昂贵又耗时[26］．此外，由于隐私问题，研究人员经常难以获得足够的数据来训练人脸识别模型。数据共享和医学图像或视频的共享甚至是不可能的，因为这些方法可能侵犯患者的隐私。在此，我们介绍了我们对新兴人工智能的研究deepfakes一种能够对病人临床遭遇的录制视频进行人脸去识别的技术。这项技术可以通过将图像或视频中的患者面部替换为无法识别的面部，从而使患者匿名化，从而彻底改变FER。这可以保护患者在临床遭遇视频时的隐私，并使医疗视频数据共享变得更加可行。此外，使用一个开放的临床会诊视频数据集也可以促进学术界更深入的研究。因此，deepfake技术将进一步增强人工共情在医疗应用方面的临床应用。

方法

人类带

人类FER在理解人们与他人交流的非语言方式方面发挥着重要作用[19］．由于其在其他形式的情感识别中的优越性，引起了各个领域科学界的兴趣[22］．由于面部表情分析不仅仅局限于人机交互或人机交互，它已成为各个医疗保健领域的热门研究课题，如认知障碍(如儿童自闭症谱系障碍)的诊断或评估、帕金森病的抑郁监测、疼痛监测以及医患会诊中的临床沟通[27］．

FER的主要目标是根据一个人的情绪状态准确地分类各种面部表情[21］．经典的FER方法通常分为以下三个主要阶段:(1)面部特征检测，(2)特征提取，(3)情绪识别[21，28］．然而，据报道，传统的FER无法在不受控制的环境中提取不同的面部表情[21，28］．另一方面，最近一项使用基于深度学习的FER方法的研究已经成功地获得了比传统FER更高的精度[20.-22］．

Deepfake技术

计算机视觉和深度学习技术的快速发展推动了最近出现的深度造假现象(深度学习而且假的)，可以自动伪造人类无法轻易识别的图像和视频[29-31］．此外，deepfake技术提供了生成无法识别的人脸图像的可能性，并将现有图像和视频中的人脸更改或交换为另一张显示与原始人脸相同表情的人脸[29］．各种深度造假尝试被用于负面目的，例如创建与名人、政治家、公司甚至个人有关的有争议的内容，以损害他们的声誉。30.］．尽管深度造假技术的有害影响已经引起了公众的关注，但使用这种技术也有好处。例如，它可以在一些关键的医疗应用中提供隐私保护，例如对患者进行人脸去识别[32］．此外，尽管deepfake技术可以很容易地操纵视觉和音频特征的低级语义，但最近的一项研究表明，deepfake技术可能很难伪造人类情感的高级语义特征[31］．

Deepfake技术主要是通过使用深度学习开发的，这是一种基于人工智能的方法，可用于训练深度网络[29］．实现deepfake技术的流行方法是基于生成对抗网络(GAN)模型[33，34］．深度造假有几种类型和例子，比如照片深度造假、音频深度造假、视频深度造假和音视频深度造假。

数据集

为了模拟deepfake技术如何对医患临床会面的录制视频进行人脸去识别，我们于2019年3月至12月从台北市立万方医院和台北医科大学医院招募了348名成年患者和4名医生。由于视频损坏，我们排除了21例患者的视频数据，我们收集了327例患者的视频数据。数据集中于皮肤科门诊医患之间的互动。数据集中的受试者均来自台湾人群。

在Deepfake模型设置中的FER系统

图1阐述了提出deepfake技术前后FER系统的工作流程。首先，我们使用2台摄像机创建同步记录，以捕捉皮肤科门诊的医患互动。我们假设在医疗保健中，面部是非语言交流中最相关、最容易获得的渠道[6］．因此，我们随后使用工业技术研究院开发的面部表情识别系统来检测情绪，并分析医生和患者的情绪随时间的变化。该面部表情识别系统已使用来自28,710张亚洲面部图像的训练数据进行部署，并且对于扩展的cohen - kanade数据集的准确率为95% [35］．

‎ 查看此图

我们通过使用个人面部的主要部位(如眼睛、眉毛、鼻尖、唇角等)来跟踪面部运动来识别面部表情。这使我们能够观察医生和病人在表达以下七种面部表情时的情绪体验:愤怒、厌恶、恐惧、中立、快乐、悲伤和惊讶。然后，该系统提供了医生和患者情绪变化的摘要，时间分辨率最高可达1秒。此外，我们的模型设法过滤掉任何不相关的面部目标(即医生和患者以外的面部)。最后，将医患情绪分析的总结结果作为开发人工共情的参考数据集。然后，系统会给出建议，这样医生就可以根据患者的情况立即做出反应。

但需要指出的是，我们的人工共情参考数据训练集是通过使用有限的人脸识别数据集构建的。因此，我们试图通过提出使用deepfake技术操纵的临床遭遇视频中的开放数据来改进模型，这可以在不侵犯患者隐私的情况下实现医疗数据共享。此外，这些开放数据使我们能够与现实世界的临床遭遇视频数据集连接起来，这样我们就可以使用不同模型的面部表情识别系统来分析患者和医生的情绪体验(图1）.

伦理批准

本研究获得台北医科大学联合机构审查委员会(TMU- jirb No: N201810020)批准。

结果

临床遭遇视频——我们人脸识别数据集的来源——由327名患者的视频数据组成，其中208名女性患者和119名男性患者(年龄:平均51岁，标准差19.06岁)。录制视频的平均会诊时间为4.61分钟(SD 3.04);咨询时间最长为25.55分钟，最短为0.33分钟。我们的人工移情算法是利用FER算法开发的。该算法通过分析患者的表情来学习一系列患者的情绪，因此医生可以根据患者的情绪体验立即做出反应。总体而言，该FER系统对真实数据的平均检出率为>80%。

我们用于人工移情的人脸识别数据集仅基于基本情绪。系统评估报告了愤怒、快乐、厌恶和悲伤的表情，这些表情更有可能由医生而不是患者表达(P<措施)。此外，与医生相比，患者也更倾向于表达中性情绪和惊讶(P<措施)。医生的整体情绪以悲伤(表情:8580/ 17397,49.3%)、快乐(表情:7541/ 17397,43.3%)、愤怒(表情:629/ 17397,3.6%)、惊讶(表情:436/ 17397,2.5%)、厌恶(表情:201/ 17397,1.2%)为主，而患者的情绪则为快乐(表情:5766/ 12606,45.7%)、悲伤(表情:5773/ 12606,45.8%)、惊讶(表情:890/ 12606,7.1%)、愤怒(表情:126/ 12606,0.9%)。图2说明了医生和病人的情感表达。该系统利用情绪分析的结果，提醒医生根据患者的情况改变自己的行为，让患者感觉医生了解他们的情绪和情况。

原始人脸识别数据集由个人数据(即患者的人脸)组成。然而，我们只能发布情绪表达分析的结果，作为人工共情发展的参考。如前所述，我们的方法只涉及使用少量的训练数据(仅亚洲人脸图像)。因此，为了提高模型性能，我们需要通过人脸去识别对临床互动视频进行匿名化处理。人脸去识别允许我们将我们的人脸识别数据集作为临床研究的开放数据共享。为了实现人脸图像数据共享，研究人员可以执行传统的人脸去识别技术，例如通过用彩色盒子覆盖患者的面部区域来掩盖图像(图3）.

然而，值得注意的是，由于我们的研究旨在开发人工同理心，以支持良好的医患关系，因此无法执行掩蔽方法，因为很难用情绪表达分析的结果来验证掩蔽图像。Deepfake技术提供了一种方法，可以将患者的原始人脸与开源人脸数据集中的另一张人脸进行交换，生成与原始人脸图像具有相似表情和属性的无法识别的图像。这种人脸交换方法可以与我们的人工移情算法的人脸识别参考数据集一起使用，以避免侵犯患者隐私和伦理问题。我们采用了基于人脸交换的视频deepfake技术(图3)，在图像动画的一阶运动模型中提出[36］．这种方法涉及采用一种新的图像动画深度学习框架Monkey-Net并通过使用一组自我学习的关键点结合局部仿射变换对其进行修改[36］．该框架使密集运动传输网络能够生成视频，其中源图像根据给定的具有复杂运动的驾驶视频序列进行动画[36］．与原始的GAN模型不同，原始的GAN模型依赖于昂贵的地面真实预训练模型，导致图像或视频输出的生成质量较差，图像动画的一阶运动模型可以处理带有轮廓图像的高分辨率数据集，因此可以成为我们人脸识别数据集的参考基准模型。

‎ 查看此图

‎ 查看此图

讨论

主要研究结果

我们的FER研究揭示了医生如何比病人更常见地表达愤怒、快乐、厌恶和悲伤等情绪。由于面部表情等非语言信息对人类互动中传递的信息贡献最大，因此医生在临床互动中表达情绪时需要更加小心。例如，医生永远不应该习惯于表达愤怒、厌恶或其他代表糟糕沟通技巧的负面情绪，因为这可能会破坏治疗目标，并导致患者和医护人员都感到沮丧[6］．

积极的情绪(如快乐)代表着良好的沟通技巧，因为它们可以帮助人们理解另一个人的感受和想法，让人们更好地理解彼此。37］．此外，积极情绪有助于建立患者对医生的信任。38］．从患者的角度来看，信任是指患者接受一种脆弱的情况，即患者相信医生会根据他们的需要提供适当和公平的医疗护理来帮助他们[39］．当患者信任医生时，他们更有可能分享与自己病情相关的有效可靠的信息，更容易承认健康问题，更有效地理解医疗信息，并相应地遵守治疗计划[39］．他们也倾向于更早地寻求预防性护理，并返回进行后续护理，这可能会防止进一步的疾病并发症[39］．

除了医生的医学知识和临床技能外，患者对医生提供充分信息、积极倾听和移情的能力的感知被认为与患者的满意度和信任有关[3.］．医生展示有效沟通技巧和提供共情关怀的能力对改善良好医患关系的患者和医生本身都是有益的，因为这些因素可以提高工作绩效满意度，降低医生的压力和身体倦怠风险[40］．共情护理也可能降低医疗差错率，并有助于避免与患者的冲突[38］．

我们相信我们的FER系统和人脸识别数据集可以作为一个决策支持系统，当患者需要特别关注以实现治疗目标时，可以指导医生。例如，如果医生表现出消极的面部表情(如愤怒、厌恶和悲伤)，系统就会提醒他们改变面部表情。此外，如果患者也表现出消极的面部表情，系统将建议医生使用不同的方法来适应患者的情绪状况。根据我们的结果，我们需要解决的主要缺点是FER技术依赖于数据训练的质量和训练数据的数量[26，32］．我们相信，在未来，我们可以通过收集更多具有不同社会人口背景的受试者的更多数据来提高系统的精度和准确性。这只有在我们采用深度伪造技术(如GANs)时才有可能实现，该技术可以在图像和视频中学习人脸的面部特征，并将其替换为另一个人的面部[41］．因此，deepfake技术可以取代患者的面部图像，并在视频中创建类似面部表情的假面部图像。随着deepfake技术的使用，门诊医患互动的录制视频数据库将变得更容易获取。应用深度伪造去识别FER数据集可能有利于人工移情的发展，因为这种方法可能不会侵犯人际关系情况的隐私和安全。

与我们的研究类似，最近的一项研究报告使用deepfake技术生成开源、高质量的帕金森病检查视频医疗视频数据集，以识别受试者[32］．本研究还基于深度假检测数据集中的开源视频，应用人脸交换技术和实时多人系统检测人体运动关键点[32］．与此同时，我们的方法涉及使用由自学习关键点组成的自我监督公式，并结合局部仿射变换[36］．我们认为这种自学习模型可以保留原始人脸识别数据集中人的情绪状态。

我们的研究有一些局限性。首先，我们的方法只涉及使用单一的信息模式——视频深度伪造——这可能会导致不准确的情绪分类。在未来，我们可以将视频和音频深度伪造结合起来，以更好地代表目标人的情绪状态。其次，在使用deepfake技术对医疗数据集进行去识别时，需要考虑道德和伦理问题。然而，我们的研究强调了在医疗环境中使用人脸识别数据集时，使用深度造假来保护隐私的积极方式。因此，这项研究不会引发伦理问题，而是有助于防止深度造假被用于恶意目的，并鼓励在医疗应用中使用。

结论

考虑到FER技术依赖于广泛的数据训练，我们建议使用临床遭遇视频的开放数据集作为参考数据训练集，以开发基于FER系统的人工同理心。然而，由于隐私问题，研究人员一直很难获得人脸识别数据集。因此，我们建议采用深度造假。Deepfake技术可以识别图像或视频中的人脸，并对其进行处理，使正确的目标人脸变得无法识别，从而防止侵犯患者隐私。这种技术还可以生成与原始图像或视频中相同的面部表情。因此，该技术可能促进医疗视频数据共享，改善FER系统在临床环境中的实施，并保护敏感数据。此外，deepfake技术将进一步增强人工共情的潜在用途，帮助医生根据患者的情绪体验提供共情护理，以实现良好的医患治疗关系。