人类FER在理解人们与他人交流的非语言方式方面发挥着重要作用[ 19］．由于其在其他形式的情感识别中的优越性，引起了各个领域科学界的兴趣[ 22］．由于面部表情分析不仅仅局限于人机交互或人机交互，它已成为各个医疗保健领域的热门研究课题，如认知障碍(如儿童自闭症谱系障碍)的诊断或评估、帕金森病的抑郁监测、疼痛监测以及医患会诊中的临床沟通[ 27］．

FER的主要目标是根据一个人的情绪状态准确地分类各种面部表情[ 21］．经典的FER方法通常分为以下三个主要阶段:(1)面部特征检测，(2)特征提取，(3)情绪识别[ 21， 28］．然而，据报道，传统的FER无法在不受控制的环境中提取不同的面部表情[ 21， 28］．另一方面，最近一项使用基于深度学习的FER方法的研究已经成功地获得了比传统FER更高的精度[ 20.- 22］．

计算机视觉和深度学习技术的快速发展推动了最近出现的深度造假现象( 深度学习而且 假的)，可以自动伪造人类无法轻易识别的图像和视频[ 29- 31］．此外，deepfake技术提供了生成无法识别的人脸图像的可能性，并将现有图像和视频中的人脸更改或交换为另一张显示与原始人脸相同表情的人脸[ 29］．各种深度造假尝试被用于负面目的，例如创建与名人、政治家、公司甚至个人有关的有争议的内容，以损害他们的声誉。 30.］．尽管深度造假技术的有害影响已经引起了公众的关注，但使用这种技术也有好处。例如，它可以在一些关键的医疗应用中提供隐私保护，例如对患者进行人脸去识别[ 32］．此外，尽管deepfake技术可以很容易地操纵视觉和音频特征的低级语义，但最近的一项研究表明，deepfake技术可能很难伪造人类情感的高级语义特征[ 31］．

Deepfake技术主要是通过使用深度学习开发的，这是一种基于人工智能的方法，可用于训练深度网络[ 29］．实现deepfake技术的流行方法是基于生成对抗网络(GAN)模型[ 33， 34］．深度造假有几种类型和例子，比如照片深度造假、音频深度造假、视频深度造假和音视频深度造假。

为了模拟deepfake技术如何对医患临床会面的录制视频进行人脸去识别，我们于2019年3月至12月从台北市立万方医院和台北医科大学医院招募了348名成年患者和4名医生。由于视频损坏，我们排除了21例患者的视频数据，我们收集了327例患者的视频数据。数据集中于皮肤科门诊医患之间的互动。数据集中的受试者均来自台湾人群。

图1阐述了提出deepfake技术前后FER系统的工作流程。首先，我们使用2台摄像机创建同步记录，以捕捉皮肤科门诊的医患互动。我们假设在医疗保健中，面部是非语言交流中最相关、最容易获得的渠道[ 6］．因此，我们随后使用工业技术研究院开发的面部表情识别系统来检测情绪，并分析医生和患者的情绪随时间的变化。该面部表情识别系统已使用来自28,710张亚洲面部图像的训练数据进行部署，并且对于扩展的cohen - kanade数据集的准确率为95% [ 35］．

我们通过使用个人面部的主要部位(如眼睛、眉毛、鼻尖、唇角等)来跟踪面部运动来识别面部表情。这使我们能够观察医生和病人在表达以下七种面部表情时的情绪体验:愤怒、厌恶、恐惧、中立、快乐、悲伤和惊讶。然后，该系统提供了医生和患者情绪变化的摘要，时间分辨率最高可达1秒。此外，我们的模型设法过滤掉任何不相关的面部目标(即医生和患者以外的面部)。最后，将医患情绪分析的总结结果作为开发人工共情的参考数据集。然后，系统会给出建议，这样医生就可以根据患者的情况立即做出反应。

但需要指出的是，我们的人工共情参考数据训练集是通过使用有限的人脸识别数据集构建的。因此，我们试图通过提出使用deepfake技术操纵的临床遭遇视频中的开放数据来改进模型，这可以在不侵犯患者隐私的情况下实现医疗数据共享。此外，这些开放数据使我们能够与现实世界的临床遭遇视频数据集连接起来，这样我们就可以使用不同模型的面部表情识别系统来分析患者和医生的情绪体验( 图1）.

本研究获得台北医科大学联合机构审查委员会(TMU- jirb No: N201810020)批准。

我们的FER研究揭示了医生如何比病人更常见地表达愤怒、快乐、厌恶和悲伤等情绪。由于面部表情等非语言信息对人类互动中传递的信息贡献最大，因此医生在临床互动中表达情绪时需要更加小心。例如，医生永远不应该习惯于表达愤怒、厌恶或其他代表糟糕沟通技巧的负面情绪，因为这可能会破坏治疗目标，并导致患者和医护人员都感到沮丧[ 6］．

积极的情绪(如快乐)代表着良好的沟通技巧，因为它们可以帮助人们理解另一个人的感受和想法，让人们更好地理解彼此。 37］．此外，积极情绪有助于建立患者对医生的信任。 38］．从患者的角度来看，信任是指患者接受一种脆弱的情况，即患者相信医生会根据他们的需要提供适当和公平的医疗护理来帮助他们[ 39］．当患者信任医生时，他们更有可能分享与自己病情相关的有效可靠的信息，更容易承认健康问题，更有效地理解医疗信息，并相应地遵守治疗计划[ 39］．他们也倾向于更早地寻求预防性护理，并返回进行后续护理，这可能会防止进一步的疾病并发症[ 39］．

除了医生的医学知识和临床技能外，患者对医生提供充分信息、积极倾听和移情的能力的感知被认为与患者的满意度和信任有关[ 3.］．医生展示有效沟通技巧和提供共情关怀的能力对改善良好医患关系的患者和医生本身都是有益的，因为这些因素可以提高工作绩效满意度，降低医生的压力和身体倦怠风险[ 40］．共情护理也可能降低医疗差错率，并有助于避免与患者的冲突[ 38］．

我们相信我们的FER系统和人脸识别数据集可以作为一个决策支持系统，当患者需要特别关注以实现治疗目标时，可以指导医生。例如，如果医生表现出消极的面部表情(如愤怒、厌恶和悲伤)，系统就会提醒他们改变面部表情。此外，如果患者也表现出消极的面部表情，系统将建议医生使用不同的方法来适应患者的情绪状况。根据我们的结果，我们需要解决的主要缺点是FER技术依赖于数据训练的质量和训练数据的数量[ 26， 32］．我们相信，在未来，我们可以通过收集更多具有不同社会人口背景的受试者的更多数据来提高系统的精度和准确性。这只有在我们采用深度伪造技术(如GANs)时才有可能实现，该技术可以在图像和视频中学习人脸的面部特征，并将其替换为另一个人的面部[ 41］．因此，deepfake技术可以取代患者的面部图像，并在视频中创建类似面部表情的假面部图像。随着deepfake技术的使用，门诊医患互动的录制视频数据库将变得更容易获取。应用深度伪造去识别FER数据集可能有利于人工移情的发展，因为这种方法可能不会侵犯人际关系情况的隐私和安全。

与我们的研究类似，最近的一项研究报告使用deepfake技术生成开源、高质量的帕金森病检查视频医疗视频数据集，以识别受试者[ 32］．本研究还基于深度假检测数据集中的开源视频，应用人脸交换技术和实时多人系统检测人体运动关键点[ 32］．与此同时，我们的方法涉及使用由自学习关键点组成的自我监督公式，并结合局部仿射变换[ 36］．我们认为这种自学习模型可以保留原始人脸识别数据集中人的情绪状态。

我们的研究有一些局限性。首先，我们的方法只涉及使用单一的信息模式——视频深度伪造——这可能会导致不准确的情绪分类。在未来，我们可以将视频和音频深度伪造结合起来，以更好地代表目标人的情绪状态。其次，在使用deepfake技术对医疗数据集进行去识别时，需要考虑道德和伦理问题。然而，我们的研究强调了在医疗环境中使用人脸识别数据集时，使用深度造假来保护隐私的积极方式。因此，这项研究不会引发伦理问题，而是有助于防止深度造假被用于恶意目的，并鼓励在医疗应用中使用。

考虑到FER技术依赖于广泛的数据训练，我们建议使用临床遭遇视频的开放数据集作为参考数据训练集，以开发基于FER系统的人工同理心。然而，由于隐私问题，研究人员一直很难获得人脸识别数据集。因此，我们建议采用深度造假。Deepfake技术可以识别图像或视频中的人脸，并对其进行处理，使正确的目标人脸变得无法识别，从而防止侵犯患者隐私。这种技术还可以生成与原始图像或视频中相同的面部表情。因此，该技术可能促进医疗视频数据共享，改善FER系统在临床环境中的实施，并保护敏感数据。此外，deepfake技术将进一步增强人工共情的潜在用途，帮助医生根据患者的情绪体验提供共情护理，以实现良好的医患治疗关系。