混合现实和基于触觉的牙齿模拟器用于牙齿准备:研究，开发和初步评估

介绍

预备牙技能培训是牙科教育临床前培训的重要组成部分[1]。牙幻影、树脂牙和拔牙已被用于传统的临床前训练[2，3.]。随着虚拟现实(VR)技术的发展，牙科模拟器于20世纪90年代被发明出来[4，5并逐渐应用于临床前牙科教育。口腔模拟器的构建基于VR模拟口腔软硬组织和口腔器械，并采用力反馈技术模拟口腔组织与口腔器械之间的受力感受[6，7]。

牙科模拟器实现牙科技能培训数字化，记录整个培训过程8]，及时反馈学生的操作，并对操作结果进行客观评价[9，10]。由于树脂牙在材料和结构上与真牙不同，拔牙很难获得[3.，11]，指导员只能在牙体准备完成后，通过目测来主观评价结果。因此，牙科模拟器在牙科技能培训中具有明显的优势。

牙科模拟器的主要显示方式是VR;类似的技术包括增强现实(AR)和混合现实(MR) [12]。虽然AR和MR将虚拟信息叠加在现实世界上，但VR创造了一个完整的虚拟环境[13]。MR相对于AR的主要优势在于MR允许在现实世界和虚拟环境之间自由切换，从而增强了交互的生动描述。因此，这些特征表明MR可能是牙科模拟显示方法的更好选择。

当MR与牙科模拟器相结合时，MR的虚拟部分可以用来构建一个虚拟的口腔环境，模拟口腔硬组织、软组织和牙科器械，可以解决技能训练时的材料消耗问题。现实世界中的虚拟头部可以模拟患者的头部，与虚拟口腔环境对齐，从而解决临床治疗场景中调整患者位置的问题。结合触觉设备的配合，可以构建一个与真实临床治疗环境相似度更高的牙齿预备模拟器，让用户参与到更真实的训练体验中。

本研究的目的是描述一种新的基于MR和触觉的牙齿模拟器用于牙齿准备的研究和开发，并对其面部有效性进行初步评估。

方法

伦理批准

本研究经北京大学口腔医学院伦理委员会(PKUSSIRB-202273003-)批准。

参与者

本研究在北京大学口腔医院进行，共有34名志愿者参与，其中男性14人(41%)，女性20人(59%)，年龄在23岁至30岁之间。研究对象为口腔修复科五年级本科生、研究生和住院医师。根据他们的临床经验将他们分为两组:新手组和熟练组。新手组(n=17)有0 ~ 1年临床经验，熟练组(n=17)有3年以上临床经验。

uniidental MR模拟器简介

统一磁共振模拟器由北京大学口腔医学院和北京航空航天大学虚拟现实与系统国家重点实验室共同研发。它是一种基于MR和触觉的牙科模拟器，主要用于临床前牙科技能培训，用于制备冠、嵌体和贴面。

同一磁共振模拟器的原理图如图所示图1。用于合成处理的计算机位于硬件平台内部，包含一个CPU (IntelCore i5-9400F，英特尔公司，加利福尼亚州圣克拉拉)，一个显卡(GeForce GTX 1060, 3GB RAM, NVIDIA公司，加利福尼亚州圣克拉拉)，一个硬盘(绿色SSD, 240G，西部数据公司，加利福尼亚州Lake Forest)，一个14600全高清(HD)液晶显示器(LCD)和一个操作系统(Windows 10，微软公司，华盛顿州雷德蒙德)。戴眼镜的头戴式显示器(HMD)-MR (HoloLens 2, Microsoft Corp .， Redmond, WA)与计算机无线连接，用于观察与真实环境混合的模拟世界。

‎ 查看此图

如图1， uniidental MR Simulator包括一个基于虚幻头部模型构建的仿真训练平台，该平台在用户操作时作为指托和空间参考(图1A)。该系统亦包括一个以触觉装置为基础的牙科技能训练系统，透过力反馈装置的输出力，在牙科治疗模拟过程中提供一系列的力反馈(图1B、1C、1D);基于锥形束计算机断层扫描(CBCT)数据和口腔内扫描图像(图1E);根据实际尺寸构建的用于训练的虚拟牙科器械(图1F);以及基于MR眼镜的显示系统(HoloLens 2, Microsoft Corp, Redmond, WA;图1G)。虚拟牙科训练环境在空间上进行注册，以确保其与虚拟头在空间上匹配(图1E).显示系统可以实现虚拟训练环境、虚拟头、用户操作手等虚实环境的协同显示，增强受训者对情境的沉浸感。将触觉设备的空间姿态、MR眼镜的方位、匹配的虚拟训练环境、仪器等数据传递给算法平台，算法平台计算输出的力信息和视觉网格，然后分别传输给触觉设备和MR眼镜进行输出，从而实现闭环。对算法平台传输的视觉信息进行了简化，基于网格化简算法实现了大于60hz的视觉线程刷新频率。输出力根据力感知-视觉空间标定算法进行标定，保证用户感觉输出力方向与观测方向一致，然后传输到触觉设备进行输出。基于已经描述的牙科模拟器的结构，概述了统一磁共振模拟器的工作原理图2。

‎ 查看此图

同一磁流变模拟器的工作主要包括输入、计算和输出。触觉设备捕获用户在虚拟环境中的仪器位置信息，脚踏板收集仪器的姿态信息，附加屏幕收集用户交互信息，MR眼镜捕获空间环境信息。将信息输入MR计算平台，MR计算平台对输入信息进行计算，然后通过输出器件输出反馈信息。触觉装置输出相应仪器姿态的力信息，MR眼镜输出相应虚拟场景的图像信息，附加屏幕输出交互的反馈信息。磁共振模拟器的各个部分相互协调，以确保牙齿准备训练过程顺利进行。

人脸效度评价

模拟器的面效度是指训练情境与真实临床情境相似的程度[14]。成就标准是不同教育背景的用户对模拟器的一致正面评价[15]。为了评估模拟的面部效度，我们设计了一份问卷来收集用户报告的体验、模拟牙齿准备过程以及新手组和熟练组对模拟器的态度等方面的数据。

研究分为两个阶段:体验阶段和研究阶段。在体验阶段，该研究的设计者向参与者演示了模拟器的使用，并帮助他们对准和校准HMD。每个参与者都可以将模拟器的虚拟头调整到最适合他们操作的位置，并有30分钟的时间来熟悉设备的使用。在体验阶段，当参与者寻求帮助时，指导员提供指导和帮助。在研究阶段，每个参与者在牙科模拟器中为全陶瓷冠准备上颌右中切牙，并在准备后完成预先设计的问卷。

问卷共有12个项目。回答选项为1=非常不满意或非常不同意，2=不满意或不同意，3=中性，4=满意或同意，5=非常满意或非常同意。还包括一个开放式问题，以收集有关模拟器缺陷的数据。

用曼-惠特尼量表分析了新手组和熟练组对模拟器各方面的评估差异和对模拟器的态度U测试。对与模拟器相关的各种项目和用户的整体体验进行相关性分析，以确定哪些方面影响整体用户体验。使用SPSS v26.0 (IBM Corp, Armonk, NY)对数据进行分析。

结果

成功研制出用于牙齿预备的核磁共振牙科模拟器原型(Unidental核磁共振模拟器)(图3和图4）.

图5显示了参与者对统一核磁共振模拟器的评价结果和他们对该模拟器的态度。在参与者中，74%(25/34)的人对模拟器的整体体验感到满意，超过90%(31/ 34,91%)的人认为模拟器可以激发他们的学习兴趣，超过80%(28/ 34,82%)的人愿意在未来使用牙科模拟进行技能培训。表1显示了调查问卷的内容和两个研究组对调查问卷项目的回答。

‎ 查看此图

‎ 查看此图

‎ 查看此图

两组在佩戴HMD的体验上无显著差异(分辨率:P= .95；穿着舒适:P=.10)，牙科仪器的模拟(P=.95)，牙体力反馈的真实感(P=.08)，模拟牙齿预备过程(P=.79)，模拟器的整体体验(P=.47)，或者对模拟器的态度(提高技能:P=票价;适合学习:P= 36;愿意使用的:P= .89;鼓舞人心的:P=点)。然而，对模拟器的易用性的满意度明显更高(P=.04)。

HMD的分辨率(rho=0.375，P=.03)，牙体预备过程模拟(rho=0.541，P=.001)与学生使用模拟器的整体体验有显著正相关，而佩戴HMD的舒适度、口腔乐器的模拟、力反馈的真实感和模拟器的易用性与参与者使用模拟器的整体体验无显著相关(表2）.

讨论

主要研究结果

随着COVID-19的传播，世界正处于焦虑阶段;因此，调整这一时期的医疗技能培训方式十分重要[16，17]。传统的牙科技能训练方法使用拔牙，但如果拔牙没有完全消毒[3.，在使用手机时，会在空气中产生大量的生物气溶胶，导致病毒的传播[16]。牙科模拟器将整个技能培训过程转变为数字化过程，从而避免了这种病毒传播，提高了技能培训过程的安全性。

已经开发并用于牙齿准备训练的模拟器包括DentSim (DenX Corp, Jerusalem, Israel) [18]，预科助理(德国比伯拉赫卡沃)[19，牙科虚拟教育系统(苏州数字医疗有限公司，江苏，中国)[20.]和Simodent (MOOG，阿姆斯特丹，荷兰)[10]。前3个系统使用树脂牙，提供不可逆的训练过程。Simodent模拟器类似于Unidental模拟器，因为它使用VR和力反馈技术来模拟真实的牙齿和口腔器械，在训练过程中不消耗材料。Unidental MR Simulator通过使用HMD实现3D显示，比Simodent的3D眼镜结合2D显示具有更好的图像呈现效果。结合幻影头，Unidental MR Simulator可以重现更接近临床环境的训练场景，并有可能实现姿势训练。Simodent的操作姿势在训练过程中是固定的，用户必须旋转3D鼠标才能改变视角，这非常不方便。

uniidental MR Simulator是专门为培养牙齿准备技能而设计的，它可以模拟不同类型牙齿准备的临床环境。可用于准备牙齿的技能培训，无需培训材料的消耗，可解决临床治疗场景中患者体位调整的问题。由于保留了真实世界的信息，可以保证从虚拟培训环境到临床操作的过渡，确保培训体验更接近临床环境。

新手组和熟练组对模拟器的评价除易用性外无显著差异，表明该模拟器具有良好的面部效度。新手组对模拟器的易用性给出了比熟练组更有利的评价。最有可能的原因是熟练组的学生习惯了在真实的临床环境中进行牙齿准备，由于不习惯，认为模拟器难以使用。

相关分析结果表明，HMD的分辨率和牙齿制备过程的模拟对模拟器的整体使用体验至关重要。问卷结果显示，59%(20/34)的志愿者对HMD的解决方案给予中性评价，12%(4/34)的志愿者不满意，只有29%(10/34)的志愿者对HMD的解决方案感到满意。在回答开放式问题(“牙科模拟器的缺点是什么?”)时，大多数参与者认为HoloLens 2的分辨率不够。Unidental MR模拟器使用HoloLens 2作为HMD和微软开发的MR眼镜。HoloLens 2的分辨率为2K(双眼2048 × 1080)，成像原理为双目立体视觉;因此，真正的分辨率实际上是1024 x 1080。单颗牙齿显示时像素分辨率不理想。在测试阶段，发现HoloLens 2距离投影位置较近时，目标图形边缘模糊，当HMD与投影位置的距离约为50 cm时，图像呈现效果最佳。因此，在佩戴HoloLens 2时，有必要在MR模拟器中找到合适的位置来准备牙齿。

在参与者中，50%(17/34)的人认为牙齿准备过程的模拟一般。在问卷中指出的缺陷中，许多参与者表示，Unidental MR模拟器没有提供手指休息或喷水效果。许多参与者还报告说，模拟器不允许咬合模拟，所以他们不能估计切牙和舌牙的减少。牙齿预备过程的模拟与模拟器的整体用户体验呈显著正相关;因此，模拟器仍然需要改进。

许多与会者认为模拟器没有软组织的力反馈技术。在程序测试中，当单个使用牙齿的力反馈时，图像帧率可以达到25 fps，延迟为35.7毫秒，在可接受的范围内。然而，当加入软组织的力反馈时，由于数据量大，HoloLens 2的计算和数据传输能力不足，导致延迟2- 3秒。因此，必须去除目前情况下的软组织力反馈。口腔软组织数据使用口腔内扫描仪获得，并使用网格格式进行处理;在未来，通过减少网格数来压缩软组织的数据大小是可能的。此外，5G无线网络技术将大大提高高分辨率视频数据从服务器主机到显示设备的传输速率，从而减少响应延迟[21，22]。图像延迟将在未来通过5G技术和Unidental MR模拟器的结合来解决。

牙科模拟器将是未来临床前技能培训的主要方法。目前，在许多领域，如飞行[23]和腹腔镜手术[15]，模拟是学习者在真实情境中执行相关技能之前的强制性训练阶段[14]。由于技术的发展不是一蹴而就的，牙科模拟器正处于不断发展和突破的阶段。虽然目前还不可能取代传统的培训方法[24，随着技术的不断进步，模拟器将在未来发挥重要作用。

优势与局限

本研究的优势在于在新设计和开发的uniidental MR模拟器中结合了MR和力反馈技术。它可以模拟调整患者的位置，从而创造一个与临床环境非常相似的训练环境。然而，本研究也存在一些局限性。参与者被分为两个研究组。然而，在评估腹腔镜手术模拟器的有效性时，van Ginkel等[14]将参与者分为新手组、中级组和专家组，这提供了更精确的测量。Barsom等[15提出了建立模拟器效度所需的评估标准，包括面孔效度、内容效度、构造效度、并发效度和预测效度。在本研究中，由于时间限制和技术瓶颈，仅对模拟器的人脸有效性进行了评估。因此，需要进一步的实验来验证该模拟器的训练效果。

结论

新研制的用于牙齿预备的相同磁共振模拟器具有良好的面部有效性。通过实现对患者体位的调整能力，为用户提供更好的技能培训体验，使其与真实的临床治疗环境有更高的相似度。显示器的牙齿准备模拟的视觉呈现和牙齿的力反馈需要改进，以实现更好的模拟体验。