在立体定向放射外科的跨学科病例讨论和病例规划中使用扩展现实技术的潜力:概念验证可用性研究

简介

神经外科涉及复杂的解剖学、高水平的准确性和极高的精确度。图像引导神经导航技术常用于神经外科手术;近几十年来，这些平台经历了数次发展。扩展现实(XR)技术，如增强现实(AR)和混合现实(MR)，允许观看者将虚拟环境合并到真实的物理环境中，在未来的神经外科中具有新兴的作用[1-3.］．XR允许对表面解剖下的解剖结构进行可视化和虚拟操作，从而帮助进行手术计划和教育[4-7］．此外，XR技术允许外科医生查看感兴趣解剖区域的3D全息重建，从而改进了目前大多数神经导航系统提供的简单2D视图。XR方法，包括AR和虚拟现实，已经在脊柱、肿瘤、血管和儿科的神经外科亚专业中得到了研究[8-12］．然而，重要的是，该技术尚未应用于脑立体定向放射外科(SRS)领域。

SRS是神经外科中一个高度跨学科的亚专业，其中脑成像在治疗计划和实施中至关重要。病例通常在多学科团队(MDT)会议上进行审查，在会议上提出病例并审查成像。这种MDT方法是放射手术治疗计划的重要组成部分，其在脑SRS中的特征先前已被描述过[13］．放射治疗靶点之间以及与“关键结构”的关系是制定安全治疗计划和优化治疗提供效率的关键。这些关系在3D空间中表现得最好。放射外科会议中MDT讨论的一个特殊挑战是，交流受到参与者在心理上将2D放射图像转换为3D解剖视图的不同能力的限制。“模拟”3D投影通常作为真实3D视图的替代品，试图通过图像的旋转来模拟3D空间来描述解剖学。为了解决这个问题，我们创建了一个名为NeuroVis的应用程序，它可以提供患者神经解剖学的精确和交互式3D可视化，可以通过使用XR耳机在SRS病例规划讨论时显示。据我们所知，XR技术还没有被整合到MDT案例讨论中。在这个概念验证技术笔记中，我们通过选定的图表和视频(多媒体附录1)， NeuroVis如何加强mdt之间针对6种常见脑肿瘤病例的放射外科病例规划讨论。

方法

概述

所有患者的x线照片在使用前都是匿名的。一种市售的XR耳机，微软HoloLens，用于可视化和与虚拟全息图的交互(图1)．HoloLens是一种头戴式显示器，配有视频透明镜头，采用无栓无线设计。

‎ 把这个图

创造不同的全息图

NeuroVis应用程序是使用Unity 3D(版本2019.2.17;这是一个游戏引擎软件，并与混合现实工具包(MRTK)一起使用，MRTK是一个微软驱动的库，提供了一组用于加速Unity 3D中跨平台MR应用开发的组件和功能。

患者特定的大脑3D模型是通过匿名磁共振成像(MRI)和计算机断层扫描(CT)获取创建的。不同大脑结构的分割使用Brainlab开发的软件完成，集成在规划过程中，3D Slicer是一个医学图像处理的开源软件平台，应用不同的分割工具。导出的3D模型被导入到虚拟场景中，并辅以脚本以允许全息图与用户的手交互(移动、缩放和旋转)。此外，开发了一些工具和交互功能，以允许用户(1)独立隐藏不同的解剖结构，(2)隔离病变和规划治疗体积(ptv)，(3)可视化轴向、冠状和矢状MRI或CT平面覆盖在3D模型上，(4)操作手持剪辑平面，允许实时可视化模型的横截面，(5)在模型中独立更改每个解剖结构的透明度。全息界面的设计与最终用户密切相关，以便在程序讨论过程中方便、有效和有用。该应用程序被证明适用于两个HoloLens(版本1和2;在构建应用程序并将其部署到设备上之前，对MRTK配置文件设置进行微小更改。

关于原始MRI或CT图像的可视化，为Unity实现的体渲染开源代码被改编为HoloLens，并专门针对应用程序进行了调整。三维离散采样数据集(MRI或CT体积)的二维投影显示在3个正交平面上，以再现矢状面、冠状面和轴向视图。所有的解剖平面都可以通过虚拟滑块上的手势在整个成像体积中滚动。用于渲染3D数据的方法是光线推进技术。所有采样的体积值被组合起来，然后显示在输出渲染图像上的方法是使用带有1D传递函数的直接体积渲染确定的。由于显示的图像是三维体在二维平面上的投影，而不是预先获取的二维图像堆栈，用户能够操作和选择包含成像体的平面的每一个可能的空间方向。

总共有6个临床场景，展示了NeuroVis在SRS病例讨论中的使用。

道德的考虑

威尔康奈尔医学院研究诚信办公室对该项目进行了审查，并确定它不构成人体受试者研究，因此不需要进一步的机构审查委员会批准或豁免，因为没有获得或使用可识别的私人信息。

结果

概述

所介绍的病例代表放射外科的常见应用;我们选择了各种各样的神经肿瘤学场景，因为这些代表了我们实践中最常见的适应症，在这些适应症中，我们在开发该工具时最明显地看到了NeuroVis的价值。针对每种情况描述了相关的多学科案例讨论过程，以便在上下文中理解NeuroVis的使用。

场景1:术后切除空腔

患者通常在脑转移瘤切除后进行放射治疗，目的是尽量减少局部复发的风险。术后SRS解决了手术腔，最大限度地减少了大范围照射的风险[14，15］．放射外科靶点可以很大，并且接近高危结构和器官(OARs) [16］．在我们的多学科放射外科会议上，神经外科医生和放射肿瘤学家，以及剂量学或物理团队，基于术前和术后的成像，制定了术后SRS的计划。治疗计划的制定通常是基于讨论二维屏幕上的MRI和CT扫描(图2一个和2 b)。在这一步引入NeuroVis，可以让每个观看者在讨论病例时看到同一个3D全息图并与之互动，提高了对关键结构与切除腔之间关系的理解。例如，通过XR设备观察和操作的全息图可以更好地了解切除腔的大小和形状，并允许神经外科医生向团队解释手术方法。见图2C, XR技术还允许更好的视觉逼近切除腔和附近的桨。此外，当大脑消失时，手术走廊可以更清晰地想象。NeuroVis可以优化术后容积的可视化(图2D).使用NeuroVis, MRI平面也可以与模型集成，进一步了解2D到3D的过渡(图2E).一种称为剪切面的特征可以更好地了解与处理区域相关的表面解剖结构(图2F).所有这些在SRS案例讨论设置中使用NeuroVis的独特功能可以帮助提高我们可视化和计划这些常见SRS案例的能力。

‎ 把这个图

病例场景2:切除腔体伴有额外转移

在多发性脑转移患者切除1或2个显性病变的情况下，患者通常会对切除的空洞和剩余未切除的病变进行术后放射治疗。在这些情况下，考虑到多个靶标(其中一个或多个靶标可能很大)以及治疗弧线重叠的可能性，桨桨辅助器的最大剂量限制是一个重要的考虑因素[17，18］．使用NeuroVis, OARs和放射手术靶点可以以各种方式分离和组合，通过帮助剂量计量学家和物理学家以动态的方式看到这些关键关系，帮助最大限度地提高治疗计划的安全性(图3A).此外，在规划时将MRI平面与全息图结合，有助于了解切除空腔与病变之间的关系(图3B).这种新的观察和规划方式可以帮助确定是否可以将病变聚集起来进行分期治疗，因为每个病变和切除腔实际上都可以被孤立起来形成分组[17］．裁剪平面功能允许我们查看与头皮的关系，并帮助我们制定计划，通过病灶分组和分割(图3C) (19］．

‎ 把这个图

病例场景3:多发性脑转移

以前接受全脑照射治疗的多发颅内转移瘤患者，现在通常接受SRS治疗[20.-23］．此外，许多脑转移的放射外科治疗现在是可行的[22，24，25］．在规划有多个转移的病例时，主要的视觉挑战是了解许多病灶的颅内地形或扩散。NeuroVis可以通过让团队中的所有从业者在3D全息图中查看患者的肿瘤负担和地形来加强这些讨论(图3D).使用NeuroVis对病例进行可视化和复查，可以提供可能存在的病变簇的评价，特别是当一些病变太小，单纯通过2D MRI评估很难理解时。此外，XR耳机中的全息图允许多个病变的交互式视图，其中MRI平面可以组合显示从2D到3D可视化的转换(图3F). NeuroVis中的特征使更准确地了解病变与桨叶的接近性成为可能(图3E).此外，改变某些解剖结构(如脑室和脑干)的透明度有助于阐明它们与邻近亚厘米病变的关系。

情况4:脑干转移

一个特别具有挑战性的SRS病例场景是有单一或多个脑干转移的患者。先前普遍存在的对脑干转移患者预后的悲观看法，导致对这些患者使用全脑放疗而不是立体定向放射手术，已经被几个单一和多机构的脑干转移患者用SRS治疗的良好结果所挑战[26-29］．然而，考虑到与脑干相关的严格剂量限制，SRS治疗这些病例仍然非常具有挑战性，脑干是关键的桨叶。在脑干转移瘤的规划讨论中，小脑干病变的3D方向、形状和聚集性通常在二维屏幕上的传统成像模式难以很好地显示。使用NeuroVis，可以改变脑干本身的透明度，以便更清楚地了解脑干解剖学内病变的关系(图4A).类似于在其他临床病例中使用的技术，MRI轴向、冠状和矢状面可以与全息图叠加，以更好地可视化3D定向模型和2D MRI轮廓之间的关系(图4B)。在这里，裁剪平面特征也允许描绘脑干本身的轮廓和内部病变之间的关系(图4C).此外，通过淡化大脑，我们可以更好地了解病变的深度及其与表面解剖的关系。这些操作和可视化这些具有挑战性的病变的新技术可用于优化剂量和治疗计划的安全性。

‎ 把这个图

案例场景5:前庭神经鞘瘤

前庭神经鞘瘤(VSs)由于肿瘤控制率和安全性好，常采用放射手术治疗。保存听力是一个关键目标;研究表明，VS的放射手术保存听力的机会比观察更好[30.］．在SRS期间限制耳蜗的辐射剂量已被证明对听力保存很重要[31，32］．NeuroVis详细显示了VS轮廓，以便更好地了解肿瘤与耳蜗的接近程度，以便制定计划。分离病灶和PTV的全息图像使我们可以看到它与脑干和耳蜗的接近程度，这是最近的桨叶(图4D).与多发性脑干转移类似，通过改变上覆大脑的不透明度，可以更好地了解VS的深部位置，进一步阐明该病变与其周围结构之间的关系(图4E).增加MRI平面也增强了识别潜在手术走廊的能力(图4F)如果患者仍在考虑手术作为一种潜在的治疗选择。

病例场景6:脑室内病变

在计划脑室内病变的放射手术时，我们认识到侧脑室是复杂的半圆形结构，在二维x光片上常常不能很好地理解。因此，心室的3D全息表示对于理解心室的解剖结构是非常有用的(图5A).当与不同的MRI平面相结合时，这种脑室内病理的可视化可以通过NeuroVis进一步增强。淡化心室的混浊，可在三维空间中显示目标及其在心室的体积占用(图5B).值得注意的是，该案例展示了在分割MRI扫描以创建3D模型方面出现的一些新挑战。脑室内脑膜瘤的异质强化使脑室的三维分割变得复杂，这需要创建精确的全息图(图5C) -使用3D切片机上可用的工具手动分割克服的障碍。

‎ 把这个图

讨论

主要研究结果

在这篇概念验证技术笔记中，我们演示了NeuroVis可以通过在讨论病例时将MDT中的所有用户放在同一个可视化平面上，以更好的方式呈现成像数据。它还可以帮助我们更清楚地了解病灶的大小、形状和分布。该技术使得靶病灶、桨叶和表面解剖之间的关系更加明显。虽然在扩大这项技术的使用方面存在挑战，但潜在的好处促使我们继续朝着这一目标努力。通过整合机器学习和改进大脑分割的自动化，这一领域未来还有几个潜在的扩展领域。除了促进技术讨论，NeuroVis可能通过创建更有效的治疗计划工作流程来优化SRS病例规划，并最终优化放射外科治疗的交付效率和安全性，最终目标是改善患者预后和护理质量。

挑战和局限性

与所有新技术一样，在放射外科病例规划中扩大XR的应用存在挑战。例如，如前所述，精确的3D分割是创建精确重建全息图的关键步骤，该全息图将从2D MRI扫描集成到HoloLens耳机中。诸如FreeSurfer、Vbm、Ibaspm等软件提供了分割正常大脑的能力[33，34］．然而，对脑肿瘤患者进行大脑分割更为复杂，往往需要多种方法的结合[34，35］．大多数放射外科治疗依赖于有效的检测和病灶的精确分割。因此，在放射外科中，有机会进一步创新许多基于深度学习技术的自动大脑分割方法。这些方法正在开发中，用于胶质瘤和脑转移的预处理分割，目的是在高剂量辐射治疗中最大限度地提高安全性[35］．这些先进的自动分割方法也可以用于解决在SRS中创建XR使用的全息图时有时出现的分割挑战。

需要考虑的其他挑战与耳机有关。这些障碍包括在学术中心大规模获得有些罕见的耳机设备。作者乐观地认为，随着更新、更便宜和可扩展的XR耳机生产的出现，这个问题将在不久的将来很容易解决。至于穿戴这种设备的便携性和舒适度，HoloLens版本1和2(微软公司)已经在设计和贴合方面取得了改进。尽管在渲染全息图的质量上有了微小的改进，但第二版设备的舒适度使该技术更适合于需要佩戴数分钟的情况下的讨论。然而，鉴于XR在医疗和非医疗领域的市场不断扩大，设计的演变预计将迅速发生。

为了使这项技术成功地融入病例讨论中，每个机构必须建立一种方法，在团队成员之间转移每个患者所需的成像数据，并在MDT病例会议之前分配创建和上传全息图的任务。在我们创建和执行这些全息图的初步经验中，工作流可以通过一些委派任务的团队会议成功建立起来。

未来的发展方向

事实上，扩大这项技术的使用所面临的许多挑战突出了增长和扩展的机会。在本技术报告中演示了NeuroVis的概念证明后，在未来的研究中，我们计划将NeuroVis与传统的3D成像方式进行比较，如3D MRI血管造影或3D CT血管造影，这些通常用于涉及复杂神经解剖相关的病例，以进一步调查和衡量我们在跨学科病例讨论和SRS病例规划中应用的额外效益。此外，未来的调查问卷和可用性评分将是进一步测试该应用程序的有意义的下一步。此外，有关于COVID-19大流行开始带来的神经外科实践变化的新文献[36］．这次大流行对卫生保健和神经外科造成的最普遍的变化取决于远程医疗和远程沉浸式会议的更多使用[37］．这种向远程通信的转变也将继续影响我们在放射外科的MDT会议，因此，在这个领域有一个独特的机会，可以将XR技术结合起来，以改善我们的远程病例讨论和通信。此外，机器学习和人工智能与医学XR领域的融合具有巨大的潜力。机器学习可以帮助我们更准确地分割MRI扫描，并在AR和MR设置下对图像进行配准。这一领域的创新前景是光明的，充满了更多技术创新的机会。