所有患者的x线影像在使用前都经过匿名处理。商用XR耳机微软HoloLens用于虚拟全息图的可视化和交互( 图1)．HoloLens是一种带有视频透明镜头的头戴式显示器，采用无绳无线设计。

NeuroVis应用程序是用Unity 3D(版本2019.2.17;Unity Technologies)，一个游戏引擎软件，并与混合现实工具包(MRTK)一起使用，MRTK是一个微软驱动的库，提供了一组用于加速Unity 3D中跨平台MR应用程序开发的组件和功能。

患者特定的大脑3D模型是通过匿名磁共振成像(MRI)和计算机断层扫描(CT)采集来创建的。不同大脑结构的分割是使用Brainlab开发的软件完成的，集成在规划过程中，3D切片机，一个用于医学图像处理的开源软件平台，应用不同的分割工具。导出的3D模型被导入到虚拟场景中，并辅以脚本，以允许全息图与用户的手交互(移动、缩放和旋转)。此外，还开发了一些工具和交互功能，以允许用户(1)独立隐藏不同的解剖结构，(2)隔离病变并规划治疗量(PTVs)，(3)可视化轴向、冠状和矢状MRI或CT平面叠加在3D模型上，(4)操作手持剪辑平面，以便实时可视化模型的横截面，以及(5)在模型内独立更改每个解剖结构的透明度。全息界面的设计与最终用户密切相关，以便在程序讨论期间用户友好、有效和有用。该应用程序被证明适用于两种HoloLens(版本1和2;微软公司)，在应用程序构建和部署到设备上之前，对MRTK配置文件设置进行一些小的更改。

关于原始MRI或CT图像的可视化，为Unity实现的体渲染开源代码被改编为在HoloLens中工作，并专门针对应用程序进行了调整。三维离散采样数据集(MRI或CT体积)的二维投影显示在3个正交平面上，以再现矢状面、冠状面和轴向视图。所有解剖平面都可以通过虚拟滑块上的手势在整个成像体积中滚动。用于渲染3D数据的方法是光线行进技术。所有采样的体积值组合并显示在输出渲染图像上的方式是使用带有1D传递函数的直接体积渲染确定的。由于所显示的图像是3D体在2D平面上的投影，而不是预先获取的2D图像堆栈，用户能够操作和选择包含成像体的平面的每一个可能的空间方向。

总共介绍了6个临床场景，展示了NeuroVis在SRS病例讨论中的使用。

威尔康奈尔医学院的研究诚信办公室对该项目进行了审查，并确定它不构成人体受试者研究，因此不需要进一步的机构审查委员会批准或豁免，因为没有获得或使用可识别的私人信息。

所提出的案例代表放射外科的常见应用;我们选择了各种神经肿瘤学场景，因为这些代表了我们实践中最常见的适应症，在开发这个工具时，NeuroVis的价值对我们来说是最明显的。针对每种情况描述了相关的多学科案例讨论过程，以便在上下文中理解NeuroVis的使用。

脑转移瘤切除后，患者通常会接受放射手术，目的是最大限度地降低局部复发的风险。术后SRS解决了手术腔，最大限度地减少了更大范围照射的风险[ 14， 15］．放射外科手术的目标可能很大，并且靠近危险的重要结构和器官[ 16］．在我们的多学科放射外科会议上，神经外科医生和放射肿瘤学家，以及剂量学或物理学团队，根据术前和术后成像制定了术后SRS计划。治疗计划的制定通常基于对二维屏幕上的MRI和CT扫描的讨论( 图2A和2B)。在这一步中引入NeuroVis可以让每个观众在讨论病例时看到相同的3D全息图并与之互动，并提高了对关键结构和切除腔之间关系的理解。例如，通过XR设备观察和操作的全息图可以更好地了解切除腔的大小和形状，并允许神经外科医生向团队解释手术入路。如在 图2C, XR技术还允许更好的切除腔和附近桨的视觉近似。此外，当大脑消失时，可以更清晰地想象手术走廊。NeuroVis可以优化术后设置的体积可视化( 图2D)。使用NeuroVis, MRI平面也可以与模型集成，以进一步了解2D到3D的过渡( 图2E).一个被称为剪切平面的特征允许更好地理解与处理区域( 图2F).在SRS病例讨论设置中使用NeuroVis的所有这些独特功能可以帮助提高我们可视化和规划这些常见SRS病例的能力。

在多发性脑转移患者切除1或2个显性病灶的情况下，患者通常对切除腔和剩余的未切除病灶进行术后放射手术。在这些情况下，桨叶ars的最大剂量限制是一个重要的考虑因素，因为有多个靶点，其中一个或多个靶点可能很大，而且治疗弧线可能重叠[ 17， 18］．使用NeuroVis, OARs和放射手术靶标可以以各种方式分离和组合，通过帮助剂量学家和物理学家以动态的方式看到这些关键关系，帮助最大限度地提高治疗计划的安全性( 图3A).此外，在规划时将MRI平面与全息图结合，有助于了解切除腔与病变之间的关系( 图3B).这种新的观察和规划方法可以帮助确定是否可以将病变聚集在一起进行分期治疗，因为每个病变和切除腔几乎都可以隔离形成组[ 17］．剪切平面功能允许我们查看与头皮的关系，并帮助我们创建计划，通过对病变进行分组和分级，最大限度地减少头皮剂量( 图3C) ( 19］．

先前接受全脑照射治疗的多发性颅内转移患者，现在通常接受SRS治疗[ 20.- 23］．此外，许多脑转移的放射手术治疗现在是可行的[ 22， 24， 25］．在规划有多个转移的病例时，主要的视觉挑战是了解颅内许多病灶的地形或扩散。NeuroVis通过允许团队中的所有从业者在3D全息图中查看患者的肿瘤负担和地形，可以加强这些讨论( 图3D).使用NeuroVis对病例进行可视化和复查，可以了解可能存在的病变集群，特别是当一些病变太小，单纯通过2D MRI评估难以理解时。此外，XR耳机中的全息图允许多个病变的交互式视图，其中MRI平面可以组合，以显示从2D到3D可视化的转变( 图3F). NeuroVis的特征使我们能够更准确地了解病变与桨叶的接近程度( 图3E).此外，改变某些解剖结构(如脑室和脑干)的透明度有助于阐明它们与邻近亚厘米病变的关系。

一个特别具有挑战性的SRS病例场景是患有单个或多个脑干转移的患者。先前对脑干转移患者的预后普遍持悲观态度，这导致在这些患者中使用全脑放疗而不是立体定向放射手术，但在几个单一和多机构的脑干转移患者接受SRS治疗的病例系列中显示的有利结果已对其提出了挑战[ 26- 29］．尽管如此，考虑到与脑干(关键的桨叶)相关的严格剂量限制，用SRS治疗这些病例仍然非常具有挑战性。在脑干转移的规划讨论中，小脑干病变的3D方向、形状和聚类通常在2D屏幕上的传统成像方式中表现不明显。使用NeuroVis，可以改变脑干本身的透明度，以便更清楚地了解脑干解剖结构内病变的关系( 图4A).类似于在其他临床病例中使用的技术，轴向、冠状和矢状MRI平面可以与全息图重叠，以更好地可视化3D定向模型和2D MRI轮廓之间的关系( 图4B).在这里，剪切平面特征也允许描绘脑干本身的轮廓和内部病变之间的关系( 图4C).此外，通过对大脑进行淡化处理，我们可以更好地了解病变的深度及其与表面解剖结构的关系。这些操作和可视化这些具有挑战性的病变的新技术可用于优化剂量测定和治疗计划的安全性。

前庭神经鞘瘤(VSs)因其良好的肿瘤控制率和安全性，常采用放射手术治疗。听力保护是一个关键目标;研究表明，与观察VS相比，放射手术保留听力的机会更大[ 30.］．在SRS期间限制对耳蜗的辐射剂量已被证明对听力保护很重要[ 31， 32］．NeuroVis详细显示VS轮廓，可以更好地了解肿瘤与耳蜗的接近程度，以便于规划。分离病变的全息图像和PTV使我们能够看到它与脑干和耳蜗的距离，这是最近的桨叶( 图4D).与多发脑干转移相似，通过改变上覆大脑的透明度，可以更好地了解VS的深部位置，从而进一步阐明病灶与其周围结构之间的关系( 图4E).增加MRI平面也增强了识别潜在手术走廊的能力( 图4F)是否仍在考虑对患者进行手术作为潜在的治疗选择。

在规划脑室病变的放射手术时，我们认识到侧脑室是复杂的半圆形结构，在二维x线片上往往难以理解。因此，脑室的3D全息表示在理解其解剖结构方面是固有的有用的( 图5A).当与各种MRI平面结合时，NeuroVis可以进一步增强脑室病理的可视化。降低心室的不透明度可以使目标及其在三维空间中心室的体积占用更加直观( 图5B).值得注意的是，这个案例展示了在分割MRI扫描以创建3D模型方面出现的一些新挑战。脑室内脑膜瘤的异质增强使脑室的三维分割复杂化，这需要创建精确的全息图( 图5C) -使用3D切片机上可用的工具手动分割克服的障碍。

在这个概念验证技术说明中，我们已经证明了在讨论病例时，通过将MDT中的所有用户放在同一个可视化平面上，NeuroVis可以以更好的方式呈现成像数据。它还可以帮助我们更清楚地了解病变的大小、形状和分布。该技术使得靶病变、桨叶和表面解剖之间的关系更加明显。虽然在扩大这项技术的使用方面存在挑战，但潜在的好处吸引我们继续朝着这一目标努力。通过整合机器学习和改进大脑分割的自动化，这一领域未来还有几个潜在的扩展领域。除了促进技术讨论之外，NeuroVis还可以通过创建更有效的治疗计划工作流程来帮助优化SRS病例规划，并最终优化放射外科治疗的交付效率和安全性，最终目标是改善患者的结果和护理质量。

与所有新技术一样，在放射外科病例规划中扩大XR使用的实施存在挑战。例如，如前所述，精确的3D分割是创建精确重建的全息图的关键步骤，这些全息图将从2D MRI扫描集成到HoloLens耳机中。诸如FreeSurfer, Vbm, Ibaspm等软件提供了分割正常大脑的能力。 33， 34］．然而，对脑肿瘤患者进行大脑分割更为复杂，往往需要多种方式的结合[ 34， 35］．大多数放射外科治疗依赖于病灶的有效检测和精确分割。因此，在放射外科领域，基于深度学习技术的许多自动大脑分割方法有进一步创新的机会。这些方法正在开发用于胶质瘤和脑转移的预处理分割，以最大限度地提高高剂量放射治疗的安全性[ 35］．这些先进的自动分割方法也可以应用于解决在创建用于SRS的XR全息图时有时出现的分割挑战。

其他需要考虑的挑战与耳机有关。其中包括在学术中心大规模获得这种有点罕见的耳机设备的障碍。作者乐观地认为，随着更新、更便宜、可扩展的XR耳机产品的出现，这个问题将在不久的将来轻松解决。关于佩戴此类设备的便携性和舒适性，使用HoloLens版本1和2(微软公司)已经在设计和合身方面取得了改进。尽管呈现全息图的质量略有改善，但该设备的第二个版本的舒适性使这项技术更适合于需要佩戴设备数分钟的情况下进行讨论。然而，鉴于XR在医疗和非医疗领域的市场不断扩大，设计演变预计将迅速发生。

为了使这项技术成功地纳入病例讨论，每个机构必须建立一种方法，在MDT病例会议之前，在团队成员之间为每个患者传输必要的成像数据，并分配创建和上传全息图的任务。在我们创建和执行这些全息图的初步经验中，工作流可以通过几次团队会议来成功地建立，以分配任务。

事实上，扩大这一技术的使用所面临的许多挑战凸显了增长和扩张的机会。在本技术报告中已经证明了NeuroVis的概念，在未来的研究中，我们计划将NeuroVis与传统的3D成像方式进行比较，如3D MRI血管造影或3D CT血管造影，这些方法经常用于涉及复杂神经解剖学相关的病例，以进一步调查和衡量我们在跨学科病例讨论和SRS病例规划中应用的额外收益。此外，未来的调查问卷和可用性评分将是进一步测试该应用程序的有意义的下一步。此外，有关于COVID-19大流行开始带来的神经外科实践变化的新兴文献[ 36］．这次大流行对卫生保健和神经外科造成的最普遍的变化取决于远程医疗和远程沉浸式会议的使用增加[ 37］．这种向远程通信的转变也将继续影响我们在放射外科的MDT会议，因此，在这个领域有一个独特的机会，可以将XR技术结合起来，以改善我们的远程病例讨论和交流。此外，机器学习和人工智能与医学XR领域的融合具有巨大潜力。机器学习可以帮助加深我们更准确地分割MRI扫描和在AR和MR设置中共配图像的能力。这一领域的创新前景是光明的，充满了更多技术创新的机会。