HoloLens 2混合现实医疗实践,为神经外科医生“装上”火眼金睛

查看引用/信息源请点击:微软

HoloLens 2 混合现实技术应用在未来临床诊疗中

映维网 2021年09月28日)人类的大脑是非常复杂并且脆弱的。因此,脑肿瘤切除被称为现代医学界最棘手的手术之一。有些肿瘤长在大脑灰质深处,不易观察并进行切除。另一些肿瘤的位置必须借助触手状的内窥镜,使用触摸投影进行切除手术,这使得手术必须在非常精准的状态下进行,对外科医生手术精准度要求较高。

Hololens2 逐渐应用在不同医疗领域中

来自新加坡国立大学公共卫生(NUHS)专业的学术研究小组正在研究如何借助数字辅助程序,将微软 HoloLens 2 混合现实技术应用在神经外科手术中,从而为医生提供增强版精准 3D 影像视图。该研究是 NUHS 全息医学项目的一部分,旨在研究如何将 HoloLens 2 混合现实技术应用在未来临床诊疗中。目前, HoloLens 2 混合现实技术已被许多国家的医生广泛应用在不同医学领域。

该小组正通过一些研究了解以比较 HoloLens 2 混合现实技术在辅助神经外科手术中的应用的潜力,同时与新加坡现有几个 NUHS 手术室的当前临床实践做对比。目前,该项目处于研发阶段。在初步成为手术的辅助工具前,还将需要获得相关监管部门批准后,才能将其应用在真实患者的手术治疗中。

Hololens2 为手术过程带来的改变

HoloLens 2 支持手势识别和语音指令功能,能在手术中帮助外科医生查看由患者早期医学扫描生成的 3D 影像视图。手术过程中这些影像视图会显示在医生佩戴的 HoloLens 2 头显设备上,并通过全息影像同步呈现在患者身体相应的部位上。外科医生可以移动这些虚拟图像,便于多角度观察医学影像。在手术过程中,医生还可以使用 HoloLens 2 访问患者数据、调用视频或文档,甚至联系其他专家寻求建议等。

现阶段,NUHS 研究团队希望神经外科医生在手术时体验和评估 HoloLens 2,但是医生必须遵守临床实践和程序标准,不要过分依赖该设备。目前,外科医生在手术时常参考 HoloLens 2 屏幕上显示的 CT 或 MRI 扫描。以往手术中,医生需要重复抬头从屏幕获取影像,低头观察病人病灶这一过程。通过经验将观察到的 2D 影像视图匹配到 3D 对象(患者头部)上。实际上这并不是一件容易完成的事,因为即使使用了现代术中导航设备,导航屏幕与手术台距离造成的视觉上误差,仍旧为手术带来挑战。

NUHS 集团首席技术官,全息医学项目开发和实施负责人,Ngiam Kee Yuan 副教授提到,使用 HoloLens 2 的目的就是去取代这种反复观察并匹配的过程。取而代之的是,通过扫描生成的 3D 大脑图展示在外科医生的头显设备上,并以交互式全息图的形式叠加在患者现实中相对应的部位上。这种增强版 3D 全息影像视图能帮助外科医生有效穿过颅骨和脑组织“观察”患者大脑内部,帮助外科医生在手术过程中直接观察肿瘤细节。

HoloLens 2 混合现实技术有潜力提供高度精确的参考影像视图,就像科幻小说或超级英雄类电影里演的那样。正如 Ngiam 教授所说:“患者一定希望医生拥有钢铁侠般的能力。”

在使用 HoloLens 2 混合现实技术的手术中,由于患者大脑的全息影像视图被锚定在固定位置,所以其呈现效果视图不会因为医生观察的位置、角度不同而受到影响。而且,该技术支持多个佩戴 HoloLens 2 头显设备的外科医生同时精准地查看同一张全息影像视图,为手术间团队协作提供更多可能。NUHS 全息医学项目负责人 Gao Yujia 博士回忆到:“我第一次戴 HoloLens 2 头显设备时也非常吃惊于它的‘技能’。它为我们提供了一个充满可能性的平台,我们可以在其之上不断进行研究和功能开发。”

Hololens2 为医疗和医患关系带来无限可能

Gao 博士和 Ngiam 教授期待在未来,HoloLens 2 混合现实技术可以辅助医生提高临床诊疗效果,保障患者安全的同时提升康复效果。除神经外科以外,HoloLens 2 混合现实技术还可应用在复杂的脊柱手术、肝脏手术、面部重建等手术中。但由于该项技术复杂度高,研究团队可能需要再花费几年时间,做更多调研究及开发后,再将其广泛应用。

Ngiam Kee Yuan 副教授(左)和 Gao Yujia 博士(右)

在过去10年中,术中导航技术在帮助医生处理复杂器官手术方面取得了重大进展,但由于脑部手术异常复杂,所以手术仍旧高度依赖医生手术水平。借助 HoloLens 2 混合现实技术,外科医生还可以使用“切片盒”来提供相关区域的 2D 视图。这有点像从一个方形鱼缸内部向外看,玻璃另一侧就是相关大脑切片。Ngiam 教授表示:“通过这个切片,外科医生可以非常详细地了解肿瘤的深度和其 3D 位置。我坚信,现有制导系统是无法与之匹敌的。”Ngiam 教授补充道:“对脑部手术而言,成功不仅仅是简单的成功摘除肿瘤。大脑是非常敏感的器官,外科医生在进行肿瘤切除手术时,一定要最大限度减少对周围脑组织的损害。而 HoloLens 2 混合现实技术可以在此方面为外科医生提供帮助。”

Ngiam 教授相信,一旦 HoloLens 2 混合现实技术被广泛使用,其全新用途就会被专家们持续不断地发掘出来。这一切已经在悄然进行着。在NUHS 神经外科医生测试这项技术的过程中,一位神经外科医生发现可以整合 HoloLens 和“国际脑部连接项目”的数据。HoloLens 的相关技术,让这一切“不可思议”的技术成为现实。

该项目确定了大脑内部特定位置与大脑控制的身体部位之间的联系,有利于帮助神经外科医生了解相关脑组织与身体的连接关系。如,脑组织受损会影响患者语言表达能力,甚至导致患者偏瘫。

除了外科医生,患者也可以使用 HoloLens 2 设备。如在术前咨询时,患者可以通过佩戴 HoloLens 2 头显设备准确地查看肿瘤位置,了解手术可能带来的潜在风险。Ngiam 教授表示:“患者对手术信息了解的越全面,越有利于患者视情况做出决定。在新加坡,亲属在手术决策过程中扮演非常重要的角色,所以,这项技术对新加坡患者是非常友好的。”

NUHS 希望可以经过持续不断地研发,使 HoloLens 2 混合现实技术被广泛应用,并在国际范围内共享该技术。Ngiam 教授表示:“我们将与合作伙伴协作,使全息医学更具可定制性、用户友好性以及临床适用性。”

更多阅读推荐......

专栏