西班牙将HoloLens 2 MR技术用于心脏微创手术，实时超声引导股动脉插管
团队探索了混合现实在实时超声引导股动脉插管的应用
（映维网Nweon 2023年11月28日）医疗卫生领域正在积极引入以微软HoloLens为代表的混合现实技术，通过直接在用户视场叠加逼真的数字信息来提高效率，降低成本和改善沟通等等。实际上，业界和学界在应用微软HoloLens方面已经出现了一系列的案例。
在西班牙，西班牙巴利亚多利德大学和西班牙心血管疾病生物医学网络研究中心同样展开了基于微软HoloLens的医学卫生+混合现实的研究实验。具体来说，团队探索了混合现实在实时超声引导股动脉插管的应用。
团队指出，这项研究的目标是将混合现实用于协助医生进行复杂的心脏介入手术，特别是实时超声引导股动脉插管。在微创治疗复杂心脏疾病方面，介入心脏病学是最先进的领域之一，并涉及血管造影、超声心动图和基于计算机断层扫描的图像。所以，混合现实在这一领域的附加价值与增强态势感知、集成多模态数据和提供免手操作系统界面特别相关。
通过探究这个用例，他们希望说明混合现实技术可以如何在临床和外科手术过程中成功地支持从业者。
在实验中，团队开发了基于微软HoloLens 2的混合现实系统，并希望帮助从业者进行实时超声引导的股动脉插管。
对于这个手术过程，医生在过去必须手持超声扫描仪和穿刺针，并看着放置在病人身上的屏幕。尽管这是一种常见的手术，但它涉及到一种非常特殊的技术，所以需要从业者掌握非常具有挑战性的技能。
所以，对于经验不足的外科医生而言，这种手术非常并不容易。其中，主要难点在于医学图像和相关信息的可视化，以及用于穿刺的针头相对于血管的相对定位。
为了实现支持从业人员，西班牙巴利亚多利德大学和西班牙心血管疾病生物医学网络研究中心开发了一个基于微软HoloLens的混合现实系统，目标是提高准确性，从而减少干预的时间和成本，以及潜在的相关风险。
考虑到医院的工作条件和从业人员的技能和态度，团队邀请了相关领域医生参与了系统的设计，从而产生适合其需求的工具。
根据反馈，手术医师和医疗管理人员提出的主要要求总结如下:
- 足够的成本效益，可以纳入公立医院的日常外科实践和程序。
- 足够简单，可以由经验和技能水平尚浅的从业人员使用。
- 足够可靠，可用于实时手术和干预，支持外科医生在进行股动脉穿刺时提高准确性，并减少手术过程中消耗的时间。
考虑到上述前提，屯对提出了一个分为两个模块的系统，其中每个模块都有特定的目标：（1）负责将医学图像发送到HoloLens 2的发送模块；（2）托管在HoloLens 2中，负责渲染医学图像，将它们放置在特定的空间位置，并允许医生在3D环境中查看和管理它们的接收模块。
发送模块在机器中负责承载视频传输应用。这个本模块的主要任务如下:
- 收集目标医疗信号视频流。
- 对采集到的视频流进行处理。
- 封装和传输视频帧。
接收模块位于HoloLens 2，并主要用于承载视频接收应用程序：
- 解码传入帧。
- 探测和追踪感兴趣的目标。在这种情况下，QR码用作追踪各种对象的简单且可靠的目标，从而消除了训练模型来追踪特定对象的必要性。
- 将视频流投射到目标对象。
- 允许医生与视频投影交互，例如放大，缩小，移动，关闭等。
首先，超声波扫描仪从患者身上提取图像，通过HDMI发送（必要时可以使用适配器进行输出）。然后，视频采集机通过HDMI IN口采集图像，并通过HDMI OUT口传输到计算机。计算机处理图像，将它们封装在UDP数据报中，并通过广播在与HoloLens 2共享的网络传输。最后，HoloLens 2接收UDP数据报流，解封装，并将其呈现在3D对象之上。
发送模块驻留在计算机中，并负责如上所述的任务。为了实现这一点，计算机运行一个Unity应用程序，其中包括两个主要软件包AVPro Live和FMTEP。AVPro Live允许应用程序检测HDMI输入视频流并将其渲染到Unity 3D场景中的平面。
FMTEP则使用所述平面捕获视频流，并将其封装在UDP数据报中，通过本地网络发送。综上所述，AVPro Live允许应用程序检测视频并将视频从视频采集卡插入到FMTEP封装传输系统，如图2所示。
一旦计算机发送传输，路由器4G读取UDP数据报的目的地。这意味着目的地是连接到路由器4G提供的网络的每个设备。这使得HoloLens 2（接收器）无需手动配置IP即可轻松检测和提取传输，因为每次设备离开本地网络时，其IP都可用于其他设备。
最后，接收模块有数个功能并行执行。一方面，它必须在平面呈现UDP数据报的内容，另一方面，它必须检测二维码并将平面定位在二位码，如图3所示。
然后，医生可以将二维码放置在目标区域，而图像则会投影到这里。因此，超声图像可以显示在患者的正上方，并使用二维码追踪超声扫描仪。
另外，医生可以使用位于窗口顶部的按钮锁定平面位置（从而终止追踪）。这使他们能够方便地重新定位飞行到一个更合适的位置，只需简单地通过手动抓取和移动它即可。当然，他们可以通过按相同的按钮重新激活追踪功能。
另一个需要考虑的问题是，尽管实时流式传输对于这种医疗实践十分必要，但根据手术的重要性，在分辨率和延迟之间找到平衡是非常关键。任何延迟都可能阻碍医生有效执行穿刺的能力并危及患者的安全。
为了达到这个目的，团队选择了UDP。UDP是一种轻量级的、快速的协议，采用base64编码简化图像数据传输。然而，更高的分辨率需要传输更多的数据，这就影响了分辨率至关重要的应用程序的连接稳定性。
为了应对这一挑战并实现近乎实时的流体验，对于任何给定的图像分辨率，将延迟保持在接近200毫秒至关重要。在本例中，对于640 × 480的图像分辨率（对于动脉穿刺的医疗实践已经足够），平均延迟达到200 ms，偶尔会出现250 ms左右的异常值，这主要是由于无线连接问题。
考虑到连接完整性的潜在不一致，为编码、传输、解码和呈现数据合并有效的逻辑十分关键。为了实现更高效的系统，团队强烈建议利用计算机或笔记本电脑的计算能力，而不是给HoloLens 2增加处理需求的负担。
图4显示了在实时超声引导的股动脉插管中，使用发送模块设置和系统的不同时刻图片。
对于右上象限，医生可以通过窗口右上角的按钮手动将超声扫描仪图像固定在患者上方。左下象限则显示系统辅助下的动脉穿刺。右下象限显示了从纵切面上进入动脉的导向器
右上象限所示，医生可能希望手动处理平面。在这个场景中，医生把平面固定在病人身上。根据从业者建立的系统要求，有时候需要将平面重新分配到不同的地方。这个功能有助于在干预期间清理视野，或者根据不同的因素（如场景照明和背景纹理）将平面分配给对医生更舒适的地方。
另外，图4的右下和左下象限中显示，在使用系统时，介入心脏病专家可以遵循穿刺和指南，从而以尽可能安全的方式进行。如图所示，心脏病专家可以同时看着穿刺点和超声扫描点进行手术，这减少了干预的风险和时间。根据从业人员的报告，这种操作比旧方法更直观和舒适。
作为概念验证，研究的主要目的是证明斯帕斯基方法的可行性：9次穿刺中有9次被认为是成功的，不需要重新进行，没有记录与穿刺相关的不良事件（例如出血）。体验结束后，两位介入心脏病专家根据5个主观参数对体验进行评分，如表3所示：
当然，在后续访谈中，作业者提到了两个主要的限制:
- 在明亮的照明环境中图像对比度低。
- 长时间佩戴头显可能会不舒服。
总的来说，团队认为基于微软HoloLens 2开发的混合现实系统足够可靠和简单，可以在介入心脏病学的实时实践中由从业者使用。在对系统进行定性分析期间，从业人员的反馈证实了这一点。
据悉，所述系统已用于协助西班牙中部一家大型公立医院的医生在多达9次干预中进行股动脉插管。系统同时具有足够的成本效益，可以纳入公共卫生系统。综上所述，这表明混合现实可以在临床和外科手术过程中成功地支持从业者。
