拓盟科技医学影像 3D 可视化系统，打造以 HoloLens 为核心的一站式解决方案
查看引用/信息源请点击：Microsoft
黑龙江拓盟科技有限公司
（映维网Nweon 2018年01月01日）黑龙江拓盟科技有限公司成立于 2015 年 7 月，是主要从事医学影像三维可视化技术研发与应用的高新技术企业。拓盟科技管理团队由一批具有多年管理工作经验的人员组成，建立了研发中心，拥有经验丰富的专业团队，包括博士 8 人，研究生 12 人，专注于医学影像三维可视化技术研究。拓盟科技拥有多项医学影像三维可视化领域的自主知识产权，能提供个性化的精准医疗解决方案，是国内率先倡导并实施医疗三维可视化整套解决方案的公司。
解决方案背景
混合现实技术（简称 MR）是继虚拟现实技术（简称VR）、增强现实技术（简称AR）之后，出现的全新数字全息影像技术。该技术最核心的特性是打破了数字的虚拟世界与物理的真实世界的界限，从而将数字技术多年的量变积累突破到质变。混合现实技术一出现就得到了医学界强烈的关注，哈佛大学医学院、梅奥医院等医学殿堂级机构预测混合现实将给医学带来巨大的变革。
在医学领域，被广泛应用的 CT、核磁共振等影像检查结束后，生成二维胶片，医生通过阅片，辨识病灶，诊断疾病。这是大众最熟知，也是最传统的医学影像数据呈现技术。但是，片子是二维的，而人体本身的结构是三维的，二者不能直观对应。需要医生根据自己的专业知识和临床经验，在脑海中把二维影像数据重构为三维立体结构。这一过程可不是一蹴而就的，必须经过长期不断的积累和学习。
而当观察事物的方式改变时，理解事物的方式也会随之改变，当我们以全新的方式认知世界，就会获得不一样的理解。随着社会发展，人们健康意识提升，对医疗机构医疗水平期望也逐渐加深。对医学而言，混合现实技术对于提高医生空间感知能力有很大的帮助。混合现实在医学领域中已经成为前沿医学影像可视化技术，拥有巨大的潜力和探索价值，其良好的动态可交互性也将为医疗行业带来更加丰富的用户体验。
行业痛点
近年来，出现一些诸如 3D 打印、平面三维重建的医学呈现方法。3D 打印虽可直观、立体显示，但成本较高，一旦成型无法修改编辑;平面三维呈现技术可立体显示，修改也方便，但其仍然依靠二维平面显示器，并非真正意义上的三维。在现有医疗环境中，影像数据有效利用率低，医生成长缓慢，医疗资源分布不均。在临床实践中也具有对医学数据的挖掘和有效使用程度低下、手术智能化程度低、异地远程医疗协作难以规模化等痛点;在医学教学与培训中，理论教学使用二维图片或者通用标本，教学效率低，学生的临床实践操作培训机会少、引起医患矛盾的风险高。因此，从临床医学到医学教学培训的各个环节，现有解决方案和技术，已逐渐满足不了人们日益增长的诊疗需求。
拓盟科技基于 HoloLens 的“拓影系统”
面对医疗行业的迫切需求，在混合现实技术发展的浪潮推动下，拓盟科技基于 HoloLens 开发的“拓影系统”应运而生，它的出现改变了医疗行业观察事物的传统方法。拓影系统由三大组件共同组成，包括：拓影混合现实 3D 可视化辅助诊断系统、拓盟医学影像处理云平台和诊断图像处理软件。医学影像处理云平台在医生、患者与后台技术人员之间搭建了桥梁，医生将患者的影像数据上传至云平台，技术人员进行影像处理，将三维重建结果上传至云平台后，医生和患者即可随时随地查看。诊断图像处理软件是一款用于医学影像三维重建的软件，是黑龙江省首个获得 CFDA 认证的医疗图像处理软件。该软件旨在满足外科医生实际临床手术中数字化建模和导板设计的需求，可进行各种手术规划、手术演练和术后结果预测，也可用于计算机辅助手术培训和教育等。
解决方案的核心是“拓影混合现实 3D 可视化辅助诊断系统”，该系统是拓盟科技自主研发的一款人机交互混合现实技术影像产品，是国内率先将混合现实技术与医疗相结合的跨时代产物。该方案以微软混合现实（Mixed Reality）技术为核心，将物理世界和数字世界中的人、物和场所融为一体。混合现实技术为医疗人员提供了一种虚拟与现实叠加的混合环境，医生可以与混合现实中的全息医疗影像交互，让 3D 全息器官模型可视化呈现，让病变情况“赤裸裸”的展现在眼前。
“拓影混合现实 3D 可视化辅助诊断系统”通过 HoloLens 混合现实技术实现了全息阅片新方式，为医生提供了更多细节信息和高效的临床和教学效果。该系统以核磁共振、CT 等医学影像数据为基础，通过医学影像三维重建技术，将虚拟的患者病灶结构模型用全息技术投射到手术视野中去，叠加在患者病灶结构上，并与病灶部位 1:1 完美匹配，帮助医生更加快速的定位，以达到精准医疗的目的。
“拓影系统”的组成
通过读取病人的 CT、核磁共振等数据，拓影系统可以在诊断图像处理软件上进行自动或半自动化处理，生成 3D 全息影像模型，戴上MR眼镜后可将 3D 影像呈现到现实空间中，对其进行任意的拆分、缩放、旋转、移动、深度切割等操作，可以更好的帮助医生理解复杂病灶的空间结构和位置关系，从而实现医学信息的精确传递与共享。
“拓影系统”将混合现实技术与医学影像三维重建技术相结合，实现了三大功能，包括：帮助医生在手术前评估手术风险，制定出科学、详细的手术方案;通过导航指引，让医生精准定位病灶位置、掌握病灶周围情况;可以在手术后实时将 CT、核磁共振等影像数据转化成三维影像模型，有利于对患者后续健康状况进行监测和评估。
利用这些功能，拓影系统不仅有助于医生更加直观的了解患者的病状，实施更准确的治疗方案，还能更直观的给患者及家属解析病情，加强医患间的沟通和理解，同时支持多方视角和远程会诊功能，该系统经优化后可实现<1s 的低延迟远程医疗体验，实现了基层医院的患者导流。该解决方案在辅助医生诊断、手术仿真、引导治疗等方面都发挥着重要作用，其优势在于： • 逼真立体的全息医疗影像展现方式：为医生提供逼真的显示手段和定量分析工具; • 可视化和信息化创新：服务于医生临床实践，辅助医生医学诊断; • 多角度、多层次：便于医生从多角度和多层次进行观察和分析病情; • 定量定性分析：辅助医生对病变体及周围进行准确的定量分析和定性判断。 技术整合实现医疗水平革新
“拓影系统”利用混合现实技术所做出的最重要改变，在于把现有的数字化技术，包括三维的可视化技术、导航技术、机器人技术等，与真实空间进行融合，将原有的数字化技术进行了放大。利用这种先进的全息影像展现模式，“拓影系统”在医疗领域的应用展现了下列价值：
- 以全息医学影像改变传统医疗模式和阅片方式，术前的风险已经预知，可以有效降低整体风险，年轻医生在该系统的辅助下也可以完成高难度手术
- 自然流畅的医患沟通，患者可以和医生一起观看自己的 3D 病灶模型，患者可以更直观地了解自己所患的疾病和相应治疗方案，有效避免潜在的分歧和医患纠纷;
- 安全合理的手术规划，借助于全息显示的影像学数据，医生得以全面观察病灶细节、深度挖掘影像信息，进而规划出更加安全合理的手术方案;
- 颠覆传统教学方式，通过实体教具与混合现实模型的叠加，高效进行临床技能培训，提高学习效率，加速年轻医生成长，缩短医学生培养周期。
利用“拓影系统”，医生对病变部位情况和手术室真实环境尽收眼底，并且通过特定手势可以对虚拟图像进行遥控，将虚拟图像与实际体位 1:1 的完美结合，已经被多家医院所采用：
在实际手术应用中，“拓影系统”直观、精准的使用体验有效帮助外科医生缩短手术时间，减少患者痛苦。在广东省人民医院，庄建院长使用该系统成功实现了全球首例 MR 辅助的心脏手术，在混合现实手术导航协同的帮助下，应用 IPAD 对眼镜中的模型进行操作，可实现与 Hololens 的同步，同时 3D 模型与人体器官组织也可实现毫米级匹配，将手术时间从 10 小时缩短到 4 小时，该案例受到国内多家知名媒体报道。医生们借助拓盟科技研发的拓影系统，术前根据 CT 重建好的虚拟三维患儿心脏影像，术中投射到手术台上方，开胸后将虚拟心脏“放到”患儿胸腔，同实际心脏重合，这样就根据影像指引，一条条把像灌木丛般混乱的侧支血管找到，然后“移花接木”到它们该在的位置。手术仅花了 4 个多小时顺利结束，这比常规缩短了 6 个小时以上。
拓影系统运行画面-3D 可视化病例模型（肺动脉闭锁）
“拓影系统”为广东省人民医院心脏手术的医生提供高科技辅助
在哈尔滨医科大学附属第二医院，外科医生在手术时利用“拓影系统”所展现的全息医疗影像，对被血管重重包围的肿物进行精准定位，将本来难以切除的肿物最终顺利切除，完成了哈医大二院增强现实 3D 可视化指导下的腹膜后肿物切除手术。“通过术前片子显示，肿物的位置非常特殊，四面被髂外动脉、髂外静脉、输尿管、股神经紧紧包围，手术中稍有不慎就会造成不可避免的损伤，所以想要完整切除下来的可能性不大。”医生这样介绍，但是通过将全腹部增强 CT 影像数据转化成精准的全息三维可视化图像，主任医师团队制定了科学、详细的手术方案，将术前制作完成的 3D 可视化影像投射到手术室真实场景中，并通过特定手势对虚拟图像进行大小方向的调整，最终将虚拟图像与病灶 1:1 完美匹配投射到手术视野中去，从而对病灶及周围血管情况了如指掌。在 HoloLens 虚拟术中导航的帮助下，主刀的邰升主任在每次小心翼翼剥离一条血管后都会对照一下虚拟图像的位置，从而确保不会损害到其他血管、神经、组织，手术十分顺利，将本来无法完整切除的肿物成功切下。哈医大二院的崔云甫主任表示：“这项全息三维可视化辅助诊疗系统技术开创了精准外科新模式，帮助医生在术前可以精准评估手术风险，制定出最科学、详细的手术方案，并且可以模拟术中导航和术中超声的作用，医生可以精准定位病灶位置和掌握病灶周围情况，降低手术风险，将病灶根治性切除，术后可以实时将 CT、核磁共振等影像数据转化成三维影像模型，更及时、更全面、更精准追踪病情，对个体的术后状况和健康进行监测和评估”。
哈医大二院手术病人左侧髂外动脉、髂外静脉、输尿管以及肿瘤的重建影像
医生戴上数字化眼镜，在虚拟图像的导航下进行手术
在郑州市中心医院肝胆胰微创外科，在季春勇主任带领下，成功使用“拓影系统”完成首例混合现实指导下腹腔镜肝癌切除术。在本次手术中，3D 可视化全息影像清晰显示肿瘤位于肝左内叶，与肝中静脉、肝右动脉关系紧密，侵犯肝左静脉、门静脉左支。由于这些情况，手术困难大、风险高。在这次手术前，通过技术处理可以让 HoloLens 获得与病人解剖信息一致的全息 3D 影像，经过空间映射后可以将这种 3D 影像准确叠加到病人相应的部位，医生佩戴 HoloLens 后就可以透过人体表面精准地观察病变部位的形态、位置和毗邻关系，为精准外科手术提供视觉支持。医生借助 MR 眼镜，在真实场景下对三维图像进行旋转、缩放、删减结构等操作，为医生的手术提供精准化服务。通过 3D 可视化系统多角度辅助识别，缩短了手术时间，手术在三个小时后顺利完成，肿瘤完整切除。混合现实技术提供的精确全息影像模型展现对术中难度最大的肝中静脉予以保护，从而避免更大范围的肝切除术，尽可能地保留了正常肝脏组织，有利于病人肝功能的尽快恢复。
郑州市中心医院第一例混合现实全息 3D 可视化指导下的手术
此外，在学科建设方面，“拓影系统”还可以加速培育年轻医生群体，铺开应用于其他医疗领域。这项系统的应用，无论从医疗学科建设还是患者治疗的层面看，都是一个医患双赢的局面，借助该方案医院可开展数十种个性化医疗服务，同样诊疗项目提升医院盈利能力 30%，医院服务水平也因此得到极大提升，经对比，利用该技术后对患者的吸引力增加 40%。
微软混合现实合作伙伴项目——加速技术创新和应用
拓盟科技采用以云计算和可视医学为底层基础，以混合现实为交互的解决方案，把医学技术以全息的方式呈现，这种三维可视化交互方式对于专家而言可以方便地对信息进行筛选、分析，准确地制定方案，对患者及患者家属而言可以直观地了解病症及治疗进度，促进专家和患者的交流，从而提高医疗效率。
拓盟科技作为一家主要从事医学影像 3D 可视化技术研发与应用的高新技术企业，拥有与医学影像 3D 可视化相关的多项自主知识产权，是国内率先倡导并实施医学影像 3D 可视化整套解决方案的公司。同时，也不断加强与微软的全方位合作，在 2018 年 6 月接受了微软 HoloLens 团队的考核，顺利通过 MRPP 认证（微软全球混合现实合作伙伴认证），并成为微软 HOLOLENS 中国区首家渠道转售商。
微软混合现实合作伙伴计划（Mixed Reality Partner Program）是微软针对数字营销公司、系统集成商和解决方案提供商的综合性支持计划，旨在帮助他们为客户构建混合现实解决方案。作为 MRPP 项目的成员公司，拓盟科技获得了丰富的技术资源和支持，与 HoloLens 项目团队直接进行交流学习和实操项目的演练。
针对未来发展，拓盟科技的研发团队会针对医疗领域中的应用需求和场景对 HoloLens 进行更加深入的开发，进一步提升“拓影系统”在医患交流、手术方案沟通和术中交互式导航的体验和功能，同时计划利用微软 Azure 智能云打破地域和设备的边界，实现混合现实和移动平台的联动与互通，提升平台之间的协同能力，还希望借助微软 MRPP 项目提供的资源平台，将微软最先进的人工智能融合到“拓影系统”，满足不同用户在不同场景下的智能化体验需求，提升 HoloLens 在医疗应用中的交互丰富度。
