维卓致远用微软混合现实HoloLens开创辅助医疗全新场景

查看引用/信息源请点击：Microsoft

京维卓致远医疗科技

（映维网Nweon 2018年05月14日）北京维卓致远医疗科技发展有限公司（VISUAL）是一家致力于 3D 数字处理技术与 3D 场景共享技术在医学精准可视化领域应用的高新技术企业。公司以“3D 医疗、云端平台、3D 共享、3D 协作”为核心，为用户提供影像学数据三维处理、三维重构、医疗混合现实方案、3D 场景搭建与共享、远程视频协作与指导、3D 医学教育等服务。维卓致远基于微软混合现实技术的产品与服务已经被多家顶尖三甲医院应用于医患沟通、术中导航、远程会诊、远程手术指导、手术方案规划，模拟手术与术前讨论等领域。该方案提高了手术精准度，加速了医生的成长，缓解了医患矛盾，增强了医疗 3D 影像的呈现力。从事 3D 医疗研究的 10 多年以来，维卓致远已与国内 30 多家三甲医院深度合作，涉及心脏外科、神经外科等 15 个临床科室，成为了国内混合现实精准可视化医学领域内的佼佼者。

解决方案背景

人类对虚拟现实技术在医疗领域的探索，从 1970 年起就从未停止过，1989 年，日本研发出了一种可佩戴的头盔显示设备，可以检测人体四肢的运动。超声波、CT 和各类造影技术的发展，让医生可以获得更多组织和器官的影像甚至是三维模型，基于医学影像的计算机辅助医疗现在已经在日常疾病诊断和治疗中得到普及。

在十九大报告中，“健康中国”正上升为国家战略，在这种发展背景下，个性化、智能化和精细化医疗的需求显著增长，不仅对影像模型的细节和精准度提出更高要求，还希望实现更友好的呈现方式，超越屏幕的限制，利用创新的交互方式启发全新应用场景。维卓致远利用自己的团队、技术和市场优势，普及 3D 医疗技术，投资孵化医学、3D 重构与共享相关的新创企业和团队，建立并完善以 3D 医疗与 3D 合成场景共享为核心的生态系统，积极拓展国内外市场，力图解决“看病难，看病贵，学医难”的基本问题。

行业痛点

传统的医疗影像呈现技术已无法满足疾病诊疗所需的更多洞察，面临诸多应用挑战，平面展示可提供的诊断信息有限，不仅无法展现三维模型的深度信息，其坐标参考和位置相对性也不够直观，常见的表面渲染技术只能提供贴图细节，不能展示器官内的组织结构，无法满足苛刻的诊疗要求。

由于缺乏良好的可交互性，医疗影像和模型的使用场景有限，用户体验也因此受到极大限制，例如，术中远程会诊迫切要求的实时性和动态可交互性，是传统图片、视频和语音沟通无法有效提供的，信息交换效率低、沟通成本高。

临床模拟方面，即使在影像的帮助下，临床和外科实验仍需依赖实体标本，风险大，成本高，具有高危险性的项目难以开展。在个性化、人性化医疗背景下，如何以更加自然、直观的方式与患者展开沟通，同样是医疗从业者不断思考的问题。而医学影像数据的复杂性和庞大数据量使渲染、处理、预测和分析持续成为医疗行业面临的挑战。

这些挑战形成的痛点包括信息展示效率低、影像沟通繁琐、信息化程度和数据共享率低，数据分析工作沉重且繁复，无法符合更多场景需求。医疗行业迫切希望一套数字化解决方案，满足不同场景的诊疗需求，这些需求可总结为：

• 可交互式手术导航，节约手术时间、确保手术精准度，增强高难度复杂手术的实施信心
• 创新的协作医疗系统，提高临床研究和团队帮带效率。
• 具有实践性的医疗场景模拟环境，在术前模拟临床手术，进而协助制订出更安全合理的手术方案，在培训教学中展示可交互模拟场景，缩短医师成长曲线。
• 可视化诊疗展示方案，帮助患者更直观和清晰地理解病灶的情况、手术计划和可能存在的风险，保障患者的知情权，降低医患纠纷的风险。

维卓致远基于 HoloLens 的“星图全息影像系统”

维卓致远，着眼于全方位、全周期的医疗服务，致力于以前沿科技推动医疗领域的应用革新。当观察事物的方式改变时，理解事物的方式也会随之改变，当我们以全新的方式认知世界，就会获得不一样的理解，这是维卓致远采用微软混合现实技术实现医疗影像解决方案的核心思考，也正是基于这样的理念，维卓致远开发了基于微软 HoloLens 的辅助医疗影像解决方案“星图全息影像系统”，该方案以微软先进的混合现实（MR）为根本，结合大数据、医疗云、人工智能等技术推动医疗领域进入全新时代，助力国家大健康战略的落地。

星图全息影像系统由三维影像工作站、后台服务器、MR 空间站组成。三维影像工作站内嵌智能分割算法，实现 CT、MRI 数据的高效三维重建；MR 空间站和后台服务器让全息阅片和创新交互成功走入临床。该方案的核心数据呈现采用了微软混合现实设备 HoloLens，作为世界首个不受线缆限制的全息计算机设备，HoloLens 能够实现人与数字内容的交互，并与周围真实环境中的全息影像互动。

维卓致远将病人的 CT、MRI 等影像数据转换成全息三维影像模型，利用精细而复杂的体渲染（Volume Rendering）技术，进一步丰富模型细节和内部组织结构，最终利用 HoloLens 呈现高精度的三维全息影像。医生借助 HoloLens，可以将全息影像与真实解剖部位或病灶相叠加，并进行缩放、旋转、移动、改变透明度等操作，了解病灶与周围的解剖关系，从而获得高度可透视、可自由交互的视诊信息。

这种虚拟与现实叠加的展示方式彻底改变了传统的影像使用体验，将影像跃然纸上，这种豁然开朗的体验是虚拟现实（VR）和增强现实（AR）无法媲美的，“我们研究调查了不同技术，最终认为只有微软 HoloLens 混合现实技术可以为医疗行业提供最佳体验，它可以实时地将物理世界与虚拟世界相连接，将全息影像与临床现场相对应，用视觉叠加技术让重要信息始终显示，提高手术的精准性和安全性”，在谈到选择微软混合现实技术的原因时，维卓致远解决方案团队这样评价。

开拓医疗沟通、协作和探索的全新方式

该解决方案为可用于术前手术规划、医患沟通，以及在术中为手术方案决策提供辅助信息，为远程会诊和医学实验带来了极大便利。全息浏览医学影像，让手术规划更加安全合理，过去，医生需要不断将医学影像与解剖部位进行比照，而通过将虚拟影像与真实手术进行视觉重叠，在外科手术前就可以对患者脏器分布、形态，周围血管、神经分布等一目了然，轻松掌握体内特征信息，确定最佳手术方案。通过术中全息辅助与引导，混合现实以叠加显示的方式让过去不可见、不可触的对象在手术开始前就变得“活灵活现”，为术者提供更具参考价值的影像信息。有效提升空间感知能力，无论是心血管支架，还是骨钉，都可以清晰而精准的被定位和识别，将手术创伤降至最低。同时，有效缩短手术时间，在全息影像的辅助下，主刀医生可以更好的观察穿刺深度等，过去在术中需要花费数十分钟和其它医生讨论的内容，现在只需在全息影像上看几眼就可直观得出结论，从而更快做出正确决策。

得益于 HoloLens 所具有的实时通信能力，该解决方案允许多人同步观看相同的数字与现实叠加的场景。现在，无论是查房讨论，还是专家远程会诊，医生无需面对 CT 图片等反复通话，更不用在照片上做出标记再回传至手术现场，医生可以展现患者的个体化 Dicom 影像模型，放置在真实物理环境的“画布”上，无论身处何地，不同人员只要戴上 HoloLens 就可以获得与现场相同的视野和画面，通过一系列手势，自主调节画面内容、放置标记、添加重要提示信息，这种实时的可交互性让医疗交流具有身临其境之感。

维卓致远 HoloLens 混合现实医疗影像解决方案还可以提供医学会议和示教支持，成为虚拟医疗实验室，对以往受限于标本、场地和成本的解剖、手术训练和临床实验等进行充分模拟，让无法在病人身上实践的操作在虚拟模型上完成。该方案还可以让患者和医生一起观看三维病灶模型，更直观地了解疾病状况和相应治疗方案，以更自然的方式让患者放心。

维卓致远建立在 HoloLens 上的医疗影像呈现体验释放了无限可能，开创了更多使用场景。除了术前规划、手术预演，该方案还可实现可交互式医学训练，如器官认知和腹腔镜检查模拟，让学生获得第一视角的手术现场观摩，更直观的观察手术过程，以及实现远程手术，甚至是事故现场向医生远程呈现伤员病况并获取远程抢救指导等。

技术整合实现医疗水平革新

医学的复杂性使任何辅助医疗技术都无法变得简单，维卓致远“星图全息影像系统”解决方案的稳定性和完整性建立在绝大多数企业所不具备的数据处理和使用链上。“对于普通 CT、MRI 等影像，如果只是单纯实现二维向三维的转换，是无法展现组织结构的细微差别和周围生理环境的，其临床使用价值甚微”，维卓致远这样介绍，医疗数据中有超过 90%的数据来自于医学影像，“难点在于呈现，如果所有原始数据都呈现出来，也没有多大实用性，医生需要的是按需呈现，根据治疗和手术进展按需获取信息”，为了提供更好的决策支持，同时展现病灶附近的血管、神经等信息也非常必要。

而医疗模型在精度、更新速率、分辨率方面都具有极高要求，因此存在计算量大、建模复杂和渲染耗时等问题。维卓致远通过专门针对医疗模型而优化的高性能算法，使用微软智能云平台 Azure 强大的数据分析和存储能力对医学影像数据进行深度加工、分析和挖掘。在 Azure 深度学习和人工智能技术的帮助下，维卓致远实现了对医学图像病变区域进行检测、识别和分割，能够对 CT 或 MRI 影像中的心脏、肝脏等器官的自动分析，并将二维影像智能重建为 3D 模型。在肝胆外科的实践应用中，可一键实现肿瘤分割、血管的识别与提取，可根据血流方向自动分肝段、计算肝体积和残肝比等。对病理病因进行探究，通过数据演算，以脏器模型为基础进行自动筛查、智能诊断，并实现对不同治疗方案的比对、疗效评估，并预测疾病的发展和预后，为医生提供更加精准的参考信息。

维卓致远使用多种创新技术提高了内容呈现和互动操控能力。通过建立局域网，把 HoloLens 与存储影像数据的服务器电脑和平板控制器相连接，让服务器承担繁重的计算与渲染工作，让 HoloLens 将计算能力尽可能多的展现在全息影像的展现上，支持使用平板控制器对模型大小、位置、透明度等进行调整，与手势操作相比，使用触屏可以更精准地调整模型样式，并支持更多实用功能。这些技术的结合，不仅大幅降低了 HoloLens 的计算压力，也保证了使用稳定性。为了将模型与手术区域精准定位，维卓致远利用磁定位装置对空间位置进行精准标定，然后把图像渲染至 HoloLens 进行呈现，从而为手术提供了精准实用的混合现实导航体验。

维卓致远混合现实云端平台解决方案的技术架构

该方案减少了患者的创伤，降低了治疗风险，提高了诊断效率，提升了手术精准性，同时促进了远程医疗等场景下的沟通体验。结合微软智能云 Azure 和微软人工智能 AI 服务，“星图全息影像系统”进一步提供了智能化病情分析、手术方案辅助设计和疗效评估等能力。

数据安全是医院关注的重点问题，维卓致远星图解决方案支持混合云部署模式，将三维立体影像存储在医院内网的高性能服务器，HoloLens 可以直接通过医院局域网读取并实时渲染。而对于远程医疗和跨医院的医学合作项目，则使用了微软 Azure 公有云平台在云端进行三维模型处理和存储，然后利用 Azure 建立安全的端到端网络连接，实现数据分享和协作。

目前，维卓致远“星图全息影像系统”已经在全国 70 多家医院完成了超过 100 例的混合现实手术或专家体验，并获得了众多顶尖专家的体验反馈。2017 年 1 月，中国解放军总医院泌尿外科在维卓致远的技术支持下顺利完成了国内首例 HoloLens 混合现实技术和达芬奇机器人辅助的腹腔镜下肾部分切除术。2017 年 8 月，在维卓致远的“星图全息影像系统”技术支持下，武汉协和医院完成了若干例骨科手术，把混合现实技术用于医患沟通、手术方案制定、术中辅助引导等各个环节，引起了业界轰动，作为重大科技与医学新闻，先后被中央电视台等多家媒体报道。

微软混合现实合作伙伴项目——加速技术创新和应用

维卓致远的核心团队在医学可视化领域的研究与积累可以追溯到 15 年前，从三维影像重建到个性化定制的 3D 打印，从 VR 的术前沟通到 MR 的交互式全息影像系统，维卓致远始终都走在行业的前端。在设计、开发基于微软混合现实 HoloLens 的医疗影像解决方案的过程中，维卓致远与微软展开充分合作，参与了“微软混合现实合作伙伴计划（Mixed Reality Partner Program）”，该计划是微软针对数字营销公司、系统集成商和解决方案提供商的综合性支持计划，旨在帮助他们为客户构建混合现实解决方案。

作为微软 MRPP 在临床医学领域全球第一家合作伙伴，维卓致远开发团队在 2017 年 9 月在微软总部西雅图接受了 HoloLens 工程师团队为期1周的全封闭、沉浸式培训和实操项目演练，成功的混合现实解决方案是建立在丰富经验的基础上的，通过在微软总部的面对面的培训和交流，维卓致远不仅解决了诸多技术挑战，也获得了丰富的经验。

在维卓致远看来，作为一家初创企业，单纯倚靠自己的力量普及混合现实和全息影像辅助医疗是充满困难与挑战的，微软作为全球领先的技术公司，不仅提供了先进的技术平台，也为维卓致远提供了强有力的品牌背书。同时，微软 MRPP 项目在概念推广、产品宣传等方面提供的支持，让维卓致远可以迅速找到目标客户，极大的普及业界对“医学混合现实”的了解，从而打开市场、抢占先机。

在 MRPP 计划的支持下，以国家医疗改革发展路线为蓝图，维卓致远将进一步强化该解决方案在远程医疗场景下的应用，以技术优势解决医疗资源发展不均衡导致的不发达地区医疗水平落后的问题，同时，在开展个性化医疗时，医学领域的复杂和空间抽象性要求更多多学科协作，维卓致远相信基于微软混合现实的解决方案通过更自然直观的交互，可以迅速发挥作用，释放医疗创新的能量。

针对目前 HoloLens 计算性能和精准度限制，以及与磁定位等相比较弱的 Insideout 定位能力，除了利用外部服务器提高整体系统性能，维卓致远将进一步与微软合作，围绕“医疗+AI”的发展目标，采用微软更多 Azure 云服务来提高医疗影像的检测效率和准确度。同时，微软也不断给予维卓致远等 MRPP 合作伙伴最大支持，实现资源整合，提供商业计划、市场销售、技术培训方面的支持，保证合作伙伴获得最新的技术资讯和最及时的技术支持响应。

围绕该解决方案，维卓致远将进一步构建医学混合现实的应用内容，在 2018 年 3 月 5 日将发布网页版产品“星云”，提供在线影像上传让用户自由创建医学全息影像资料，利用在线编辑，标记肿瘤、诊断特征点，或设计手术方案，实现知识分享。维卓致远还将于同年 7 月在美国发布更多医学混合现实产品和服务。

维卓致远现已成为微软北京加速器第 11 期成员，未来，维卓致远希望在微软加速器和 MRPP 项目平台上，利用自己的团队和技术优势，进一步突出从 MR 到医疗智能云再到人工智能 AI 技术的领先性，同时与微软展开更多合作，对接更多微软提供的市场和宣传资源，与微软共同努力，进一步提升“星图全息影像系统”在医学影像领域的数据采集、分析和数据流方面的联动性，实现国家大健康战略下 3D 医疗技术的应用普及。