用基于HoloLens的手术导航系统赋能诊疗体验

查看引用/信息源请点击：Microsoft

上海瓴舸网络科技有限公司

（映维网Nweon 2018年01月1日）上海瓴舸网络科技有限公司（Reacool）是一家面向疼痛医学领域的专业医疗科技公司，公司团队由来自医疗临床一线的青年学者与专业 IT 人士共同组成。“培恩 e 学”是瓴舸在疼痛学会的支持下，运营的一家面向疼痛领域，融合了线上医疗培训、医疗直播、医疗平台建设和营销策划的疼痛医疗+互联网平台。目前，“培恩 e 学”已获得关注者人数达 25000+人，平台认证医生 5500+人。上海瓴舸旗下的“培恩 e 学”作为国内成功的医疗互联网品牌之一，在疼痛医学领域具有极高的知名度和专业认可度。

解决方案背景

根据易凯资本提供的 2016 年医疗健康产业投资报告及 MedtecChina 行业数据，2016 年中国医疗健康产业市场容量已高达 4 万亿，市场分析预测表明，在未来 5 年中，国内医疗产业将继续以每年 20%的高复合增长率持续扩大，并于 2020 年达到 8 万亿规模。而医疗技术及器械行业作为医疗领域中不可缺少的一部分，其市场规模在 2015 年就已达到 3000 亿，医疗影像设备占比 17%，市场规模约为 510 亿。

这种快速增长态势反映了医疗行业中精准医疗和个性化医疗的日益普及所带来的巨大需求和催生的发展动力。上海瓴舸作为专业医疗人员组成的以技术创新为导向的专业医疗解决方案公司，对市场需求有着深刻的理解和洞察，经过充分的市场分析和调研，瓴舸认为，医生需要更有效的技术手段提高手术效率、规避额外损伤，微创介入等疗法将在疼痛医疗领域得到进一步应用普及，而在国家国民健康发展战略的指导下，越来越多的基层医院将着眼于利用先进技术手段提升医疗效果，同时也需要革命性的医疗教育手段来缩短医生的成熟周期，进而解决医疗产业供需关系紧张等问题。

疼痛医学是上海瓴舸长期致力的领域，瓴舸的长期行业经验让团队精准捕捉到微创手术的术中定位是目前绝大多数医生面对的痛点，精确的定位操作是精细化医疗需求下微创手术成功的必要前提，而目前绝大多数定位操作仍然使用的是手工标记。这种标记依赖于二维平面影像（例如 X 光、CT、MIR），由医生触摸感受，凭借经验和想象用记号划线，常见于手术、化疗等人体表面特征点识别。由于依赖医生经验和直觉判断，这种方式的实际定位效果往往无法满足手术要求，具体的挑战包括不具象、不直观、误差和可变性大，往往难以将影像模型与人体进行准确匹配，操作效率低，在手术进程中需要反复定位。

早在 17 年前，医学混合现实（MMR）的概念就已被提出，在图像引导的神经外科手术中，“混合现实”被用来合并规频图像和计算机模型，以 1.0mm 的定位精度对内窥镜拍摄的医学影像、CT 图像等进行可视化增强，并通过映射操作将其长期绘制在器官表面，形成可视化图形导航。但受制于当时的技术限制，这一概念很久以来并未找到合适的技术平台依托，因此并没有获得普及。

瓴舸医学混合现实解决方案让一切尽在掌握

混合现实技术（MR）技术是当下最前沿的跨界技术之一，与 AI、量子计算、机器人科学一起，被称为改变人类未来的科技。这种技术可以在真实的物理空间中创造出具有空间属性的全息影像，并且可以使这个影像锚定在固定位置。

微软 HoloLens 是混合现实技术的前沿产品，使用 HoloLens，你可以在一张空空如也的桌子上凭空“放置”一个茶杯，HoloLens 可以将全息立体的三维茶杯影像呈现在眼前，同时会随着观看角度的变化呈现不同的空间状态信息（例如，当站在桌子另一侧时，看到的是茶杯背面），让人难以分清这个茶杯是真是假，仿佛它原本就存在于桌子之上。由 HoloLens 呈现的全息影像还可以通过手势、语音、外设等方式进行交互，具有极高的灵活性且强大的实用性。

医学混合现实 MMR（Medical Mixed Reality）是混合现实技术在医学领域的拓展和延伸，医生使用 MMR 技术可以轻松完成患者的器脏建模，获得“透视眼”一般的“超能力”，直接看穿人体肉身，观察患者的解剖学结构。

当微软推出混合现实解决方案 HoloLens 后，经过对比和分析，瓴舸认为该方案作为业界目前唯一可成套提供的成熟解决方案，具有深度可定制性，通过模式抽象可以提供通用解决方案框架，同时具有非常良好的发展前景。瓴舸团队扬帆再航，投身于 MR 领域再度出击，决定以微软 HoloLens 作为技术平台，组建了解决方案的开发和实验团队，该团队由专业医学和软件开发 20 余人组成，以 MMR 作为技术突破点推出了基于混合现实技术的瓴舸 MMR 手术导航系统，该系统主要由微软混合现实设备 HoloLens 和人造骨性标志两部分组成，旨在解决医学领域实际应用场景中的挑战。

在解决方案的实现过程中，瓴舸做了大量前期工作，包括人体解剖学素材的获取、真实人体数据的测量、素材的 3D 转化，以及信标定位与空间锚的设计和校准。使用 Unity3D 和 Mixed Reality Toolkit 进行解决方案成像部分的开发，而 3D 模型的定位则运用了 HoloLens 的空间映射（Spatial Mapping）和空间感知技术。

HoloLens 通过空间映射技术可以了解周围真实环境中的物理结构和表面信息，将空间信息处理为一种保存了空间曲面的映射数据，每个空间曲面都对应一部分真实的世界表面，并将其锁定在一组空间坐标系构成的三角形网格中，当环境信息发生变化时，空间映射信息会随之变化。这种能力，让应用程序可以将全息影像与真实世界完美贴合，例如，虚拟物体不会穿越墙壁，也不会与真实世界的对象在空间上重叠，并且也会受到物理世界的限制，当虚拟物体与真实物体贴合时，会出现表面碰撞效应而不会穿越它。瓴舸利用这种技术，虚拟全息手术指引图像可以被牢牢“固定”在人体表面，与人体进行贴合，同时还可以对人体体位变化做出响应，始终“记住”自己所在的位置，并适应物理环境的变化。

在成像和定位精度方面，由于医疗领域的极高精度要求，瓴舸自行实现了与空间映射相结合的优化算法，针对 HoloLens 数据精度特点，首先利用传感器通过空间感知能力获取环境参数，然后对 API 提供的数据进行二次加工，通过 HoloLens 可视化表面技术，应用程序可以理解所处的环境信息，同时可以针对环境噪点，如光线产生的误差等，对渲染进行改进，从而符合医疗应用要求。

瓴舸 MMR 手术导航系统使用便捷，医生将 HoloLens 佩戴在头部，在患者体表设置好人造骨性标志，医学快速原型法得到患者的个性化 3D 人体结构后，通过自行开发的 Reacool-MMR 系统导入 Hololens，即可实现手术靶点的精准定位、人体解剖学透视、穿刺术的动作捕捉和实时导航、术前模拟，以及最佳手术路径设计等功能。该解决方案有效降低了医生对解剖结构的脑内建模难度，相对于现有手术技术有更高效、更直观、功能更强的特点。该解决方案为医疗行业带来了可观的收益，具体包括：

创新的医疗手段

HoloLens 混合现实技术为传统医疗影像呈现技术插上高科技的翅膀。无论是疼痛医学、麻醉、骨科还是肿瘤科，过去，医疗影像基本完全依赖二维平面的 X 光片或 CT 影像，如果要获得器脏和骨骼模型，需要手工根据这些影像进行加工处理，然后以 3D 打印的形式制作，由于个体差异性和不同病情的处理标准不同，这些模型的制作不仅耗时耗力，需要根据每个案例专门定制，短则 1-2 天，长则数周，而且成本高昂，3D 打印耗材贵，模型也不可复用。现在，瓴舸 MMR 解决方案提供了快速定位技术，所有模型都可通过软件快速生成，使用空间映射技术可以快速将患者模型与身体进行模糊定位，然后只需人工简单微调，3 至 4 小时即可在 HoloLens 上以全息可互动的影像形式展现，这种方式不仅颠覆了传统工作流程，对于大多数医疗场景来说，也不再需要 3D 打印技术，彻底改变了行业应用模式和发展。

提高手术便利性和成功率

相比于传统手工标记体外特征点的方式，瓴舸 MMR 手术导航系统可以为使用者实时提供多种高质量的可规化信息，如软组织、血管、神经等解剖结构，并且可以与现实场景实时整合，经过仪器标定、配准和头戴设备校准后，使用混合现实技术现实的关键解剖结构可以与真实场景中对患者的操作跟踪保持一致。在实践中，其精度验证实验证明了该方案的距离误差在 0.809+/- 0.05 mm，角度误差在 1.038 度+/-0.05 度，可以满足临床要求。将混合现实技术应用在脊柱外科、神经外科、骨科、肿瘤科等领域，对微创手术有极大的帮助，突破了患者解剖结构“全靠猜”的尴尬局面。MMR 技术独有的空间感知随动能力还可以识别、追踪和分析物理空间中的人体动作，并根据分析结果产生出具有空间属性的交互对象，比如，患者做不同动作时医生可以看到人体骨骼的运动方式。该方案在上海华东医院已经开始用于混合现实引导下的椎管内穿刺和麻醉术临床实验，该实验周期3年，现已完成一半，在该实验中，医生通过取模、建立 3D 模型，然后利用 HoloLens 将模型与患者进行快速匹配叠加展示，从而辅助手术操作，实验表明，该方案极大提高了手术效率，增加了单日手术台数，丰富的可视化信息也同时降低了手术风险率。

缩短医学教育的培养周期

医疗行业市场庞大，但医生培养和先进医疗手段的应用却始终跟不上市场需求的发展。大多数医疗培训还使用传统教具进行，方式比较保守，既不具有空间属性，也不具备很好的操作灵活性。而在人体解剖学教育方面，基本还在以先看硅胶模型，再用尸体实践的方法，这种方法不仅效率低，而且由于尸源短缺也提高了教学成本。而瓴舸 MMR 使用 HoloLens 是基于空间互动展示的，可以让学生直接看到人体内部情况，不用依靠脑补天赋就可以直观感知解剖构造，学习成本更低。该方案在设计过程中根据专家真实反馈进行了多次迭代，操作简单易用，有效缩短了医生的培养周期，在临床手术模拟和医疗教学方面有巨大应用前景。

目前，该项目已与上海华东医院联合申报省部级项目《混合现实引导椎管内穿刺技术的研发与应用》，并通过上海申康公司（上海市医院管理集团）审批；与广州华美美容整形集团达成合作意向，在整形手术上使用瓴舸 MMR 技术；同时也与开立医疗、GE 医疗（中国）联合开发了基于瓴舸 MMR 技术的标准化超声产品。该解决方案既可以成套提供，也支持定制开发，可以针对不同医院、科室和医生的业务习惯进行场景适配和深度开发。

在产品定位方面，瓴舸既提供百万元级高端临床应用方案，也具有数十万元级针对中低端解剖学的视教系统。良好的市场发展态势，不仅证明了瓴舸专业的视角和敏锐的痛点分析，运用 HoloLens 混合现实技术准确把握了当今最新医疗科技的脉搏，也让瓴舸以混合现实战略为先机发展，为个性化精准医疗的发展贡献力量。

筑梦路上，有微软混合现实合作伙伴项目相伴

微软混合现实合作伙伴计划（Mixed Reality Partner Program）是微软针对数字营销公司、系统集成商和解决方案提供商的综合性支持计划，旨在帮助他们为客户构建混合现实解决方案。瓴舸是微软 MRPP 认证合作伙伴，在 MRPP 项目的支持下，瓴舸于 2017 年参加了位于微软总部 Redmond 的 HoloLens 技术培训，“整个培训过程中不仅技术深入，课程准备也很完备，让我们可以和 HoloLens 核心团队面对面沟通，气氛活泼热烈，整个过程激动人心”，在谈到这次培训时，瓴舸的技术团队这样表示。

MRPP 项目作为联系合作伙伴与微软核心团队的桥梁，不仅提供丰富的技术支持与资料，也积极收集倾听来自合作伙伴的应用体验，例如，在瓴舸开展远程医疗场景下的 HoloLens 应用实践时，遇到 HoloLens 视频数据流延迟问题，尽管可以满足医学会议要求，但还不能在临床使用上提供很好的体验，针对这一问题，微软美国团队积极做出响应，在提供技术实现参考的同时也将这些建议用于优化下一代 HoloLens 产品的开发，使合作伙伴真正关心的问题能够得到关注，帮助合作伙伴更轻松地解决现实挑战。

微软始终对合作伙伴给予充分支持，MRPP 作为深度开拓混合现实技术应用的项目，希望与瓴舸共同尽快推广 MMR 手术导航解决方案。上海华东医院的临床验证只是瓴舸 MMR 手术导航系统在医疗领域深入应用的第一步，该案例的落地，也是瓴舸迈向更广阔发展空间的敲门砖。对未来的战略打算，瓴舸计划继续以 MRPP 项目为平台，与微软展开更多合作，除了将微软 HoloLens 作为解决方案前端，负责数据的视觉和听觉展现及自然交互，还希望进一步增强解决方案后端处理能力，引入微软云计算平台 Azure 和微软人工智能技术，完善数据采集与分析，术后持续跟踪等功能，同时搭建具有数据保密性的医疗私有云。瓴舸认为，未来将有越来越多的诊疗场景要求针对不同医学病例、用药记录和医疗影像进行定制性的应用和解决方案开发，随着 MMR 手术导航系统在更多医疗临床实验中运用，瓴舸希望对更多医疗案例和数据进行人工智能处理，生成辅助诊断信息和医学报告，通过将数据存放在微软 Azure 构建的私有云平台，还可以轻松实现数据共享访问，结合 HoloLens 强大的呈现力开展跨领域跨科室会诊、康复指导等。

瓴舸以 MRPP 项目作为合作平台，不仅获得了长效的沟通渠道，充分技术培训和人员技能支持，也获得了来自微软的市场和公关支持，在谈到合作感受时，瓴舸表示，“医疗行业对技术成熟度等要求很高，所以非常谨慎，对软硬件协议等设计要求都很高，这种紧密的合作模式，一方面通过微软强大的品牌背书获得了客户信任，另一方面，当我们的产品和解决方案获得成功，也可以形成对微软技术先进性的有效证明”。目前，国内的医疗器械和影像领域需求强烈，一旦形成有效的技术产品或标准化解决方案，将具有广阔的市场前景，瓴舸认为，“微软像自己的伙伴企业一样，用强大的市场和公关支持我们的方案发展，我们相信，当获得国内市场认可后，微软的全球销售通路将成为我们走向国际化的快车道”。