微软用人工智能+HoloLens 2构建MR临床医学,优化诊疗和手术培训
用科技颠覆传统医疗
(映维网 2021年09月27日)尽管治疗手段已经有了长足的进步,但其依然十分倚重医生的个人经验与能力。针对这种情况,并随着混合现实技术的发展,微软带来了基于HoloLens 2的微软 MR 临床医学平台,从而提高同行交流、患者诊疗、方案制定、手术执行全医疗流程等方面的效率。
微软 MR 临床医学平台集合了AI,物联网、大数据和混合现实等新兴信息技术来数字化诊疗过程,从而为医生提供智能的辅助支持。同时,免手操作的HoloLens 2头显可以将相关图例、信息和数据直接呈现在医生视场,允许其直观地浏览病理问题。以这种的方式,微软 MR 临床医学平台将能提高诊疗结果,同时加强医生之间的交流效率,实现医疗资源的复制延展,从而惠及更多人群,构建全新医疗生态,并推动智慧医疗进步与发展。
简而言之,微软 MR 临床医学平台的两大好处在于优化诊疗结果和提升培训效率。
1. 优化诊疗结果
微软 MR 临床医学平台的两个核心支柱分别是基于人工智能的InnerEye和基于混合现实技术的HoloLens 2。利用所述两块拼图,微软 MR 临床医学平台能够大大优化诊疗结果。
1.1 InnerEye
微软 MR 临床医学平台的一个核心支柱是InnerEye,它依托先进的人工智能和机器学习技术来对三维医学图像进行自动的定量分析。
微软介绍道:“重大疾病例如癌症的诊断与放射疗法需要放射肿瘤学专家或专业技术人员手动检查、标记数十个3D CT 扫描图像,同时由于病灶种类的复杂与多样性,所述工作可能需要多个小时不等。”
所以,InnerEye采用最新的卷积神经网络等算法对医学图像进行按体素自动分割,通过机器学习将患者的检查光片与数据自动进行分析,并允许用户通过Microsoft Azure来构建医学图像 AI 模型,从而大大降低病情诊断与治疗计划时间。
1.2 HoloLens 2
微软 MR 临床医学平台的另一个核心支柱是HoloLens。HoloLens 2可以直接将虚拟影像与真实手术进行视觉重叠,为医生和患者提供脏器分布、形态,周围血管和神经分布等情况的直观呈现和详细说明。
对于手术前的医生规划和患者解释而言,这不仅能够帮助缓解患者的不安,而且可以助力医生快速确定最佳手术方案。对于术中治疗,因为医生能够直接在视场中查看需要的信息,而且可以实现免手操作,HoloLens 2同样可以大大提升安全和效率。
同时,微软 MR 临床医学平台中的虚拟会议厅功能可以利用HoloLens 2的实时通信能力,允许多名医生同步浏览相同的病理情景,并进行实时的交互演练与沟通讨论。这种实时可交互性不仅可以进一步帮助医生制定合理的治疗方案,并且有利于医疗资源和经验的外延分享,从而造福更多的人群。
2. 提升培训效率
微软表示,传统医生的培养计划需要经历学习、规培、实习等多个阶段,并历时近十年。对于医学生而言,导师的每一次成功手术都是珍贵的教材。
所以,微软 MR 临床医学平台借助先进影像技术来迅速将导师手术转化为数字教材,同时依托微软 Azure云平台进行分享,从而允许医学生能够随时随地进行灵活学习。
另外,借助极具沉浸感的HoloLens 2,相关的医疗影像解决方案可以活灵活现地在医学生面前重复呈现。同时,全息教学内容可以对以往受限于标本、场地和成本的解剖、手术训练和临床实验等进行充分模拟,从而帮助医学生快速掌握知识和提升个人能力。
这家公司表示:“从理论到实践,微软 MR 临床医学平台为医学生们提供完备全面的学习支持,加快医生成长,为智慧医疗进程注入了强大动力。”