触角科技“感知”应用开启混合现实教育时代，深度整合全息实训平台

查看引用/信息源请点击：Microsoft

触角科技

（映维网Nweon 2018年01月1日）触角科技在北京成立于 2009 年，作为国内专注于增强现实、虚拟现实与体感互动技术研发与产业化的企业。触角科技从成立伊始就全力投入到核心技术的研发上，开发出国内最早拥有自主知识产权的跨平台增强现实体感 SDK，并在各个行业得到广泛应用。触角科技是工信部虚拟现实产业联盟核心成员、高等学校智能医学教产学研专委会常委、中国职业技术教学学会会员。曾荣获 2014 年 Intel RealSense App Challenge 大赛全球一等奖，微软中国核心技术合作伙伴。

解决方案背景

近几年，各种采用 VR、AR 技术的软硬件产品多到令人目不暇接，吸引了资本和媒体的无限注意。然而，虽然市场火热，但是新技术在行业的落地和应用始终是厂商需要解决的问题。最近几年，以 VR、AR、MR 作为核心探索领域的公司出现了很多，但也消失了很多。比较热门的 VR 游戏与体验店、VR 虚拟商城、AR 数字营销等概念，往往因为无法切实解决行业痛点、充分满足客户需求、提升行业发展，因此并没有形成稳定、可持续增长的商业模式。

“国家教育事业发展十三五规划”指出：要全力推动信息技术与教育深度融合，综合利用互联网、大数据、人工智能和虚拟现实技术探索未来教育教学新模式。教育部《教育信息化“十三五”规划》中，要求加大云计算、大数据、物联网、虚拟现实/增强现实、人工智能等新技术的应用。

在教育领域，理实一体化是极其重要的教学组织形式，VR/AR 等技术由于具有直观、可交互的特性，在教育领域的作用和价值日益凸显。基于 AR/VR 的信息化教学市场，目前已具有上百亿的市场容量，年增长率超过 50%。面对教育信息化发展的浪潮，各个教育部门、高校、职校教师们如何将 AR/VR 技术融入教学环节，形成具有实用价值的解决方案，提升教学效能，促进职业教育教学质量的提高，对于全国约 15000 所高教、中高职学校来说，是他们正在面对并需要解决的重要问题。

职业教育行业痛点

在教育培训过程中，动手实验是帮助学生提高理解和认知的重要环节。然而，受限于安全、场地、成本等多方面因素，许多实验课程是难以利用传统教学手段开展的，例如，在化学和微生物实验中，由于部分试剂或菌种对人体具有危险性，误操作容易到来人身伤害，因此学校对这类实验持谨慎态度。而即使是有开展能力的院校，这类实验往往要求具有高等级的实验环境，其可容纳的学生数量也非常有限，通常也难以满足所有学生的实操训练要求。同时，实验材料的耗损、实验室设备的维修与维护等，都使很多院校难以承担高昂的实验室运营费用。

除了教学实验，教学内容的展示在传统教学方法中也是单调乏味的，目前教材内容仍然以文字和图片为主，教师用书会配有相应的课件和视频资料，但这些内容主要还是以平面内容为主，在机电、制造、化学、医学和生物等课程中，平面展现形式并不能直观展示要传达的知识点和理念。教师教学过程需要使用大量文字进行描述，而学生的理解过程不仅困难，而且也需要进行大量脑补和想象。如何将教材的文本与图片资料转换为三维知识内容，以更加直观的形式展现，也是教育工作者不停思考的问题。

触角基于混合现实技术的“感知”解决方案

在 2016 年成熟的 AR/VR 硬件出现之前，触角科技凭借自主知识产权的跨平台 AR 引擎，已经在教育、工业仿真、演播室特效、数字营销等领域为数十家全球 500 强企业开发了上百个成功案例。随着微软 HoloLens 上市后，触角科技根据自己超过七年的行业经验以及对垂直领域客户需求的充分了解，认为微软混合现实技术在职业教育、智能制造和现代化医疗行业具有无可比拟的优势和发展前景，公司积极调整行业聚焦点，顺应国家发展战略，建立了国内唯一整合了专业出版社、高校与企业的混合现实技术研发团队。

触角科技专注于将拥有自主知识产权的成熟 AR/VR/MR 软硬件技术应用于高教产业，旨在提升专业领域的知识传递与应用，开发了支持微软 HoloLens 混合现实技术的“触角感知软硬件平台”，让行业专家快速将所需数字内容三维可视化，为职业院校、企业提供了完整的一站式混合现实资源开发、管理及互动数据分析服务。该解决方案的组成包括：

• 感知 Studio – 所见即所得的 MR 三维知识制作与发布工具
• 感知 APP – HoloLens 全息影像展示应用，同时提供对主流 AR/VR 硬件跨平台支持
• 感知云平台 – 三维知识资源的云端管理、远程协作与互动数据管理分析

该解决方案的核心算法是触角自主研发的支持混合现实技术的软件开发工具包（SDK）。该 SDK 提供了高效、稳定的跨平台图像实时识别和追踪算法，不仅支持主流的虚拟现实、增强现实眼镜与体感互动设备，还完全支持微软混合现实产品 HoloLens。微软混合现实（Mixed Reality）是一种能够将物理世界和数字世界中的人、物和场所融为一体的技术。与传统 VR 和 AR 技术相比，混合现实 MR 可以为使用者提供更加多元化的全息体验，让人们可以沉浸在虚拟与现实叠加的混合世界，让三维模型全息显示在现实环境中，不仅可以通过手势等操作与混合现实中的全息影像交互，这些影像还可以作为现实世界的一部分，对环境做出反应，从而实现更自然的创造和探索方式，可以为教育和培训领域带来突破性的全新体验。

感知 Studio 为用户提供了丰富的三维内容互动模板，触角科技根据自身丰富的行业经验，对其中的模板进行了深度定制，针对不同领域提供了 20 余个典型场景，内容专家可以轻松使用 WYSIWYG 可视化三维知识内容编辑工具以模板为基础制作全息影像教学内容，基于 MDA 状态机的应用自动生成工具可以自动对全息影像进行封装，内容制作人员无需关注技术细节，即可将知识以三维互动仿真形式发布在 HoloLens 或其他 VR/AR 设备上。

基于触角感知 Studio 三维内容制作工具与 HoloLens 头戴显示硬件平台，触角科技还开发了基于高精度定位标识算法的感知 MR 医学培训与手术导航平台，并结合真实人体医学模型进行 MR 培训平台，主要用于妇产、B 超以及 CPR 急救等培训。

感知云平台构建在微软 Azure 智能云上，是一个内容发布与分享的云端业务流程系统，可以与感知 APP 实现内容下载和浏览互动。Azure 在传输和保存数据时都使用了高强度加密措施，确保知识产权安全无虞。触角科技还研发了人工智能分析算法，可以对互动体验数据进行挖掘和分析，为教学管理者提供更多洞察力，帮助院校有效调整教学内容的安排和资源分配，提高教学效率。另一方面，利用 Azure 实现的用户终端互通互联特性，触角科技还针对专业设备维修培训提供了基于混合现实技术的远程指导功能，让远程教学可以在实践现场直接开展，突破了以往教学场地的种种限制。

“感知全息实验室”实现教学新模式

触角科技成立七年来，在教育、工业制造、军事、数字营销与影视娱乐等行业服务过数十家国内外知名企业，开发了上百个增强现实、虚拟现实技术方案，积累了丰富的行业应用经验与创新互动场景。触角全新开发的“感知”解决方案，针对职业教育与培训领域的需求和痛点，利用微软混合现实技术，开创了全新教学模式，为职业教育带来了显著收益：

• 感知实验室支持上百种实训课题，可以帮助学校轻松开展各类实训项目，打破场地和器材的限制;
• 全息实验室环境搭建便捷，管理方便，指导老师可以在几分钟内即可为数十名学生建立虚拟实验环境;
• 利用虚拟实验室的实时交互和小组讨论等功能，学生学习兴趣度得到极大提升，经评估，实验课程的教学质量可提升 30%;
• 为学校节省数百万场地和器材成本，同时节省每年几十万的实验耗材成本。

创建于 1960 年的上海科技管理学校，有着悠久的办学历史。作为多科并进的综合性现代化国家级重点中职学校，上海科技管理学校围绕信息化教学开展了多方位教学实验，于 2018 年初与北京触角科技基于触角“感知”混合现实应用联合研制了国内首个应用于实际教学环节的“感知食品微生物检验实训室”。该应用充分利用VR/AR/MR 技术的优势真正为教学服务、为实践服务，使混合现实技术真正落地成为“实训教学工具”。学校也成为上海地区具有代表性的 MR 应用示范基地，为 MR 教学在全国的普及迈出了坚实一步。

“感知食品微生物检验实训室”的核心应用场景是生物实训，这类实验具有高危、昂贵的特点，同时因为实验流程和设备要求，还必须按照指定时间在特定地点开展实验。过去，为了避免因操作失误带来的人身伤害，通常不会允许学生接触对人体有害的菌种或化学药剂。学校构建无菌实验室所需场地和造价高昂，一般情况下，实验台数量是无法满足所有学生的实操训练需求的，造成单个学生的实操训练时间被压缩，影响学生学习质量。无菌实验室系统复杂、日常维护成本高昂，各类化学和生物耗材（如：血清、兔血浆等）成本较高，未经充分学习和训练的学生过早进行实操训练也会造成设备及器皿的误操作故障，容易产生高昂维修成本。许多细菌培养实验都要等待 24、48 小时甚至更长时间，受实验时间、场地、设备、耗材的限制，学生难以获得独立的且不受干扰的学习空间。

使用感知 Studio，教材文本与图片资料可以转换为三维知识内容，实训实验室可以将这些内容进一步制作为实训科目，并利用感知云平台将三维课件发布给专业教师。教师只需组织学生佩戴微软 HoloLens 或者 VR 设备，即可以全息影像的形式进行实训课仿真。

HoloLens 提供了自然手势、语音交互能力，使用者可以对全息影像模型进行互动操作。由于混合现实技术是与现实世界融合的，因此，在“感知”虚拟实验室中，学生可以自由摆放各类实验设备，将虚拟全息仪器“摆放”在书桌上，在相对安全的环境中对实训阶段不宜接触的各类易碎、易燃、易烫伤或易感染的实验材料进行反复模拟操作，为实训实操提前打好基础。HoloLens 创造的混合现实叠加环境，还为学生营造了属于自己的虚拟实验室环境，学生可以根据自己的需要和喜好对实验室进行设计，以往多人共用的高端设备，现在也可以用全息虚拟的形式让学生人手一套，过去需要等待的实验结果，现在也可以通过仿真的形式快速获得，让学生可以快速试错，通过自己的创造力形成高度定制、独立、不受干扰的学习空间，让学生在自己熟悉的环境中将所有注意力都集中在实验操作上，从而提升学习效率。

触角科技已经与国内多家高等教育出版社，包括北京大学出版社、电子工业出版社、中国劳动社会保障出版社、科学出版社以及高等教育出版社、复旦大学出版社等，签订了合作协议，快速将 70%以上的职教教材内容转换为基于 AR/VR/MR 技术的全新三维可视化知识产品，开发完成了 30 多个高品质的 AR/VR/MR 实训课程资源包，积累了 2000 多个专业三维模型动画，为 AR/VR/MR 技术在职教领域的进一步推广打好了坚实基础。

目前，除了在上海科技管理学校微生物虚拟实验室的应用外，在智能制造工业领域，触角科技与三一重能集团合作了「三一重能质量讲堂系统平台」项目，通过感知 AR/VR/MR 实训教学平台，帮助三一重能集团构建了设备培训体系，企业专家使用触角感知 Studio，将生产与维修维护日常经验转换为可以在 HoloLens 中呈现的三维全息指导流程，技术人员在实际生产环境中，可以随时获取所需的指导方案，利用混合现实叠加现实技术，自我完成设备安装与维修维护流程，更高效的掌握相关技术知识。

触角科技基于 HoloLens 还开发了“感知” MR 远程维修指导平台，该平台作为 HoloLens 的特有场景实现，将生产与维修维护的日常经验转换为三维指导流程，将设备安装与维修流程数字化，技术人员通过感知平台可以获得远程专家在线支持。目前，应用了“感知”远程 MR 维修指导平台的案例包括三一重工的风力发电机维修指导、ABB 工业机器人维修维护、瑞康医药医疗器械维护和比亚迪汽车 MR 汽车维修培训。

与北京电力集团下属的华商科技合作，开发了新一代电力可穿戴单兵系统，集成了 HoloLens 混合现实眼镜、可穿戴生理指标监测以及危险气体探测设备，为一线电力员工在危险环境的工作提供了全方位保障。凭借着智能制造领域完整的技术解决方案，触角科技还争取到了与 ABB、中国航天科工集团、河北建投、航天汽车、河北张家口风光储输示范电站等多家知名工业企业的合作机会。

微软混合现实合作伙伴项目，触角前进路上的加速器

微软混合现实合作伙伴计划（Mixed Reality Partner Program）是微软针对数字营销公司、系统集成商和解决方案提供商的综合性支持计划，旨在帮助他们为客户构建混合现实解决方案。触角科技是微软MRPP中国区的合作伙伴，与微软达成了紧密的合作与发展共同体。

微软 MRPP 项目为合作伙伴提供了强有力的技术支持和培训，2017 年，触角科技参加了微软 MRPP 项目在美国微软 Redmond 总部举行的为期一周的封闭式 MR 开发培训，这次培训解决了触角科技许多开发过程中遇到的困难和挑战，包括对手势互动操作的识别和优化、深度传感器和全息影像的校准和动态物体跟踪等。在谈到与微软 MRPP 项目合作时，触角科技认为：“微软强大的技术支持为触角科技的产品研发过程提供了有力保障，让研发队伍更有信心，也更具有创造力，许多困难和挑战，以及各种新想法都可以通过与微软技术专家的沟通来解决和实现”。

目前，触角科技在 VR/AR/MR 方面已具有 2 项发明专利授权，同时还在申请 8 项新的专利，拥有软件著作权 12 项，是工信部中国虚拟现实产业联盟核心会员单位。在谈到对 HoloLens 的开发与应用体验时，触角科技认为：“混合现实技术让数字信息与现实世界无缝融合，与 VR 和 AR 相比，MR 是可以更自然地与自然交互的技术，HoloLens 为各行业带来全新的展示、体验与仿真的人机交互方式，原来科幻电影中的情节我们现在利用 HoloLens 就可以实现。”触角科技为医疗行业带来的混合现实体验还受到中国医药教育协会智能医学专业委员会的认可，作为技术服务方，触角科技正与北京大学人民医院、上海第九人民医院等院校开展合作，进行骨科、整形外科的 MR 手术导航课题研究，努力探索将 MR/VR 技术真正应用到医学教学与实验中。

在未来发展计划方面，触角科技计划在已有产品功能基础上，进一步加入更多智能元素，利用微软人工智能 AI 技术，针对工业制造场景的设备安装、故障检修与操作规范化场景实现图像和声音智能识别能力。同时，触角科技也会进一步加快专业内容制作，增加可定制的硬件仿真功能，为工业机器人示教等高端领域提供混合现实解决方案，进一步提高“感知”解决方案的行业竞争力。触角科技相信，在探索发展的道路上，微软“云优先、移动优先”的平台战略和 HoloLens 混合现实解决方案将开启更多可能性，也会带来更多惊喜，触角科技将继续与微软紧密合作，通过共同努力创造更广阔的未来。