嘉讯广源Holo课堂用微软混合现实技术筑梦教育创新

查看引用/信息源请点击：Microsoft

嘉讯广源

（映维网Nweon 2018年01月1日）北京嘉讯广源是一家致力于将科技创新变现为企业效益的IT咨询和服务公司。嘉讯广源不断将创新型思维、跨国型视野与管理型咨询和专家型研发相融合，深入探索和实践前沿技术，追求创新和突破。通过深入了解客户的业务与战略目标，结合国际最佳实践和本土经验及实战技能，嘉讯广源不断助力客户通过技术创新提高核心竞争力。

自 2012 年成立以来，北京嘉讯广源已为多个跨国公司、政府部门和企业提供了优质服务，其中还包括四川某外国语学校在内的多所教育学校和机构，在实践中形成并完善了以管理咨询为先导的服务方法论，打造了一支专家型创新型的高效可信赖的团队，积累了创新型技术在各行业中应用的一系列自有知识产权资源。

解决方案背景

人类智慧的伟大之处，就在于我们能够通过发明、创造技术与工具，获得超越自然属性的能力。混合现实、人工智能，作为互联网时代向智能时代转变过程中的重要出发点，可以让每个人都从中受益。教育产业，始终希望通过应用最新科技深入探索梦想的潜力，让想法变为现实，激发灵感，开启未来。

随着互联网+、工业 4.0 等新的技术趋势的快速兴起，一次全新的科技变革——数字化转型，正在给世界各地、各行各业的人们带来新一轮的发展机遇，教育领域是嘉讯广源长期服务客户群体，嘉讯广源认为虚拟现实技术（VR）只能解决虚拟世界的构建问题，无法与现实世界进行叠加、融合，或场景切换。而教育需要能够激发创造力的解决方案，而不是完全封闭的虚拟世界，既看不到真实场景，也无法与现实物体进行交互，更不能来回走动与老师或其他学生进行互动交流。

同时，近几年迅猛发展的语音助手、人工智能等技术也不断吸引着教育领域的关注，许多客户希望更进一步的发挥自然语言交互、云计算和大数据的优势，彻底改变现在的教学场景，提供更加个性化和智能化的学习体验。

在这样的背景下，经过对针对教育行业的应用场景进行分析，嘉讯广源认为混合现实（MR）技术可以实现更加逼真的虚拟教学场景，为教师和学生提供更加自然、人性化的可交互式学习体验。在嘉讯广源的理念中，教育行业需要的是开放的世界，这种开放能力要做到既能够看到虚拟世界，同时又能感知到现实世界的存在。同时，嘉讯广源还关注解决方案的智能体验，认为教学是充满语音交流和肢体互动的行为，其价值在于教与学的过程，而非追求单纯的结果。

经过对多个教育客户调研，嘉讯广源希望在现实基础上构建一个可交互的虚拟场景，并建立一套能够彼此协同的智能化技术，提供一个从端到服务的解决方案，创造无缝、智能、可交互的教学场景，提供触手可及的未来体验。

嘉讯广源 Holo 课堂解决方案

经过对不同厂商的多种技术进行对比和评估，嘉讯广源最终决定使用微软混合现实（MR）技术 HoloLens 以及微软人工智能技术作为可交互教学场景方案的实施基础。嘉讯广源将微软混合现实技术和多种最先进的人工智能技术转化为每个人触手可及的工具、平台和服务，这一解决方案的核心组成包括：

微软 HoloLens 混合现实技术

在 HoloLens Dev Kit 发布之后，嘉讯广源很快利用 HoloLens Mixed Reality 特性和 HoloLens 全新用户交互方式开发出针对教育和培训行业相关的应用和解决方案。在传统的教学方式中，内容往往只能以二维平面图片的形式进行展现，而我们的世界不是二维，而是三维的，该方案针对培训教学中的演示场景，提供了逼真的全息影像 3D 模型（Hologram），在 HoloLens 的帮助下，学生可以清晰看到三维立体的影像，可以近距离观察其表面纹理、相对位置和运动模式，还可以提取并展示其中某一部分，对其进行随意移动，或者以透明叠加的形式与现实世界或其它三维影像相叠加。

利用该解决方案打造的混合现实教室，按照 HoloLens 的技术特点，进行了特殊设计和装饰，从而达到最佳教学效果。其整个系统包括多台 HoloLens（老师和学生均佩戴）、无线网络、负责共享消息交互的本地或云端服务器主机。系统中的用户分为一个教师端和多个学生端，从而形成主从结构，教师端具有“超级用户权限”，可以进行年级和学科的选择，设置虚拟教具和虚拟环境，控 制上课节奏，发放回收学生是否可以自由控制的权限， 发布课堂测验题目，显示虚拟投影等操作;而在学生端，学生则可以观看老师对教学模型的操作，观看虚拟投影等传统课件，待老师下发权限后，学生还可以进行自主学习，参加课堂测验等。

同时，HoloLens 打通了现实世界与虚拟世界之间的连接，让个体在混合现实体验中与群体相连，学生既可以观察全息影像渲染出来的虚拟物体，也可以与老师和同学充分展开互动。利用 HoloLens 的手势识别能力，学生还可以通过手势（Gesture），注视（Gaze）等体感操作实现与演示模型的自然交互，在 HoloLens 实时通信功能的配合下，还可以与不同学生或老师进行交流，展开讨论。例如，当教室中所有人在观看同一个模型的时候，学生们不仅能够听到老师讲解的声音，还可以看到讲解者的位置，通过观察讲解过程中的手势动作，配合不断变化的 360°三维全息影像，学生可以清楚了解正在讲解的部分，清晰直观地掌握相应知识点。

在有些教学场景中，客户希望让所有学生和老师都能够以同样的视角观察同样的全息影像模型，对此，嘉讯广源解决了不同 HoloLens 间的图像同步问题，支持老师和学生同时戴上 HoloLens 进行场景共享，实现了共同学习与独立学习场景间的互相切换，提供了充分的教学灵活性。

微软认知服务

微软认知服务（Microsoft Cognitive Services）集合了多种智能 API 以及知识 API。应用了这些 API 的系统能看，能听，能说话，并且能理解和解读我们通过自然交流方法所传达的需求。构建在 Azure 公有云上的微软认知服务，为嘉讯广源在开发具有人工智能功能的应用提供了平台和工具，使嘉讯广源可以根据自己的场景定义相关意图，进行快速机器学习训练，从而开发出更智能，更有吸引力的产品。嘉讯广源将微软认知服务与 HoloLens 相结合，提供了完整的、可交互且具备人工智能的混合现实场景体验，从而将语音命令、自动对话等更多智能化元素融入到了教学当中。该方案的架构图如下：

经过调研和评测，嘉讯广源发现目前大部分的 OpenAPI 服务只支持中文的语音识别，而只有微软的认知服务能做到精准的语音识别和拟真的语音合成。同时，微软认知服务还提供定制化的中文自然语言理解服务，结合深度学习技术，嘉讯广源的解决方案可以根据教学过程中的语言表达自动识别需求，进行行为预测，并准确返回符合教学意图的数据和内容，充分满足不同教学场景下 HoloLens 里的语音+语义的识别需求。

具体来说，目前大多数语音控制服务都要求用户使用固定的语音命令，或按照特定格式组织语言，才能让计算机明白用户的意图，这种使用模式具有极大局限性，无法很好地适用于教学出动场景中各种学生问答和自助服务。微软认知服务的优势在于，其自然语言理解 API 可以真正理解用户的自然语言表达，通过分析语义，最终提炼出用户的具体指令或目的，同时还负责将计算机的输出信息以自然语音输出，无论是为用户朗读文字，还是描述图片内容等，都为教学场景中的多媒体互动提供了技术支持。

微软 UWP 应用程序平台

微软 UWP 应用平台即 Windows 的通用应用平台，是从 Windows 10 引入的可适用于多种设备（PC、平板和手机）的应用程序框架，运行在 HoloLens 上的应用程序也是基于 UWP 应用程序框架开发的，，具有强大的跨平台能力和统一的用户体验。嘉讯广源利用微软 UWP 应用程序平台开发的可交互教学场景不仅支持 HoloLens 设备，还可以根据用户需求，在 PC 或移动设备上运行，打造与 HoloLens 相辅相成的全数字化教学环境。

嘉讯广源首创了 1+N+1 的技术架构，为快速开发同空间下多人协作共享应用软件提供了架构基础。嘉讯广源专业开发小规模（几人至十几人）的互动协作混合现实应用场景，实现了主机、从机和大屏幕之间的空间分享、场景共享，并具有实时通讯互动，打造逼真的混合现实互动协作教学体验。得益于微软 UWP 统一的应用开发平台，嘉讯广源更快地实现了原型应用的开发和迭代，使用一套代码，经过少量修改，甚至在某些情况下无需修改，即可适配 HoloLens 混合现实眼镜、大屏幕展示设备 Surface Hub、PC 和笔记本电脑、平板电脑和智能手机，让应用开发成本更低、周期更短，也提供了更好的跨设备一致体验。

混合现实技术释放无尽想象

在微软混合现实解决方案的助力下，过去只能在脑海中去构思的物体、场景，现在可以通过 HoloLens 的真实的看到，也就是原来老师通过语言描述，学生进行脑补的场景，现在我们可以真实的看见。对于许多教学主题，例如物理、机械和建筑，都具有教具的局限性，很多概念很难通过静态图片进行展现，而即使使用教具，像飞机发动机等大型、复杂装置，也无法进行模拟，在 HoloLens 的帮助下，虚拟教具无论从成本上、空间尺寸上、还是结构上，都提供了更大的灵活性和更广的可能性，HoloLens 甚至能够以 1：1 的比例展示动态教学模型，并支持透视、旋转、缩放等分操作，让学习内容灵动于空间当中，将静态教学场景从带入动态世界，帮助学生更好地理解知识点。

在教学场景中，微软混合现实技术还可以营造从此时此地到时空穿越的体验，在四川一家外国语学校，嘉讯广源 Holo 混合现实课堂能够把学生带到与教学主题相符的环境中，通过场景叠加，让虚拟世界与现实世界相混合，实现空间和时间的穿越，比如将建筑模型放在不同的自然环境中，或者将地面替换为月球表面或海底，进行一场“实地”探索，抑或在眼前展示汉代长城或隋朝秦淮河的分布走势等。

利用微软最新人工智能和混合现实技术的嘉讯广源，极大的增强了客户已有的能力，帮助客户获得更强生产力的同时，以颠覆式的可交互场景，让人们的生活更加美好。这一方案的推出为嘉讯广源的客户提供了多方面的收益：

利用人工智能实现更复杂的业务需求

在自然语言驱动的可交互人机场景中，中文语音命令识别的准确性和响应速度是影响用户体验的核心考量点，微软认知服务的语音识别 API 针对长句和中英文混合语句具有精准的语音识别能力和上下文相关的自然语意理解能力。不论用户如何表达，都可以精准识别用户的意图，快速形成文本或操作指令。结合深度学习等技术，还可以进一步对用户行为进行预测和分析，实现更为复杂的业务场景。微软认知服务基于 REST API 提供，可以方便地集成在各种平台，支持各种开发语言的调用和开发。

交付触手可及的未来体验

嘉讯广源除了在教学和培训解决方案中应用 HoloLens，还开发定制了适用于该解决方案的智能数字助理，该助理可以随着不同 3D 全息影像，对场景变化进行实时介绍和讲解。同时，还可以和用户进行自然中文语音对话，了解使用者的意图。让场景教学被智能化的可交互助手替代，同时使整个交互体验更加直观、方便。

满足客户差异化和多样化需求

嘉讯广源已经为更多场景需求做好了准备，微软领先的人工智能技术不仅帮助他们保持了高水准的竞争力，还可以通过丰富的技术组合满足客户的不同要求。

通过利用微软混合现实全息眼镜 HoloLens、微软认知服务中的中文语音服务 API 和语义理解，以及 UWP 应用程序开发框架，嘉讯广源用“黑科技”将梦想变为现实，帮助教育和培训机构个实现了颠覆性的可交互场景，改变人们获取信息和交流的方式，该解决方案可以广泛应用于大中小学、职业教学、各类培训实训和科技馆、博物馆的教学功能区等。

其丰富的功能，不仅涵盖了传统的教具和教案展示，其最大亮点在于利用混合现实技术，学生可以将虚拟教具至于全息虚拟环境中，打造身临其境的学习环境。在共享+主从模式下，每个学生可以独享一个课件资源，对相关知识点进行独立学习，也可以将视频、音频、图片、文字资料与虚拟教具进行空间关联，配合现实世界中的黑板，将所有教学内容进行混合叠加现实，实现将视频搬上黑板，或是将板书显示在教具旁边随课件播放等丰富场景。

携手微软混合现实合作伙伴项目让不可能成为可能

混合现实技术不仅创造了新的应用场景，也颠覆了当前的一些市场。嘉讯广源基于微软混合现实 HoloLens 和微软认知服务打造的Holo混合现实课堂，营造了超现实的学习环境，实现了虚拟场景与真实场景的交融，不仅让教学过程更加直观且充满趣味性，也有效增强了师生互动，同时，利用独有的技术方案实现了共同学习与独立学习的相互切换，让教学方式充满灵性，让传统教学方式中不敢想、无法做的事情成为可能。

在数字化转型浪潮的推动下，混合现实技术已经成为新兴的热点领域，这种超越虚拟现实和增强现实的体验很快就吸引了大量厂商，许多行业客户都表现出浓厚兴趣。作为混合现实领域的领先解决方案，微软 HoloLens 一经推出就获得了大量关注，无论是嘉讯广源所投身的互动式教育和展示，还是建筑、医疗、航空、制造等领域，HoloLens都表现出了强大的场景重塑能力，为行业注入全新的沟通新体验，这期间离不开微软合作伙伴的参与和投入和协同体验。

微软混合现实合作伙伴计划（MRPP）的推出可谓恰逢其时，作为连接微软的桥梁，该计划让合作伙伴与微软技术、市场和咨询团队建立了紧密联系，不仅通过技术支持弥补特定的技能缺口，也强同时调技术方案与商业应用的协同发展，MRPP 计划通过提供综合性支持，积极帮助合作伙伴扩大客户群，在混合现实的蓝图下与合作伙伴一同推动行业转型。

嘉讯广源作为国内最早开发 HoloLens 解决方案的厂商，也是通过微软混合现实合作伙伴计划的认证成员。在 MRPP 项目的帮助下，嘉讯广源获得了赴美国微软总部与 HoloLens 项目团队进行直接交流学习的机会，不仅从微软总部了解到如何利用新工具优化 MR 产品体验，也向微软产品团队近距离分享了他们在 MR 技术平台上的应用开发实践与心得，同时探讨了混合现实技术在教育领域和其他更多行业的发展前景。近日，嘉讯广源刚刚参与了微软与教育部签定的关于成立 100 个 MR 教师的合作，进一步予力教育创新，让 Holo 混合现实课堂生根落地。

嘉讯广源的 Holo 混合现实课堂将教学从想象变得可见，从静态变为动态，让不可能成为了可能，甚至可以穿越时空。嘉讯广源相信混合现实技术在教育行业仍具有巨大未释放的潜力，微软在混合现实领域的持续投入以及对合作伙伴的长期支持让对未来发展充满信心，在谈及未来战略考虑时，嘉讯广源希望更好地利用微软 MRPP 计划所提供的资源平台，进一步将其技术开发能力和行业应用认知与微软提供的技术指导与市场开拓能力相结合，为 Holo 混合现实课堂解决方案带来卓越的应用体验，为客户传递更多价值，与微软在更广阔的空间下共同助力教育领域的数字化转型。