微软专利探讨在HoloLens 2上实现基于舌头运动的交互
舌头交互
（映维网Nweon 2024年04月02日）尽管Apple Vision Pro是用眼+手的方式来进行操纵输入，但你是否有想过使用舌头来完成相关操作呢？这并非天荒夜谈，研究人员早已在探索相关的技术。因为舌头是非常重要的肌肉，它们是脊髓损伤后依然能正常运作的少数肌肉之一。
相关专利：不止于手势 英国研究员实现“舌头交互”
实际上，微软同样有在探索将舌头用于XR交互。这家公司指出：“手势可用于向计算设备提供各种类型的输入。然而，对于用户手被占用的应用或具有一定物理限制的用户，手势操作具有一定的限制。尽管语音识别和注视点追踪可以用作向计算机提供输入的替代免提技术，但它们同样存在一定的局限性。例如，语音识别通常有隐私缺陷，并且在嘈杂的环境中工作不佳。注视点追踪对特定运动障碍的用户存在问题，而且往往相对较慢。”
所以针对所述问题，微软把目光投向了舌头。
这家公司指出，舌头姿势在广泛的应用场景中具有一系列的实用优势，因为它们允许用户向计算设备提供安静、免手的输入。另外，特定舌头姿势可以由使用者进行轻微或不明显的运动，同时可以由具有严重身体限制的使用者执行。然而，检测舌头姿势的传统方法倾向于依赖于相对侵入性传感器，如口腔保持器或肌电图传感器。
在名为“Inertial Sensing of Tongue Gestures”的专利申请中，微软提出可以使用头戴式显示器中的惯性测量单元IMU，包括从IMU接收一个或多个运动信号，以及至少基于一个或多个运动信号检测舌头姿势，并输出舌头姿势。
在一个实施例中，用户可以使用舌头执行一系列不同的动作，而系统可以根据IMU的运动信号来检测舌头姿势，并输入舌头姿势。这时，系统可以将特定的舌头姿势解释为不同的动作，从而实现对头显设备和用户界面的操作。
图2A示出了用户204的舌头202的保持状态。
图2B-2E显示了舌头相对于执行特定姿势的静止状态的运动。图2B示出了一种上牙敲击姿势，其中舌头向上移动以敲击一个或多个上牙前额。图2C示出了舌头向后移动的卷曲姿势。图2D说明了舌头向下移动以接触下壁的姿势。图2E说明了用户咬舌头的咬姿势。
图3A示出了示例保持状态。
图3B-3D显示了舌头相对于执行特定姿势的静止状态的运动。
图3B示出了舌头202横向左右移动的姿势。图3C示出了舌头横向移动到左侧以接触用户左侧脸颊204的姿势。图3D说明了舌头横向移动到接触用户右脸颊的姿势204。
图4示出了示例应用场景400，并传达了如何组合各种传感模式以允许用户控制应用。在这里，用户204操作虚拟键盘401以将文本输入文本输入框402。
用户可以用眼睛扫描虚拟键盘的单个字母。在用户扫描时，可以使用一个或多个传感器进行注视点追踪，以确定用户的注视点指向哪个字母。这时，用户可以执行特定的舌头姿势，例如舌头单次轻拍上牙以输入所述字母。另外，另一个姿势（如敲击左脸颊）可用于后退操作。
微软指出，文本输入只是从舌头姿势接收输入的众多类型的应用之一。例如，游戏、飞行模拟器、地图应用程序、消息应用程序和紧急呼叫可以使用舌头姿势进行全部或部分控制。
图5示出了相关的示例方法500。
502，从惯性传感器接收到一个或多个运动信号。例如，惯性传感器可以包括提供加速信号的加速度计和/或提供旋转信号的陀螺仪，和/或提供绝对方向信号的磁计或罗盘。在其他实施例中，可以获得来自其他传感器的信号，例如PPG信号、EEG信号、位置追踪信号、眼动追踪信号等。
504，使用一个或多个运动信号检测到舌头姿势，可选地使用来自其他传感器的信号。例如，一个或多个运动信号可以输入到训练机器学习模型，如决策树、随机森林或神经网络，并用于分类。检测到的舌头姿势可以对应于训练机器学习模型预测的分类。
506，可以将舌头姿势映射到特定的应用程序命令，例如选择、扫描、撤消、取消选择等，并且可以将应用程序命令提供给本地或远程应用程序。
值得一提的是，微软邀请了16名成人参与者使用头显设备在虚拟现实中进行了完整的实验。
图9显示了传感模态图900的精度。对特定传感器的识别精度进行了单独测试，表明PPG和头部追踪本身可以实现80%以上的精度。耳朵后面的耳朵IMU同样有类似的表现。最有效的组合是使用耳朵IMU和PPG，或者简单地组合用于识别的六个传感器中的所有传感器。
图10显示用户相关混淆矩阵1000，图11显示用户独立混淆矩阵1100。用户相关混淆矩阵传递了使用针对执行姿势的特定用户训练的用户相关识别模型进行的姿势检测实验准确性。用户独立混淆矩阵传递了使用多个其他用户的数据训练的用户独立识别模型进行的姿势检测实验的准确性，但不一定是在实验期间执行姿势的用户。
在图10和图11中，伸出舌头的准确性较高，但“左右摆动舌头”姿势表现不佳。
名为“Inertial Sensing of Tongue Gestures”的微软专利申请最初在2022年12月提交，并在日前由美国专利商标局公布。
