微软AR/VR专利通过移动机器人来为AR/VR提供触觉反馈
通过移动机器人来为VR提供触觉反馈
（映维网Nweon 2023年01月06日）人类主要是通过五种感官来感知世界，而虚拟现实体验大多是由视觉引导，所以在虚拟环境中进行交互有时会出现感知差距。针对这种情况，社区正在研究一系列旨在提供触觉反馈的解决方案。
如果大家有印象，微软早前分享了一份名为《HapticBots: Distributed Encountered-type Haptics for VR with Multiple Shape-changing Mobile Robots》的论文，并介绍了一种特别的触觉反馈方法：可以变化形状的机器人在桌面移动，它们能够改变高度和方向，并按需呈现各种触觉反馈表面和对象。
现根据美国专利商标局的信息，微软已经为这一解决方案申请了专利。
名为“Mobile haptic robots”的专利主要介绍了由多个小型、独立可控的触觉机器人提供触觉反馈，例如HapticBots。HapticBot可以在桌面或其他表面移动，并可以改变其高度和方向，以按需触觉渲染各种表面和对象。
微软指出，每个HapticBot都可以轻而紧凑，并且是简单的模块化形式，所以能够缩放解决方案以增加触摸点的数量和覆盖面积。
另外，使用多个HapticBot可以减少单个HapticBot需要行驶的平均距离，这降低了HapticBot的速度要求。每个HapticBot的形状改变能力可以通过按需和实时地变换其自身以与虚拟对象紧密匹配来显著提高触觉渲染的表现力，从而为通用应用程序提供了更大的灵活性。
与以前的触觉方法相比，HapticBot在可部署性、可扩展性和可推广性方面具有优势。例如，Hapticbot由于其紧凑的外形尺寸而易于部署，并由于分布式特性可以在大面积内支持多个并发触摸点。
这种移动机器人可以实现多种交互，包括：
- 为用户提供实时触摸点来渲染VR对象的触觉
- 模拟具有并发高度和位置变化的连续表面
- 允许用户通过可抓取的代理对象（例如Hapticbot）拾取和移动VR对象。
图1A-1G共同示出了在虚拟现实用例中涉及HapticBot的示例应用场景100。参考表面是水平表面，例如图1A所示的桌子102，然而参考表面不限于水平取向。
图1B示出了接近桌子102的用户104，其中用户想要设置HapticBots系统106。在所述示例中，触觉机器人系统106包括引导机制108和多个独立可控的触觉机器人110。引导机制108可以允许控制触觉机器人110的位置或位置（例如，在xy参考平面中）。引导机制108同时可以允许通过顺时针或逆时针方向的旋转来控制触觉机器人110的定向（例如，它们面向哪个方向）。
所述示例包括四个HapticBot 110（1）-110（4）。HapticBots系统106易于携带，并且根据需要易于部署和存储。在这种情况下，用户104可以在其背包112中存储并携带HapticBots系统106。然后，用户将引导机制108放置在工作台102，并将HapticBot 110设置在引导机制108的上方。
在图1C，VR头显114现在正在为用户生成虚拟图像116。图1D类似于图1C，但这时用户用左手124在3D空间中向外伸出。可以使用各种类型的传感器来检测用户移动。
HapticBots系统106可以基于用户的移动，以及到轨迹附近的任何虚拟对象的映射来预测用户正在到达哪里。可以通过视觉反馈来改进预测。例如，在虚拟图像中示出了用户的左手124。如果“虚拟手”稍微偏离用户的预期目标，用户将倾向于对其实际手进行校正调整。
出于解释目的，假设用户打算到达虚拟纸箱118。作为响应，HapticBots系统106识别使用哪个HapticRobs 110来模拟虚拟纸箱118。
在所述示例中，HapticBots系统106已确定使用HapticBots 110（2）和110（3）来模拟虚拟纸箱。HapticBots系统106正朝着虚拟纸箱118的位置移动HapticBots 110（2）和110（3）。
同时，HapticBots系统106正在将HapticRob 110（1）移到一边，并且移到用户左手轨迹的一边，以便用户不会碰到它。
HapticBots系统106同时对HapticBots 110（2）和110（3）进行调整，以允许它们共同模拟虚拟纸箱118的形状。为此，HapticBots系统106调整HapticBots 110（2）和110（3）的高度和形状。
具体地，上表面126（2）和126（3）升高并彼此成角度。所以从一个角度来看，单个HapticBot在xy参考平面上移动，以参与模拟或避免碍事。同时可以在z参考方向调整单个HapticBot，以更好地近似预期虚拟对象的位置和形状。
图1E示出了用户的左手124接近虚拟纸箱118。HapticBot 110（2）和110（3）现在彼此相邻并接触，以共同模拟虚拟纸箱118，如128所示。在一个配置中，HapticBot 110可以包括电磁体，电磁体可以将单个Hapticbot临时固定在一起。并共同创建单个物理结构。
图1F类似于图1E，但这时，用户的左手124已经到达并触摸虚拟图像116中虚拟纸箱118的预期位置上表面126。HapticBot 110（2）和110（3）现在共同提供触觉反馈。
假设这时HapticBots系统106预测用户将用右手130到达（或正在到达）虚拟玻璃120。触觉机器人系统106可以控制一个或多个触觉机器人来模拟虚拟玻璃120。在这种情况下，假设HapticBots系统106确定可以用单个HapticBot模拟玻璃，并选择HapticBot 110（4）来填充所述角色。
HapticBots系统106可以致使HapticBot 110（4）移动到虚拟玻璃120的3D位置，并调整其形状以接近虚拟玻璃120。
在图1G，HapticBot 110（4）已经移动到虚拟玻璃120的3D位置并且已经被用户的右手130抓住。HapticBot 110（4）的高度已被调整为接近虚拟玻璃120的高度。HapticBot 110（4）具有接近用户对虚拟玻璃120的视觉期望的位置、高度和宽度。
同时，用户以倾倒姿势抓住并举起HapticBot 110（2）和110（3）。HapticBot 110（2）和110（3）共同模拟接近用户对虚拟纸箱118的视觉期望的位置、大小和形状。当用户完成虚拟场景后，用户可以放下HapticBot。
HapticBots系统106可以重新识别Hapticbot的位置并等待下一次模拟。注意，HapticBot 110（2）和110（3）没有“绑定”到特定位置。用户可以移动HapticBot 110（2）和110（3），就像在3D空间中移动一个真实的纸箱一样，然后将它们放回感觉自然的地方。用户不必将它们放回确切位置。一旦用户设置好它们，HapticBots系统就可以使用它们的新位置作为下一个虚拟化的起点。
图2A-图4共同提供了示例性HapticBot 110和示例性HappicBot系统100A的细节。
图2A示出了示例性HapticBot 110的透视图。图2B示出了示例性HapticBot 110的类似分解图。出于解释的目的，HapticBot可以分类为形状组件或模块202和位置组件或模块204。定位组件204可以将HapticBot移动到期望的位置，例如在xy参考平面。形状组件202可以调整HapticBot 110的形状，以在期望的位置接近虚拟对象。
形状组件202可包括可倾斜帽206、可延伸卷轴208、微控制器210、轴（不可见）、马达214、电池216和/或壳体218。定位组件204可以包括机器人基座220。壳体218可以固定到机器人基座220。
注意，特定实施例可以包括电磁体221，例如在壳体218或机器人基座220中。可以控制电磁铁以在单独的HapticBot之间产生吸引力，从而允许Hapticbot共同接近虚拟对象，例如图1E-1G中的虚拟纸箱118。
示例HapticBot 110可以采用可延伸卷轴208，以实现具有紧凑形状因数的大动态高度范围。可延伸卷轴208可以提供：
- 致动器的机械稳定性，这对于提供有意义的力反馈是必不可少
- 紧凑的形状因数
- 用于实时交互的快速转换速度。
每个可延伸卷轴208（1）和208（2）可以包括卷轴或卷轴222和固定到卷轴222的金属（或其他材料）带224。卷轴222可以通过轴和/或齿轮连接到马达214。通过将带224缠绕在带盘222上并降低可倾斜帽206。
带224的末端可枢转地连接到可倾斜帽206的相对侧。一致地控制带224控制HapticBot在z方向上的高度，同时保持可倾斜帽206的姿态。比较例如图1F和1G的HapticBot 110（4），其中可倾斜帽向上延伸，但节距保持不变。独立地控制带可以控制HapticBot的可倾斜帽206的高度和姿态。例如参见图1C-1E的HapticBot 110（3），其从零间距过渡。可倾斜帽206可以限定图1C-1E的上表面126（3）。
机动可伸缩卷轴208的两个可伸缩金属带224可以在xy平面中占据较小的占地面积，但可以延伸并保持其形状。
在一个实施例中，可以采用两个DC电机214，其具有轴和/或可能的中间齿轮以单独旋转以延伸和缩回卷轴222。每个卷轴222可以连接到可倾斜帽206。可倾斜帽206可以由3D打印部件（4.7×4.7cm）制成，并且可以在每一侧具有用M3螺钉（2.6cm长）和螺母紧固的轴。例如，通过单独控制每个胶带224的延伸长度，上表面126可以在-60度至60度之间倾斜。
在所示的配置中，HapticBots 110的整个足迹具有4.7×4.7cm的横截面和3.0cm的高度。在一个示例中，HapticBots的高度可以从最小8cm变化到最大32cm。缩回速度可为2.8厘米/秒。垂直承载能力约为13.53N（在延伸状态下），其强度足以承受适度的人的触摸力。
图3是示例性HapticBot 110的电子元件示意图300。示意图300包括图2中介绍的微控制器210、电机214和电池216。所述示意图还包括连接在电池216和微控制器210之间的再充电模块302。
微控制器210可以表现为ESP8266微控制器，以控制两个电机214，从两个旋转编码器304读取信号，并与计算机308通信，例如通过与用户数据报协议（UDP）的Wi-Fi通信。每个模块都可以连接到专用网络，并可以分配一个唯一的IP地址。
计算机308可以向每个IP地址发送目标高度，并且微控制器210可以通过基于与马达相关联的旋转编码器304测量旋转计数来控制马达214的旋转。微控制器210可以控制一个双电机驱动器306，其可以独立地控制两个DC电机214。所有模块的工作电压可以是3.5V。HapticBot可以通过微型USB数据线充电。
图4示出了另一个HapticBots系统100A。所述系统可以包括计算机308、引导机制108、多个HapticBot 110（仅示出一个）和/或VR头显114。在这种情况下，引导机制108可以表现为具有位置追踪图案的垫，从而在没有外部硬件的情况下实现对机器人的简单2D追踪。
在一个实施例中，HapticBots模块402可以包含JavaScript API以编程方式追踪和控制HapticBots（例如图2的位置组件204）。例如，这种追踪和控制可以由计算机308的HapticBots模块执行。
在一个示例中，每个定位组件（204，图2A和2B）的横截面为3.2×3.2cm，高度为2.5cm。导向机制108具有55×55 cm的覆盖面积，但可以使用多个垫轻松扩展交互区域。在本示例中，2D位置和方向检测的分辨率分别为1.42mm和1度。
触觉机器人模块402可以提供路径规划和控制。基于内部追踪机制，HapticBots模块402可以同时读取和控制多个机器人的位置和方向。
图4示出了可以在HapticBots系统100A的任何或所有设备上使用的两个示例设备配置404，例如计算机308、HapticRob 110、VR头显114和/或其他设备。单个设备可以采用配置404（1）或404（2）中的任一个，或者替代配置。
简言之，设备配置404（1）表示以操作系统（OS）为中心的配置。设备配置404（2）表示片上系统（SOC）配置。设备配置404（1）组织成一个或多个应用406、操作系统408和硬件410。硬件410可以包括存储器/存储器412和处理器414等。
硬件410可以包括与HapticBot相关联的各种输入和/或输出设备。例如，输入/输出装置可以定位在HapticBot 110的各种表面之上，例如可倾斜帽206的上表面126（图2B）。
输出设备可以包括麦克风、蜂鸣器、音圈致动器（VCA）和/或加热器/冷却器等。输入设备可以包括压力传感器、力传感器，例如应变计、电容式触摸传感器电极和/或用户可激活的开关（例如触发器）等。硬件同时可以包括用于检测用户移动的各种传感器。
图6A-6C示出了HapticBots系统如何能够呈现具有并行横向运动的连续表面的示例。HapticBots系统可以利用并行的横向运动来紧密地渲染连续的平滑表面。通过实时追踪用户的手部来引导HapticBot，这有助于实现与用户手指的持续接触。HapticBot可以跟随用户手指的移动，并用手在方位角上移动或旋转，同时改变其表面高度和方向以跟随虚拟几何体。
当区域的数量超过HapticBot的数量时，可以基于手指位置优化目标位置。
例如，当HapticBot需要覆盖四个单独的目标区域时，Hapticbot可以在最接近当前手指位置的区域移动。当有足够多的HapticBot时，多个Hapticbot可以支持单个大的连续区域。
图7A中示出了这样的示例，其中四个HapticBot 110（1）-110（4）移动到大致线性布置，以共同接近用户右前臂接触的连续表面。这样，可以将目标位置分配给静态或动态的虚拟对象，例如虚拟房屋、建筑物和汽车。通过利用手部追踪和动态目标分配的组合，数量较少的机器人可以成功地模拟虚拟触觉代理。
图7B示出了HapticBots系统100A如何利用协调的多个Hapticbot 110（1）和110（2）来渲染大型对象的示例。HapticBot 110（1）与用户右手的预测位置一起移动，同时接近第一虚拟建筑物的屋顶的高度和间距。HapticBot 110（2）随着用户左手的预测位置移动，同时接近第二虚拟建筑物屋顶的高度和间距。
通过上面描述的方式，HapticBots可以为VR头显用户模拟一系列不同的触觉反馈。
名为“Mobile haptic robots”的微软专利申请最初在2021年6月提交，并在日前由美国专利商标局公布。
