微软AR/VR专利介绍利用RF射频传感器执行运动追踪的解决方案
利用RF射频传感器来执行运动追踪
（映维网Nweon 2024年09月02日）一系列的头显厂商都有在探索用于AR/VR的指环式设备，包括微软。在一份专利申请中，微软就介绍了一种利用RF射频传感器来执行运动追踪的解决方案。
在一个实施例中，指环式可穿戴设备监测佩用户的导电物质（例如肌肉群、血液、盐水）的运动。所述设备包括外壳和夹件或连接件。所述夹件或连接件附着在外壳，所述夹件或连接件允许可穿戴设备耦合到用户的身体部位。
指环式可穿戴设备同时包括设置在外壳中的射频传感器。射频传感器以预先选定的频率振荡。当射频传感器位于与用户的导电物质的预选择距离，而可穿戴设备夹在用户的身体部位时，射频传感器调谐为共振。
当导电物质基于导电物质的移动向射频传感器移动更近或更远时，根据射频传感器数据生成的结果修改波形，并且所产生的波形可用于确定导电物质如何移动。
图2显示了一个示例头显200。头显200目前显示了可由用户操纵的全息图205。这种操作可以选择性地通过使用可穿戴设备210进行。其中，可穿戴设备210夹在用户的手指。当然，这种设备210可以夹在用户身体的任何部位。
图3A示出的设备300夹在用户的手指305。所述设备300包括一个或多个RF射频传感器。
射频传感器可以定位在设备300的不同位置。通过射频传感器，系统能够理解设备300所连接的任何身体部位的不同运动和位移。特别是，射频传感器追踪用户体内导电物质的运动。这种导电物质的例子包括用户肌肉群、血液、盐水，甚至是擦在用户皮肤的导电乳膏。
一般来说，人的皮肤本身并不是非常导电，所以射频传感器通常不会追踪用户实际皮肤的运动。相反，射频传感器追踪位于用户皮肤下面或用户皮肤上面的导电材料。
在一个实施例中，可穿戴设备同时可用于监测用户的各种不同健康指标，例如用户的血压、用户的心率、用户的呼吸速率或用户的葡萄糖水平。
射频传感器工作在近场区域或中场区域。实际上，射频传感器作为一种谐振器工作。使射频传感器在特定频率上振荡。值得注意的是，选择的频率可以是任何频率。所选频率可以从一系列可用频率中选择。如果多个设备在彼此附近工作，则每个设备的射频传感器可以以不同的频率振荡，以避免相互干扰。
射频传感器不一定需要接触用户的身体，尽管容纳射频传感器的设备300可能会与用户的身体接触。射频传感器可以与用户的身体部位保持一定距离，如图3A中的间隙315所示。例如，射频传感器距离用户身体约几毫米。
这个间隙315产生的距离并不重要，因为这个距离构成了射频传感器和用户身体部位之间的阻抗。另外，可以假设射频传感器通过设备与用户身体的接触而接地。
当用户的身体部位（例如手指305）相对于射频传感器移动时，射频传感器将产生不同的射频信号。
例如，图3A显示了涉及对象320与用户手指305接触的场景。这个对象可以是用户的另一个手指、身体的另一个部位或任何其他对象，甚至是与用户身体无关的对象。
对象320对用户的手指305施加一个力325，导致用户的手指305移动或位移。由于这种运动，间隙的大小发生了变化，如间隙330和间隙315之间的尺寸差异所示。所述射频传感器能够通过确定所述导电物质相对于所述射频传感器310的距离来监测所述用户导电物质的移动。
所以，随着图3A中捏压动作的持续或加剧，手指的侧面越来越靠近射频传感器，从而报告不同的射频信号值。
基于来自RF传感器310的数据生成的结果RF信号将根据身体部位运动的方向向上或向下。例如，图3B显示了各种不同的具有峰和谷。峰和谷对应于所产生的射频信号，并表示用户的导电物质相对于射频传感器的运动。
以这种方式，所述实施例定向到调谐为在选定频率谐振的各种RF传感器。当用户的身体部位处于所谓的放松姿态时，亦即用户身体部位的默认姿势或初始基线姿势，射频传感器将不会产生共鸣。
当用户身体部位移动时，信号向共振方向或远离共振方向移动，如图3B所示。另外，应注意电路的参数（即散射参数335）将如何变化。所述实施例能够利用峰值检测器来监视散射参数335的变化。峰值检测器可以检测图3B所示图的峰和谷，并使用数据确定用户如何移动。
图3B显示了信号如何响应各种不同的运动而变化。散射参数335捕获信号的变化。在图3B中，射频传感器布置在用户手指附近。当手指移动时，射频传感器检测到这种移动，并更新散射参数。
对于散射参数值或阻抗，参数有四个维度。一个维度是电容或容量。通常情况下，这种实现的主要因素是电容，这就是为什么在图13中使用电容。另外，在电容模式下工作可以降低功率，因为当用户处于放松姿势时，电流很少或没有电流流过。
换句话说，当用户处于放松状态时，电路中没有电流流动，所以功耗几乎为零。从这个意义上说，电容在本特定应用中是散射参数的主要因素，但本质上系统正在进行散射参数峰值检测。
散射参数矩阵基本上定义为从一个端口输出的功率除以进入另一个端口的功率。如果只有一个端口，则只有一个散射参数，即S11（源端与负载端阻抗的反射系数）。
S11可以转换成阻抗，所以阻抗有4个值，一个是电容，一个是电感，一个是电导，最后一个是电阻。所述参数可以通过以下方式查看：串联电阻、串联电感、并联电容和并联电导。在描述的实施例中，电导、电阻和电感通常可以忽略不计，并且可以假设它们为零。
对于AI模型，一旦电容已知，就可以假设其他三个散射参数为零或无穷大。换句话说，可以假设电导和电感为零，电阻为无穷大。所以结果是，系统可以只用一个电容来合成信号。
所以，实施例使用散射参数来产生主要基于电容的波形。然后将波形输入人工智能模型，而后者将波形与实际的运动进行转换或关联。
射频传感器追踪和监测用户体内或体表的导电材料，如盐水、血液、肌肉群等。射频传感器不必追踪用户的皮肤运动或拉伸，因为皮肤不是一种非常导电的材料。
通过这种方式，射频传感器监测人体内部或体表的导电材料。所述实施例能够基于所述射频传感器所检测到的所检测频率产生波形。
换句话说，射频传感器设计成在特定频率振荡。当用户体内或身体上的导电材料离射频传感器更近或更远时，射频传感器产生的结果波形修改，如上所述。这种波形的变化可以与用户的运动相关联，从而允许系统确定用户如何移动。
图3C显示了另外两个涉及用户身体部位运动的场景。第一运动340在用户的导电物质和射频传感器之间产生第一组间隙。第二移动355在用户的导电物质和射频传感器之间产生第二组间隙。
通过执行上述操作，实施例能够从用户获得关于如何控制或操纵全息图的输入。在一个实施例中，射频传感器同时能够检测拇指悬停类型的输入。
在一个涉及MR键盘的例子中，MR系统可以在MR键盘投射出浅蓝色的光，以显示拇指的悬停位置。同时，可以显示一个矩形框，以显示键盘相对于输入设备的活动区域。与传统的指针和点击器相比，这可以令MR中的打字体验更快、更直观。
图4A、4B和4C显示了如何将可穿戴设备夹在用户身体的各种不同示例场景。
在一个实施例中，可穿戴设备可以包括一个弹性带，并包裹在用户身体的一部分。所以，可穿戴设备可以通过弹性或其他连接部件而不是夹紧机构来佩戴。
在一个实施例中，可穿戴设备可连接到以下至少一个：用户的腰部、用户的手腕、用户的胸部、用户的颈部、用户的手臂或用户的腿部。
图4A示出夹住或以其他方式连接到用户手指405的末端。
图4B示出设备400B夹在用户手指405的中间区域。
图4C示出设备400C夹在用户手指405的近端指骨405C。
图5A示出了包括第一射频传感器505和第二射频传感器510的设备500。
设备500显示为夹在用户的手指。所述射频传感器510显示为发射射频信号520。所述实施例能够追踪和监视基于与RF信号520相关的散射参数产生的结果波形的峰和谷。
应该注意的是，射频传感器不依赖于图像数据，而是依赖于射频信号。当用户的手指完全伸出时，由于导电材料相对于传感器的移动，射频传感器的传感值可能处于最大强度。
图5B现在显示了用户手指弯曲的场景。注意，由于用户手指的移动，RF信号520显示为不同。所产生的波形将类似地改变，以反映射频传感器和用户手指中的导电物质之间的距离变化。如图5B所示，当用户的手指弯曲时，由于导电材料相对于传感器的移动，射频传感器的传感值强度可能会降低。这使实施例能够检测和预测用户手指卷曲的程度。
在一个实施例中，可穿戴设备可以选择性地充当MR场景中的激光点。例如，当用户的手指完全伸出时，激光笔可以触发。一旦用户的手指进入卷曲状态，激光可以自动停用。
微软指出，传统的手指关节检测只能通过使用笨重的应变计手套来实现，而发明描述的实施例实现了更小且易于清洁的外形因素，从而显著改进了追踪技术。
图6显示了一种备选方案，其中设备600夹住或以其他方式连接到用户的手腕。如图所示，设备600发出各种射频信号。射频信号会根据用户手腕的运动而变化。
例如，用户的手腕可以以不同的方式移动，如屈曲605、伸展610、外展615和内收620所示。所以，可穿戴设备可以追踪用户肌肉群或身体部位的变化。
因此，相同的技术方法可以应用于手腕可穿戴设备。
图7A、7B、7C、7D和7E示出可穿戴设备700的各种不同透视图，所述可穿戴设备700包括壳体705和夹片单元710，所述夹片单元710也视为连接件。前面提到的射频传感器设置在外壳705。夹片单元710包括一个或多个不同的夹子，其可调节以容纳不同尺寸的附件。
图8说明了一个示例架构800，并用故意解释人体内或身体的导电物质如何移动。
架构800可以在MR设备实现。架构800包括一个服务805。服务805可以包括一个确定性模型810。确定性模型810允许服务805能够精确地计算或确定未来事件，而不将随机因素包括在计算中。为了达到“确定性”，模型拥有完全完成计算所需的所有数据。
服务805的任务是监测与用户身体相关的导电物质的运动，然后提供有关运动的解释，以便执行后续操作。
作为示例，服务805可以通过监测用户手指中的用户肌肉群的扩张和收缩来监测用户手指的挤压运动。这种挤压运动可以与全息图操纵相关联。
为了方便这种操作，服务805生成或访问与身体部位相对应的图像文件815。图像文件815可以准确地描绘特定用户的身体部位。例如，可以获得用户实际身体部位的渲染并将其用作图像815。
图8显示了服务805如何能够获取或访问从所述可穿戴设备中所述射频传感器获得的射频传感器数据820。在服务805于MR系统中实现的场景中，MR系统可以通过蓝牙、近场通信等任何通信技术与可穿戴设备通信。
射频传感器数据820包括一组散射参数数据。服务805使用射频传感器数据820来生成图像文件系数的修改版本，如系数815B所示。然后使用系数815B修改图像文件815，如修改825所示。可选地，修改后的图像文件的全部或部分可以显示在MR系统上，例如以全息图的形式。
所述实施例能够逐个元素和逐个顶点地更改图像文件，从而产生针对用户移动完全自定义的图像。如果将可穿戴设备夹在手指上，则实施例能够在MR系统的显示器中显示手指如何移动。
可以修改图像文件的粒度取决于可穿戴设备中可用的射频传感器的数量。更多数量的射频传感器允许收集更多的信息，从而导致更具体图像文件系数修改
图9示出用于修改用户身体部位的图像文件以反映用户身体部位运动的流程图。
方法900可以使用可穿戴设备产生的传感器数据，包括访问表示用户身体部位的图像文件。
910包括从射频传感器获取散射参数数据。射频传感器产生一组散射参数以反映与用户身体部位相关的导电物质的运动。
915包括使用模型和散射参数来更新系数集。这样的操作会导致身体部分的外观发生变化。
在一个实施例中，导电物质的运动是在头显摄像头视场之外进行。尽管不在视场之内，但由于追踪操作不依赖于图像数据，所以系统依然能够追踪运动。另外，散射参数集用于生成追踪射频传感器检测到的频率变化的峰和谷波形。
另外，设备可以提供局部触觉反馈，以实现更身临其境的体验。设备同时可以检测手掌触摸，将食指方阵转换为输入按钮，并用于快捷键，如“首页”或“后退”等命令。
相关专利：Microsoft Patent | Conductive matter movement tracking using rf sensors
名为“Conductive matter movement tracking using rf sensors”的微软专利申请最初在2023年2月提交，并在日前由美国专利商标局公布。
