微软AR/VR专利分享全身追踪用Multi-Chirp FMCW雷达进行姿态检测
将高带宽chirp与低带宽chirp相互交织，以形成Multi-Chirp FMCW雷达信号
（映维网Nweon 2024年08月26日）大多数头显包括图像传感器。然而，图像传感器在追踪用户身体各个部位的姿势时受到遮挡的限制。所以，当前的头戴传感器系统在检测用户全身姿势的能力方面受到限制。
在一份专利申请中，微软提出可以在头显实现FMCW雷达传感器，以促进对特定身体结构的追踪。高带宽FMCW雷达信号可以高精度地追踪对象，所以可以用来精确地追踪脚、膝盖、手和/或其他结构。
但由于与功率和带宽相关的监管限制，FMCW雷达传感器作为潜在头戴式显示器传感器受到的关注有限。例如，有监管机构限制特定设备的高带宽信号。
所以，高带宽FMCW雷达系统通常在探测范围内受到限制，所以FMCW雷达信号不适合检测用户腿、脚或其他通常远离头戴式显示器的身体结构的姿势。
不过，监管机构对低带宽FMCW雷达信号有不同的雷达功率限制。尽管这种低带宽FMCW雷达信号可以用于追踪远离雷达系统的身体结构，但低带宽FMCW雷达信号的距离分辨率较低。这使得低带宽FMCW雷达信号不适合追踪身体结构。
所以，微软提出可以利用Multi-Chirp FMCW雷达进行姿态检测。例如，单个雷达可以利用不同带宽的FMCW chirp来追踪身体四肢。FMCW信号可以包括高带宽chirp和低带宽chirp，并且高带宽chirp可以包含比低带宽chirp更低的发射功率（符合适用法规）。
这种雷达系统可以在头戴式显示器实施，以方便对身体结构的追踪。搭载发明描述的Multi-Chirp FMCW雷达系统的头显可以利用雷达信号的高带宽组件/chirp以高精度追踪双手。头显同时可以类似地利用雷达信号的低带宽组件/chirp来追踪腿、地板和/或其他距离头显较远的对象，并具有足够的精度用于身体追踪应用。
不仅只是这样，这样的功能同时能够符合适用的FMCW雷达带宽和功率的监管限制。
图1示出，系统100可以包含或与传感器110通信。传感器110可以包括用于捕获或测量代表可感知或可检测现象的数据的任何装置。例如，传感器110可以包括一个或多个雷达传感器。另外，系统100可以包含或与I/O系统114通信。I/O系统114可以包括任何类型的输入或输出设备。
如图2A所示，将高带宽chirp222与低带宽chirp224相互交织，以形成图212 multi chirp FMCW雷达信号。在这方面，multi chirpFMCW雷达信号可以包括与一个或多个低带宽chirp集交织的一个或多个高带宽chirp集。
高带宽chirp222包含比低带宽chirp224更高的频率带宽。例如，高带宽chirp222包括约6.8 GHz的带宽，低带宽chirp224包括约3.4 GHz的带宽。
图2A描述了雷达系统206发射multi chirp FMCW雷达信号。特别是，图2A描述了发射高带宽chirp222的雷达系统206。类似地，图2A描述了发射低带宽chirp224的雷达系统206。
如上所述，雷达系统206可以利用发射器208发射multi chirp FMCW雷达信号。雷达系统206的每个发射器208单独配置为发射multi chirp FMCW雷达信号。在这方面，雷达系统206的每个单独雷达发射器208可以单独配置为发射multi chirp FMCW雷达信号的高带宽chirp222和低带宽chirp224。
如上所述，特定监管机构制定了限制高带宽FMCW雷达信号传输功率的法规。所以，为符合规定，在高带宽chirp222与低带宽chirp224交错传输时，发射器208可以以比低带宽chirp224更低的发射功率发射高带宽chirp222。尽管高带宽chirp222的传输功率降低了其传感器范围，但高带宽chirp222依然可用于高精度地检测附近对象，例如用户的手。
特定监管机构对低带宽FMCW雷达信号的传输功率施加较少的限制。所以，可以由发射器208以比高带宽chirp222更高的发射功率发射低带宽chirp224。低带宽chirp224的相对较高的传输功率可以提供更大的传感器距离，这可以使低带宽chirp可用来以足够的精度检测更远的对象，例如用户的脚。
鉴于上述情况，低带宽FMCW雷达信号可用于检测远距离对象的姿态数据，并且高带宽FMCW雷达信号可用于检测较近对象的姿态数据。
图2A描述了向头显202和雷达系统206传播的反射高带宽chirp226A。图2A中反射的高带宽chirp226A包括对场景中对象的高带宽chirp222A的反射。类似地，图2A描述了向头显202和雷达系统206传播的反射低带宽chirp228A。反射的低带宽chirp228A包括对场景中对象的低带宽chirp224A的反射。
在图2A的示例中，雷达系统206的接收器210检测到反射的高带宽chirp226A和反射的低带宽chirp228A。
图214同时描绘了高带宽chirp222，以说明高带宽chirp222的发射与反射高带宽chirp226的检测之间的时间偏移。同样，图214描绘了低带宽chirp224，以说明低带宽chirp224的发射与反射的低带宽chirp228的检测之间的时间偏移。
系统可以利用multi chirp FMCW雷达信号的反射chirp和发射chirp之间的差异来确定场景中对象的姿态信息。图2B示出检测到反射的高带宽chirp226和反射的低带宽chirp228的接收器210。
雷达系统206可以利用反射的高带宽chirp226的信号特性来确定第一对象姿态数据230。第一对象姿态数据230指示场景中反射高带宽chirp226反射的一个或多个对象的位置和/或运动属性。在图2A和2B中，反射的高带宽chirp226从用户204的手260反射。所以在图2B的示例中，第一对象位姿数据230表示用户204的手260的位置和/或运动属性。
类似地，雷达系统206可以利用反射的低带宽chirp228的信号特性来确定第二对象姿态数据232，并指示反射的低带宽chirp228反射的场景对象的位置和/或运动属性。
在图2A和2B，反射的低带宽chirp228从用户204的脚262反射出来。所以在图2B的示例中，第二对象位姿数据232表示用户204的脚262的位置和/或运动属性。
尽管第一对象位姿数据230和第二对象位姿数据232与图2B示例中的特定对象相关联，但可以利用反射的multi chirp FMCW雷达信号的分量来检测任何类型和/或数量的对象的位姿数据。例如，第一对象姿态数据230可以指示用户204的肩膀或肘部的位置和/或运动属性。作为另一个示例，第二对象姿态数据232可以指示用户204的腿或膝盖的位置和/或运动属性。
在一个实施例中，使用雷达系统206获得的姿态数据可以与由总体系统获得的附加姿态数据结合使用。图2B描述了可以从头显202的一个或多个其他传感器110获得的附加姿态数据236。
图2B进一步示出，通过融合器240将附加姿态数据236与第一对象姿态数据230和/或第二对象姿态数据232融合以获得复合姿态242。例如，姿势242可以包括用户204的全身姿势，并且全身姿势的不同方面基于来自不同传感器的姿势数据贡献。
融合器240可以包括一个或多个联合优化的AI模块，AI模块在具有真实姿态的基础真值的多种类型的输入姿态数据进行训练。
如上所述，雷达系统206可以配置为在发射和/或检测multi chirp FMCW信号时进行节能操作。在一个实施例中，雷达系统206的发射器208发射multi chirp FMCW雷达信号消耗小于10毫瓦。
图2C示出了选择性地激活基于通过雷达系统206获得的姿态信息的附加追踪系统。具体地，头显202确定用于对象的第一对象位姿数据230是否满足一个或多个条件。为了确定第一对象姿态数据230满足条件，头显202可以选择性地激活对象追踪系统。
激活后，所述对象追踪系统可获得追踪数据，以方便与所述第一对象姿态数据230相关联的所述对象的位置追踪。例如，对象追踪系统可包括用于执行手部追踪的传感器和/或处理模块。第一对象姿态数据230可以指示用户204的手260的位置和/或运动特征。
与决策块250相关联的条件可以包括用户204的手260的位置在手追踪系统的感知范围内。选择性激活手追踪系统的附加或可选条件可包括用户204的手260的位置靠近手追踪系统的感知范围。
在一个实施例中，与决策块250相关的条件依赖于与其他设备和/或传感器系统相关的信息。为了确定第一对象姿态数据230满足条件，头显202可以选择性地不激活目标追踪系统。
如上所述，与雷达系统206相关的功耗可以小于与根据姿态数据选择性激活的手部追踪系统相关的功耗。使用由雷达系统206获得的姿态数据选择性地激活手追踪系统，从而在用户体验不需要时保持非活动状态来促进省电。
图3和4的流程描述了通过multi chirp FMCW雷达促进姿态检测的相关行为。
在302，发射包括高带宽chirp和低带宽chirp的multi chirp FMCW雷达信号。在一个实施例中，高带宽chirp和低带宽chirp相互交织，形成multi chirp FMCW雷达信号。
在一个实施例中，multi chirp FMCW雷达信号由单个雷达发射器发射。雷达发射器发射multi chirp FMCW雷达信号消耗小于10毫瓦（或小于5毫瓦）。
在304，检测包含反射高带宽chirp和反射低带宽chirp的反射multi chirp FMCW雷达信号。
在306，使用反射的高带宽chirp确定第一对象姿态数据。
在308，使用反射的低带宽chirp确定第二对象姿态数据。在一个实施例中，使用距离多普勒技术获得第一对象姿态数据和/或第二对象姿态数据。
在310，基于第一对象姿态数据或第二对象姿态数据选择性地激活一个或多个对象追踪系统。在一个实施例中，一个或多个目标追踪系统与连接到雷达系统的头戴式显示器相关联，雷达系统执行动作302-308中的一个或多个动作。
在一个实施例中，动作306的第一独享姿态数据包括与用户的一个或多个肩膀、肘部或手相关联的物体姿态数据。动作308的第二对象姿态数据包括与用户的一条或多条腿或脚相关联的对象姿态数据。
在一个实施例中，头显融合第一对象姿态数据、第二对象姿态数据和附加的姿态数据，以获得用户的全身姿态。
图4示出通过雷达系统获取指示对象姿态的对象姿态数据。在一个实施例中，雷达系统配置为发射包括高带宽chirp和低带宽chirp的multi chirp FMCW雷达信号，以获得目标位向数据。
这包括，作为对确定对象的姿态满足一个或多个条件的响应，选择性地激活对象追踪系统。在一个实施例中，一个或多个条件包括对象的姿态在对象追踪系统的感知范围内或接近。
最后，通过所述对象追踪系统获取对象追踪数据，以方便所述对象的位置追踪。
相关专利：Microsoft Patent | Pose detection using multi-chirp fmcw radar
名为“Pose detection using multi-chirp fmcw radar”的微软专利申请最初在2023年2月提交，并在日前由美国专利商标局公布。
