微软AR/VR专利提出反向透视技术，用射频传感器追踪面部肌肉群运动
用射频传感器追踪面部肌肉群运动
（映维网Nweon 2024年08月30日）Meta和苹果等都有在探索基于前置显示屏的反向透视，通过提供遭头显遮挡的眼周区域视图来实现一种社交临场感。
根据美国专利商标局公布的专利申请，微软同样有在探索类似的技术。
在一个实施例中，专利描述的MR设备包括一个向内显示内容的显示器，以及一个向外显示内容的显示器。
系统可以访问表示MR设备用户面部的图像文件，并从设置在MR设备的RF射频传感器获得散射参数数据。其中，射频传感器产生一组反映用户导电物质运动的散射参数。导电物质与用户的脸部相对应。
系统能够使用散射参数来更新所述系数集，从而改变图像文件所表示的用户面部外观。更新系数集之后，MR设备的朝外显示器显示图像文件的至少一部分。
如图2所示，MR设备搭载朝外显示器200。朝外显示器可以显示一系列的内容，比如用户的眼周区域图像。
图9说明了在朝外显示器显示特定内容的架构900。
服务905可以选择包括机器学习引擎910或任何形式的人工智能引擎。服务905通常负责在头显的朝外显示器显示特定内容。例如，905服务的任务主要是显示与用户面部特征相对应的图像。
另外，服务905可以根据用户的面部运动修改图像。作为执行操作的结果，周围人群能够看到用户的面部表情变化。
为了方便所述操作，服务905生成或访问图像文件915。图像文件915包括任意数量的系数915A。系数915A的修改造成对图像文件915可视化的修改。
最初，图像文件915可以对应于用户的放松姿势，其中“放松姿势”可以是用户的默认姿势或初始基线姿势。放松姿势可以把用户描绘成没有微笑。修改嘴部系数可以造成图像文件915修改，以反映用户正在微笑。
图10显示了代表图像文件915的示例图像文件1000。图像文件1000当前表示处于放松姿势1005的用户的脸。图像文件1000包含或与一组系数1010相关联。对系数1010的修改造成图像文件1000显示的用户面部修改。
例如，图11显示了图像文件1100的修改版本。在图10中，用户没有表情，但在图11中，用户现在张开了嘴。所述实施例能够修改图像文件的系数，而不依赖于随后获得的图像数据，例如来自摄像头的图像数据。相反，系统使用从一个或多个RF传感器获得的传感器数据。
图9显示了服务905如何能够获取或访问射频传感器数据920。射频传感器数据920由设置在MR 头显的一组射频传感器产生。
射频传感器数据920包括一组散射参数数据。服务905使用射频传感器数据920来生成图像文件系数的修改版本，如系数915B所示。然后使用系数915B修改图像文件915，如修改930所示。然后可以在朝外显示器显示所修改的图像文件的全部或至少一部分。
图12显示了头显如何包括任意数量的RF传感器，其中两个标记为RF传感器1215和RF传感器1220。通过射频传感器，服务能够了解用户面部运动和面部位移。
射频传感器作为一种谐振器工作。选择的频率可以是任何频率。如果多个头戴式显示器在彼此附近工作，每个头戴式显示器的射频传感器可以以不同的频率振荡，从而避免相互干扰。
射频传感器不一定需要接触用户的脸。射频传感器可以放置在距离用户脸部一定距离的地方。例如在增强现实场景中，射频传感器可以与用户的面部保持大约一英寸的距离。在VR场景中，射频传感器可以距离用户的面部几毫米。
当用户的脸相对于射频传感器移动时，射频传感器将产生不同的信号。例如，信号会根据面部运动的方向上升或下降。以这种方式，所述实施例定向到调谐为在选定频率谐振的各种RF传感器。
当用户处于放松姿势时，射频传感器不会产生共振。但只要用户的脸移动，信号要么靠近共振，要么远离共振。
图13显示了信号如何响应各种不同的面部动作而变化。散射参数1305捕获信号的变化。在图13中，射频传感器设置在用户的脸颊区域附近。当脸颊移动时，射频传感器检测到这种移动，并更新散射参数。
对于散射参数值或阻抗，参数有四个维度。一个维度是电容或容量。通常情况下，这种实现的主要因素是电容，这就是为什么在图13中使用电容。另外，在电容模式下工作可以降低功率，因为当用户处于放松姿势时，电流很少或没有电流流过。
换句话说，当用户处于放松状态时，电路中没有电流流动，所以功耗几乎为零。从这个意义上说，电容在本特定应用中是散射参数的主要因素，但本质上系统正在进行散射参数峰值检测。
散射参数矩阵基本上定义为从一个端口输出的功率除以进入另一个端口的功率。如果只有一个端口，则只有一个散射参数，即S11（源端与负载端阻抗的反射系数）。
S11可以转换成阻抗，所以阻抗有4个值，一个是电容，一个是电感，一个是电导，最后一个是电阻。所述参数可以通过以下方式查看：串联电阻、串联电感、并联电容和并联电导。在描述的实施例中，电导、电阻和电感通常可以忽略不计，并且可以假设它们为零。
对于AI模型，一旦电容已知，就可以假设其他三个散射参数为零或无穷大。换句话说，可以假设电导和电感为零，电阻为无穷大。所以结果是，系统可以只用一个电容来合成信号。
所以，实施例使用散射参数来产生主要基于电容的波形。然后将波形输入人工智能模型，而后者将波形与实际的面部运动进行转换或关联。
然后，AI模型能够输出表情系数，并可以用来修改前面提到的图像文件。在这个意义上，实施例是对表面重建图像执行修改，并且不执行情感检测或表情检测。
所述实施例能够逐个元素和逐个顶点地更改图像文件，从而产生针对特定用户完全定制的图像。如果一个人微笑，系统就能够显示用户的眼睛、眉毛、脸颊，甚至可能是嘴巴是如何随着微笑而变化。不同的人的微笑和面部变化将以不同的方式可视化。
射频传感器追踪和监测导电材料，如用户体内的盐水、血液或肌肉群。射频传感器不必追踪用户的皮肤运动或拉伸，因为皮肤不是一种非常导电的材料。
通过这种方式，射频传感器正在监测人体中包含的导电材料。所述实施例能够基于所述射频传感器所观察到的所检测频率产生波形。
换句话说，射频传感器设计成在特定频率上振荡。当用户体内的导电材料离射频传感器更近或更远时，射频传感器产生的结果波形将修改，如上所述。这种波形的变化可以与用户的运动相关联，这样系统就能够确定用户如何移动。
可以修改图像文件的粒度取决于可用的RF传感器的数量。更多数量的射频传感器允许收集更多的信息，从而带来更具体的图像文件系数修改。
图14展示了朝外显示器的两个视图1400和1405图像将根据检测到的用户面部运动进行修改。
视图1400反映了朝外显示器显示内容的场景，而视图1405反映了朝外显示器不再显示内容的场景。
图15说明了显示用户面部详细特征的三种不同透视图，包括第一视图1500、第二视图1505和第三视图1510。
请注意，由于从不同角度查看像素，视图所描绘的内容都略有不同。另外，显示的图像显示为具有逼真的3D属性1515，例如用户脸部的深度和轮廓。
图16示出第一视图1600和第二视图1605。第一个视图1600反映了用户眼睛的简化描述和他们的方向。与外图1605相比，视图1600中图像的亮度更亮。这可能是基于特定检测条件的情况。例如当头显显示透视图像时，图像中的亮度和/或细节量可能会增加。当头显不显示透视图像时，亮度和/或细节级别可能会降低。
图17示出了用于显示朝外内容的流程图。
方法1700包括在朝内显示器显示用户导向内容的动作（1705）。
与动作1705并行、串行或甚至异步地，动作1710包括在朝外显示器显示朝外内容。
用户导向的内容仅从第一位置可见，所以周围人无法查看用户导向的内容。朝外内容仅在第二个位置可见，所以头显用户无法查看朝外内容。可选地，向外的内容与向内的内容同时显示。
在一个实施例中，朝外内容反映了用户的面部特征。可选地，朝外内容可以反映用户面部特征的运动。
MR设备可以包括RF传感器。射频传感器产生一组散射参数以反映用户导电物质的运动。例如，导电物质可以是用户的肌肉群、用户体内的盐水，甚至可能是用户的血液。
方法1700可以包括访问表示用户面孔的图像文件的动作。图像文件可以包括一组系数，如果修改系数，则会改变图像文件所表示的用户面部外观。
所述方法同时可以包括从射频传感器获取散射参数数据的动作。射频传感器产生一组反映用户导电物质运动的散射参数，其中导电物质与用户的面部相关联。所述实施例可以使用所述散射参数来更新所述系数集，从而改变所述图像文件所表示的用户面部外观。
图18示出显示朝外内容的流程图。
1805包括访问一个用户面部的图像文件。图像文件包括一组系数，如果对所述系数进行修改，则会改变图像文件所表示的用户面部外观。
1810包括从射频传感器获取散射参数数据。射频传感器产生一组散射参数以反映用户导电物质的运动。导电物质与使用者的脸部相对应。
1815包括使用散射参数来更新系数集，从而改变图像文件所代表的用户面部外观。在更新系数集之后，1820包括在朝外显示器显示图像文件的至少一部分。
相关专利：Microsoft Patent | Muscle group movement tracking using rf sensors
名为“Muscle group movement tracking using rf sensors”的微软专利申请最初在2023年2月提交，并在日前由美国专利商标局公布。
