微软专利为HoloLens交互优化关联手势的交互射线控制
可以根据关联手势来触发控制射线，从而避免不必要的启用
（映维网Nweon 2022年09月30日）对于远距离交互，射线是一个常见的方案。在混合现实中， 从控制器或手部向外延伸的光线可以帮助用户与通常不在臂展范围内的虚拟内容进行交互。控制射线同时可以用于其他目的，例如允许用户指向对象和进行指示说明。
尽管控制射线在混合现实环境中具有多种优势，但它们可能会产生不良的后果。例如，当用户与近距离虚拟内容交互、操作应用或在交谈时执行手势时，控制光线可能会分散注意力。同时，用户可能无意中与随机对象交互并执行相应的命令。
对于控制射线始终连续渲染的实施例，上述问题尤其明显。对于连续运行控制光线进程，但仅在光线击中可交互虚拟对象时渲染控制光线的系统而言，这同样是一个问题，因为会消耗额外/不必要的计算处理，并且依然发生意外的光线交互。
在名为“Discrete and continuous gestures for enabling hand rays”的专利申请中，微软提出了相关的解决方案。简单来说，可以根据关联手势来触发控制射线，从而避免不必要的启用。
在一个实施例中，混合现实系统检测与用户控件相关联的用户手势输入，并作为响应生成和/或显示相应的控制射线。混合现实系统获得与用户控件相关联的控制射线激活变量，并且响应于确定控制射线激活参数超过预定阈值，选择性地启用控制射线的显示。
在其他实施例中，混合现实系统在检测到触发用户手势、用户姿势或控制射线激活变量值时终止控制射线的显示。
微软指出，与用于在混合现实环境中实现和/或启用控制射线的传统系统相比，他们提出的实施例可以提供显著的帮助。例如，用户能够更好地控制何时启用/显示/激活控制射线，从而避免了与始终启用控制射线相关的问题，比方说注意力分散和意外虚拟对象交互。
在另一个示例中，由于可以在混合现实环境中选择性启用和/或禁用控制射线，因此不需要始终运行相关联的过程，从而节省处理资源。另外，可以在手部射线激活/启用方面提供更直观和更理想的用户体验。
图1示出了混合现实环境中从用户控件延伸的控制射线。如图所示，用户控件是用户的手110，包含为手部射线111的控制射线从用户的手110射出。控制射线111可以击中混合现实环境中的虚拟对象和/或虚拟输入设备，以使用户能够与相关虚拟内容交互。
控制射线从用户手部向外延伸的方向可以基于与特定手指的轴向对齐、与用户前臂的轴向对齐或其他对齐。控制射线可以从用户手的一个或多个特定部分（例如手指、手掌、其他）发出，并且可以延伸到与用户注视相关联的焦点（由注视检测器检测到），而与用户手的方向无关。
在图2，混合现实系统基于用户控件的手势或姿势，选择性地启用/触发混合现实环境中的控制射线显示。图2包括用户手210的两个姿势/手势。在姿势201中，用户控件处于打开位置，没有控制光线从其任何部分延伸。
在姿势203中，用户的手210处于仅食指213向前延伸的位置（其余手指紧贴手掌210），控制光线211从延伸食指213.的尖端延伸。图2的姿势201和姿势203之间的双向箭头旨在表示两个姿势之间的过渡关系。
以这种方式，用户可以将手的位置从姿势201中描述的姿势更改为姿势203，反之亦然，从而选择性地触发控制射线211的激活/显示（如203所示）或控制射线211的停用/省略（如201所示）。
更具体地说，专利描述的实施例有助于控制在混合现实环境中渲染的控制射线，支持混合现实系统选择性地生成和显示控制射线，以响应于检测与用户控件相关联的特定用户手势/手势输入。
参考图2，混合现实系统配置为仅在检测到用户控件（用户的手210）处于预定义姿势时，才选择性地启用控制光线211。在图2中，预定义姿势包括用户食指213从用户手210伸出，而用户手210上的其他手指处于闭合位置。在进行这种检测时，图2的混合现实系统触发操作，用于在混合现实环境中选择性地将从用户食指213尖端延伸的控制射线211呈现为控制射线全息图。
因此，在图2的姿势201中，混合现实系统检测到用户的手210处于不会触发启用控制光线211的姿势。当用户的手21处于这种姿势时，系统不会渲染控制光线。
相比之下，在图2的姿势203中，当检测到用户已经将手210放置在只有食指213向前延伸的位置时，混合现实系统将呈现一条从用户食指212的尖端向外延伸的控制光线211。在呈现控制光线211，如果系统随后检测到用户再次张开手210以对应于图2的姿势201中所示的位置，则系统将终止控制射线211的操作/显示。
因此在图2中，当用户控件（例如手210）处于所需的预定义姿势时，仅临时/选择性地启用和/或显示控制光线211，这可能有助于改善与在非最佳时间启用控制射线和/或控制射线处理相关联的问题，例如后台运行时的不必要计算负担。
转到图3-5E，应注意，检测到的姿势并不是在混合现实环境中选择性启用或禁用控制光线的唯一机制。例如，根据其他手势、姿势或手势序列或从检测到的用户控件信息中获得的变量，选择性地启用或禁用控制射线都属于范围之内。
图3示出了混合现实系统基于用户控件的手势或姿势序列启用控制射线的实施例。具体而言，图3所示的混合现实系统配置为选择性地启用控制光线311，以响应检测到用户的手310从开放姿势（图3的姿势301）切换到闭合姿势（图3的姿势303），然后再切换回开放姿势（见图3的姿势305）。
在一个实施例中，可以有选择地启用控制射线的其他手势或姿势序列。例如，用户可以将手以开放姿势从靠近用户身体的位置移动到从用户身体完全伸展的位置，从而触发控制射线。在另一个示例中，用户可以执行一系列预定义的手旋转或手指移动，从而选择性地启用控制射线。
在一个实施例中，可以对触发手势或姿势序列施加其他约束，以帮助确保仅当用户希望启用控制射线时才选择性地启用控制射线，或者控制射线不会在不方便时或分散注意力的时间启用。
例如，回到图3所示的实施例，如果在预定义的时间间隔内执行所描述的姿势序列，混合现实系统可以配置为仅选择性地启用控制光线311。继续上面提到的另一个例子，如果用户以开放姿势将手从靠近用户身体的位置移动到从用户身体完全伸展的位置，但用户的运动不符合运动特性阈值，由于用户移动太慢，系统将不会启用控制光线。
图4说明了混合现实系统基于用户控件（手410）的手势或姿势序列选择性禁用控制光线411的实施例。特别是，当控制射线已经激活时执行图3中先前定义的序列（打开-关闭-打开）（参见图4的姿势401），系统选择性地禁用控制射线411并停止渲染控制射线（参见图3的姿势405）。
图5A-5E说明了混合现实系统基于控制射线激活变量选择性地启用或禁用控制射线的实施例。
在选择性启用控制光线511并在混合现实环境中渲染后（参见图5A），混合现实系统选择性地禁用控制射线511，而不首先接收用于禁用控制射线的明确用户输入。
图5A示出了已激活并从用户手掌510处延伸的控制射线511。图5B、5C和5D说明了第一控制射线激活变量和第一阈值基于用户手的方向510和用户的注视矢量521之间的点积的情况，第二控制射线激活变量和第二阈值基于用户手的姿势。
在图5B和5C，用户手510的方向指向用户视场和注视方向之外。因此，手的方向510和用户的注视向量521之间的点积很小，并且第一控制光线激活变量未能超过第一阈值。因此，混合现实系统选择性地禁用控制光线511，即使第二控制光线激活变量可能满足第二阈值。
在图5D中，手510处于关闭位置，因此第二控制光线激活变量未能超过与用户手510的打开度对应的第二阈值。因此，混合现实系统选择性地禁用控制光线511。
在图5E中，用户再次定位其手510，使得用户手510的方向指向用户视场和注视位置内的位置，并且手510处于打开位置。因此，第一控制射线激活变量满足第一阈值，而第二控制射线活化变量满足第二阈值。
所以，混合现实系统选择性地启用图5E中的控制射线511。换言之，当所有控制射线激活变量满足各自的阈值时，控制射线511被选择性启用，当任何控制射线激活参数未能满足/超过其适用阈值时，则控制射线511.被选择性禁用。
名为“Discrete and continuous gestures for enabling hand rays”的微软专利最初在2022年6月提交，并在日前由美国专利商标局公布。
