微软专利为枪型外设配摄像头，实现精确AR/VR FPS游戏射击体验
使用一种配备了固定摄像头的枪型外设
（映维网Nweon 2022年02月15日）在多人AR/VR游戏中，精确判断一名玩家发射的虚拟炮弹飞向另一名玩家的轨迹非常重要。原则上，根据两名玩家的位置和发射轴的方向，系统可以确定虚拟炮弹是否击中给定玩家。但大型环境，位置越远，误差可能越大，从而对游戏体验产生糟糕的影响。另外，存在不可预测照明条件的室外和其他环境可能会进一步降低精度。
在名为“ Virtual-projectile delivery in an expansive environment”的专利申请中，微软就介绍了一种相关的解决方案。简单来说，在多人FPS场景中，穿戴AR/VR头显的玩家可以使用一种配备了固定摄像头的枪型外设。其中，枪型外设的摄像头可以在玩家扣动扳机时拍摄图像，并用以帮助系统判断是否有击中目标对象。
在一个实施例中，第一玩家的游戏设备（AR/VR头显）处理在发射虚拟炮弹时获取的目标图像，以确定是否有任何已识别对象被击中。在确定已识别对象被击中后，游戏设备将其位置和发射轴的方向告知网络服务。在收到相关信息后，网络服务利用映射的玩家位置来确定哪位玩家最有可能被击中。
图1是一个多用户PFS枪战场景。在所示示例中，环境10是一个广阔的真实户外环境，允许玩家在其中自由移动。
环境10中的每名游戏玩家（12；12’；12”；和12”’）都可以通过AR/VR游戏设备16参与沉浸式多人游戏14。
游戏设备16包括无线发射器18A和无线接收器20A。无线发射器和无线接收器允许游戏设备16通信耦合到一个或多个远程设备，例如网络服务器。游戏设备16同时包括置为感测游戏设备在环境10中的位置的位置传感器22；游戏设备16同时可以包括任何绝对或相对位置感测组件，例如GPS接收器、WiFi位置传感器和磁性位置传感器等等；游戏设备16同时可以包括配置为感测游戏设备的绝对或相对方向的方向传感器24A，例如惯性测量单元和/或任何其他方向感测组件。
所示的游戏设备16可以包括朝外的成像摄像头和朝内的成像摄像头。其中，朝内的成像摄像头配置为解析玩家12的眼睛瞳孔位置，从而启用注视点追踪。
图1的示例进一步包括外设32。外设32可以采取步枪、手枪、弓箭、高尔夫球杆和棒球棒等不同形式。在图1示例中，外设32采取步枪形式。
如图3所示，枪型外设32包括以通信方式将外设耦合到游戏设备16的无线发射器18B。外设32同时包括方向传感器24B，方向传感器可包括IMU、GPS接收器和/或任何其他方向感测组件。在使用IMU的示例中，IMU可选地配置为三自由度（仅旋转）追踪。
外设32包括扳机键36，以及当扳机键被触发或以其他方式启动时执行的相关事件处理逻辑。事件处理逻辑与无线发射器18B接口，并允许无线发射器发送虚拟炮弹34发射的指示。发射指示由通信耦合游戏设备16的无线接收器20A接收。
外设32进一步包括刚性安装的外设摄像头38。在所示的示例中，外设摄像头38与步枪瞄准镜共享光轴A。在所述配置中，由外设摄像头38获取的十字线图像自然地与外设32的发射轴B对齐并平行。
在一个示例中，外设摄像头可以包括热成像摄像头。外设可经由无线发射器18B和适当的控制逻辑配置为将由外设摄像头38获取的图像发送到游戏设备16，以便在游戏设备的图像处理引擎28中进行处理。
具体地，图像处理引擎的对象识别机30可以对从外设接收的图像执行对象识别。在一个示例中，可以在SLAM功能中使用由外设摄像头38获取的图像，从而对环境10中的参考对象进行识别，并确定外设在环境中的绝对方向。在一个示例中，来自SLAM、GPS接收机等的绝对方位数据可用于通过传感器融合方法来细化来自方位传感器24B的三自由度方位数据。对象识别同时可用于在图像中识别和定位一个或多个预定义对象类的目标对象。
命中信号、命中分配以及位置和方向数据可以由任何合适的数字数据结构表示，并且可以在网络服务40和游戏设备16之间以任何合适的方式进行通信。同样，虚拟炮弹发射的触发信号或其他指示，以及代表虚拟炮弹发射器发射轴方向的数据，可以以任何适当形式从外设32传输到游戏设备16。例如红外、蓝牙等。
图5是专利示例方法50的各个方面。在方法50的52处中，游戏设备接收第一玩家的虚拟炮弹发射器发射虚拟炮弹的指示。在虚拟炮弹发射器是具有扳机键或扳机键功能的外设示例中，当扳机键或扳机键功能启动时，外设可发送发射指示。
在54处，游戏设备接收与第一玩家的虚拟炮弹发射器的发射轴对齐的图像。在56处，根据在52处接收到发射指示，游戏设备确定在54处接收到的图像的炮弹递送区域中是否成像了识别对象。所述确定在由游戏设备运行的对象识别引擎中进行，例如训练过的机器学习引擎。
6A至6E示意性地说明了在56处进行的示例测定。图6A示出了可由外设摄像头38获取的示例图像58A。图58A包括一个中央炮弹发射区60A。炮弹发射区域与未识别对象62的图像相交。在根据接收到发射指示来处理图像58A时，游戏设备确定在炮弹递送区域中未成像任何可识别对象。
图6B示出了可由外设摄像头38获取的另一示例图像58B。在所述图像中，识别出的对象64B被成像在炮弹发射区域60B中。在根据接收到发射指示来处理图像58B时，游戏设备确定在炮弹递送区域中成像了识别的对象，并且可以进一步确定所述对象的类别：敌对游戏玩家。
炮弹发射区域的大小可以因第一玩家发射的虚拟炮弹类型而异。例如，与虚拟橄榄球相对应的发射区域可能要大得多，如图6C所示。
回到图5，在方法50的65处，当在56处确定在图像的炮弹递送区域中成像了识别的对象时，游戏设备向网络服务器输出命中信号。命中信号指示已识别的对象已接收到由第一玩家发射的虚拟炮弹，亦即第二玩家被第一玩家击中。在一个实施例中，系统可以根据击中位置和炮弹类型计算对第二玩家的伤害。
通过上述方式，由枪型外设搭载的摄像头在第一玩家扣动扳机键时拍摄的图像可以帮助系统判断虚拟炮弹是否有击中目标。
相关专利：Microsoft Patent | Virtual-projectile delivery in an expansive environment
名为“Virtual-projectile delivery in an expansive environment”的微软专利申请最初在2020年7月提交，并在日前由美国专利商标局公布。
