微软AR/VR专利分享如何优化光学传感器局部特征检测精度
提高局部特征检测精度
（映维网Nweon 2022年08月29日）局部特征是图像中发现的模式或不同结构，可以包括点、边或斑点等。它们一般与通过纹理、颜色和/或强度与其周围环境区分的图像块相关联。另外，依赖光学传感器来促进定位和映射的各种技术同样可能依赖于精确检测局部特征的能力。例如，为了向用户提供沉浸式体验，头戴式显示器等设备可以绘制物理环境映射，并进行自我定位。在理想情况下，算法可以很好地执行局部特征检测。但在不同的环境和条件下，一般算法的性能并不相同。因此，需要能够有效地确保算法适应用户的特定环境。
证据表明，不同的单应变换可以导致不同的精度，因此，微软在名为“Personalized local image features using bilevel optimization”的专利申请中提出，可以预测变换，从而有效地帮助个性化特定用户环境的局部特征。专利描述的实施例涉及用于将基线局部特征模型个性化到用户的特定目标环境。
在这方面，通过提供来自用户环境的验证集，可以预测从验证集的角度来看相关和重要的转换空间。实施例将这个“个性化”问题框架化为双层优化框架。双层优化框架的外部操作可以找到与验证集最相关的最优变换。
双层框架的内部操作则在局部特征网络的训练期间利用变换。然后，推导双层优化问题的可微近似，并利用罚函数方法求解。微软指出，各种实施例的应用证明了局部特征检测的显著改进，有时根据验证集的大小等，其精度比预训练的局部特征模型的提高10%-20%。
图2中的流程图200描绘了用于生成最佳单应矩阵的差分扭曲网络（DWN）210，其可用于生成给定图像220（“I”）的最佳变换。DWN 210可以用一组参数230（“θ”）来定义。在各种实施例中，给定图像220可以对应于多个训练图像中的一个，所述训练图像用于训练本地特征个性化设备所采用的本地特征网络，并由局部特征个性化设备使用。这有助于学习最佳单应性参数，从而最大化用户当前物理环境的局部特征准确性。
在一个实施例中，DWN 210的输出可以包括概率向量的元组（.psi..s、.psi..r、.psi..sh）。比例概率向量242（“psi”）可以对应于比例变换中的K个仓，旋转概率向量244（“psi”）可对应于旋转变换中的K个bin，而剪切概率向量246（“psi”）对应于剪切变换中的n个bins。
在进一步的实施例中，可以对概率向量242、244、246中的每一个应用Gumbel softmax操作244、254、264以确定热向量246、256、266（“Cs”、“Cr”、“Csh”），第一个热向量246（“CS”）可以从由标度概率向量242（“psi..s”）参数化的分类分布中提取，并帮助从K个可用于缩放变换用的bin中选择精确的bin。第二个热向量256（“CR”）可以从由旋转概率向量252（“psi..r”）参数化的分类分布中提，并帮助从K个可用于旋转变换的bin中选择精确的bin。最后，第三个热向量有助于从K个可用于剪切变换的bin中选择一个精确bin。第三个热矢量266（“Csh”）可以从由剪切概率矢量262（“psi..sh”）参数化的类别分布中得出。
利用热向量246、256、266，DWN 210可以选择由一个热矢量246、256、266定义的bin，并为给定输入图像220生成最佳单应变换矩阵270。
图3的流程图300描绘了用于提高局部特征检测精度的双层优化框架300。在high level，局部特征个性化设备配置为使具有一组权重（即局部特征网络参数320）的局部特征网络310以适配特定用户的环境。
为了模拟用户的环境，可以获得一组验证图像，包括通过ground truth值单应性相关的成对图像。提供了一组训练图像（“Dtrain”）和一组验证图像（“Dva”），局部特征个性化设备可以采用双层优化框架，例如双层优化框架300。双层优化框架300可以包括外环302和内环304，它们循环处理以根据用户的环境个性化本地特征网络。
简要参考图3，流程图300描述了实现上述算法的双层优化框架300，其主要用于提高局部特征检测的准确性。根据流程图300，来自用于训练局部特征网络320的一组训练图像的图像350可以通过DWN 330，从而生成训练图像对。
如本文所述，对于给定图像，DWN 330可以生成最佳单应矩阵335，从而可以变换应用于图像的最佳单应性矩阵335并且可以生成图像的最佳变换。为此，训练图像350及其各自的最佳变换可以产生训练图像对355，在本文中描述为dTrain。双层优化目标，又称双层损失（“双层”）370，其可以是训练损失梯度（“梯度训练”）360和验证图像集（“德瓦尔”）380的函数。在内环302中，可以更新局部特征网络参数320。类似地，可以更新外环302的DWN参数340。
图4描绘了采用双层优化框架的示例性系统400框图。在一个实施例中，示例性系统400或局部特征个性化设备可以耦合到头戴式显示器。系统400同时可以耦合到一组传感器，例如追踪传感器和环境传感器。在各种实施例中，系统400或局部特征个性化设备可以包括验证图像捕获组件404、单应变换组件406、差分扭曲网络（DWN）组件408和局部特征网络（LFN）组件414。
系统400或本地特征个性化设备可以包括用于捕获用户当前物理环境的验证图像的验证图像捕获组件404。验证图像捕获组件404可以采用一个或多个传感器。验证图像捕获组件404可以进一步使用一个或多个传感器来追踪和保持一个或更多个ground truth值单应矩阵（矩阵定义了由验证图像捕获部件404捕获的各种验证图像之间的单应关系）。
系统400或局部特征个性化设备可以包括差分扭曲网络（DWN）组件408，其具有用于定义和/或更新权重或DWN参数的DWN参数定义组件410，以及用于确定给定图像的最佳变换的最佳变换确定组件412。
在各种实施例中，DWN组件408可以接收一个或多个训练图像402，其中每个训练图像用于训练局部特征网络（LFN）组件414的局部特征网络。DWN组件418可以接收训练图像402，并通过确定训练图像402的最佳单应变换矩阵来生成训练图像对。
在一个实施例中，DWN组件408可以包括最优变换确定组件412，所述组件412包括计算设备，在其上托管可微扭曲网络（DWN）。最佳变换确定组件412的DWN可以包括用于从训练图像402提取特征作为基础的两层卷积网络。
最佳变换确定组件412的DWN可以生成概率向量的元组（psi..s、psi…r、psi.sh）。在一个实施例中，尺度概率向量（“psi..s”）可以对应于尺度变换中的K个bin，旋转概率向量（“psi..s”可以对应于旋转变换中的K个bin，剪切概率向量（“psish”）可以对应着剪切变换中的这K个bin。
在进一步的实施例中，可以对每个概率向量应用Gumbel softmax运算以分别确定一个热向量（“CS”、“CR”、“CSH”）。DWN组件408可以包括和/或采用单应变换组件406，其可以采用最佳单应变换矩阵来变换输入训练图像402并生成训练图像402的最佳变换版本。如本文前面所述，对于给定训练图像，最优单应矩阵可以由最优变换确定组件412生成，从而最优单应性矩阵可以应用于图像，并生成图像的最优变换。为此，DWN组件408可以输出一个或多个训练图像及其各自的最佳变换，以产生训练图像对。
系统400或本地特征个性化设备可以包括具有LFN参数定义组件416的本地特征网络（LFN）组件414。除其他外，LFN组件414可以包括计算设备，如图6中描述的计算设备600，在其上托管本地特征网络。LFN参数定义组件416可以定义与由LFN组件414承载的LFN相关联的一组LFN参数（例如权重）。
在各种实施例中，LFN组件414可以从DWN组件408接收一个或多个训练图像对作为输入。除其他外，LFN组件414可以基于所提供的训练图像对来确定训练损失的梯度（“dBdTrain”）。LFN组件414同时可以根据训练损失梯度（“梯度”）和由验证图像捕获组件404捕获的或由系统400以其他方式获得的验证图像集（“dVal”）。
可以基于确定的双层优化目标为DWN参数计算第一梯度，并且可以为LFN参数计算第二梯度。在进一步的实施例中，LFN参数定义组件416可以使用第二计算梯度来更新LFN参数，而DWN参数定义部件410可以使用第一计算梯度更新DWN参数。
系统400或局部特征个性化设备可以重复以下步骤：生成或获得训练图像对，捕获或获得与地面真值单应矩阵相关的验证图像对，确定与LFN组件414承载的LFN相关联的双层优化目标，并利用计算出的第一和第二梯度更新DWN参数和LFN参数。在进一步的实施例中，重复所述步骤的过程可以继续，直到计算的第一和第二梯度已经达到最小阈值或零。以这种方式，由LFN组件414承载的LFN的LFN参数已经针对用户的目标环境被调整或以其他方式优化。换言之，使用来自目标环境的验证图像以便于通过本文所述的系统或局部特征个性化设备来调整LFN参数。
相关专利：Microsoft Patent | Personalized local image features using bilevel optimization
名为“Personalized local image features using bilevel optimization”的微软专利申请最初在2021年2月提交，并在日前由美国专利商标局公布。
