微软AR/VR专利提出利用角、线特征进行多摄像头图像对齐
利用角和线特征来进行图像对齐的方法
（映维网Nweon 2023年09月25日）MR系统可以采用多个摄像头，但在呈现图像图像需要对齐图像。然而，图像对齐存在挑战。所以在名为“Image alignment using corner and line features”的专利申请中，微软就提出了一种利用角和线特征来进行图像对齐的方法。
当然，行业早已存在利用角特征来进行图像对齐的方法。然而，在图像中识别角并根据识别的角对齐图像是一个耗时且计算密集型的操作。
微软提出的是一种更有效的改进技术，可以实现更好的特征匹配。发明主要介绍了使用角特征和线特征来执行视觉对齐的混合方法，而这种解决方案导致对齐过程中所需的约束更少，从而改进计算效率和特征匹配。
图11示出一个示例环境1100，其中用户正在使用头显摄像头1105和外部摄像头1110。如前所述，需要对齐从这两个摄像头生成的图像内容。但环境1100可能是一个弱光环境，或者可能是一个在热梯度或对比度方面具有低对比度的环境。
例如，在深夜物体冷却后，环境的温度梯度可能通常是均匀的。在这种情况下，环境的温度曲线或梯度可能低于特定的等温阈值1115。在这种情况下，用于对齐内容的传统技术可能会失效。微软描述的实施例为这类场景提供了解决方案。
图12示出可用于对齐图像的示例角检测1200过程。图12示出了由图11的头显摄像头1105生成的第一图像1205，以及由外部摄像头1110生成的第二图像1210。
实施例执行角检测操作以识别存在于图像内的“角”。作为示例，所述实施例可以识别第一图像1205中的角特征1215。换句话说，在图像中识别一组像素1220，其中确定像素集对应于一个角。
“角”是指具有非均匀强度的一个或多个像素，其具有相对于所述一个或多个像素水平定位的第一附近像素块和相对于所述一个或多个像素垂直定位的第二附近像素块。换句话说，角定义为一组一个或多个与相对于像素集在X和Y方向相邻角形成对比的像素。
所述实施例识别第一图像1205中的角特征1215。另外，所述实施例识别第二图像1210中的角特征。结果，识别出角特征1225。注意，角特征1225对应于角特征1215。
为了对齐图像内容，所述实施例的任务是识别1230个角的阈值。角的阈值数量必须彼此对应。换句话说，必须识别在第一图像1205中识别的多个角，并且必须对应于在第二图像1210中识别的多个角。
如果满足这些阈值，则实施例可以执行图像对齐操作以生成叠加图像1235，所述图像1235是其中对齐来自第二图像1210的内容，然后与来自第一图像1205的相应内容覆盖的图像。
检测和对齐角点是一项计算密集型操作，如果检测到的角点和图像之间的匹配不够，则过程可能会失败。例如仅使用角的方法，必须从一张图像中识别至少5个角，然后与第二张图像中的相应角进行匹配。在低热梯度条件下，即使识别5个相应的角都可能是一个挑战。
在识别足够数量的角之后，实施例然后使用运动模型识别3D旋转，以便通过执行各种旋转和转换以使5个角彼此对齐来将图像内容从第一或第二图像适配到另一图像。执行这样的对齐是计算密集型。
因此，我们需要减少只使用角方法时所存在的约束，而图13则描述了这样一种技术。
图13示出角点和线点检测1300的过程，所述过程涉及图12的角点检测1200操作和线点检测操作的组合。值得注意的是，角点检测操作和线检测操作并行运行。
通常情况下，在图像中识别相应的“线”是一个更简单的过程，因此经常出现线检测过程比角点检测过程完成得更快的情况。由于这两个过程是并行运行，并且由于线检测过程更快，因此添加线检测过程不会对整体对齐过程的整体速度产生负面影响。
换句话说，通过合并使用线条来对齐图像，可以在对齐过程中使用更少的角，从而导致放松的约束和通常更容易对齐。要求使用更少的角在低等温条件下特别有益，因为很难找到和匹配角。
“线”定义为一组一个或多个像素，其具有相对于一组或多个像素集水平定位的第一附近像素块的均匀强度，并且具有相对于一组或多个像素集垂直定位的第二附近像素块的不均匀强度。或者，与相对于所述一个或多个像素集水平定位的第一附近像素块具有不均匀强度，并且与相对于所述一个或多个像素集垂直定位的第二附近像素块具有均匀强度。
图13示出了代表图12中的图像的第一图像1305和第二图像1310。图13同时显示了实施例如何能够检测第一图像1305中的角特征1315。
当实施例检测第一图像1305中的角特征时，实施例同时检测第一图像1305中的线特征，如线特征1320和线特征1325所示。通常情况下，与可以检测到的角的数量相比，可以检测到更多的线。
对第二图像1310执行角和线操作。为了说明，所述实施例识别角特征1330。与角检测操作并行，实施例同时检测第二图像1310中的线，如线特征1335和线特征1340。
注意，角特征1330对应于角特征1315;所述线特征1335对应于所述线特征1320。所述线特征1340对应于所述线特征1325。实施例能够识别对应关系，然后生成或使用适于或使这些特征点彼此对齐的运动模型。
根据发明原理，定义第一阈值1345，其中第一阈值1345是指必须在两个图像中识别的相应角特征的数量，以便对它们进行对齐。同时，定义了第二个阈值1350，其中第二个阈值1350指的是必须在两个图像中识别以使它们对齐的相应行特征的数量。
第一阈值1345和第二阈值1350的满足使实施例能够对齐来自第一图像1305和第二图像1310的内容以生成叠加图像1355。值得注意的是，阈值通常是指必须识别的角和线的总数。
在了解执行线特征检测的便利性和速度之后，你可能会质疑为什么实施例不仅依赖于线检测操作而避免执行角检测操作。原因是因为在图像中检测线条会导致孔径问题。
图14所示为孔径问题，亦即孔径模糊度1400。在图14中，线段1405是整条线的一部分。孔径模糊1400是指一条线的多个不同部分可能（但不正确地）与已识别的线段1405相关的情况。
例如，尽管线段1410实际上位于错误的位置或位置，但线段1410可能是与线段1405匹配的像素块。类似地，线段1415或线段1420可能包含可能映射或匹配线段1405中的像素的像素块。这样的场景在对齐过程中引入了模糊性。
因此，依靠线检测过程本身是不够的技术。换句话说，依靠线和角的组合可以使实施例使用宽松的约束，从而提高计算效率。
图15示出示例过程流1500。最初，获取一组图像，例如头显摄像头图像1505和外部摄像头图像1510。图像可能是热图像。图像中的温度梯度或对比度1520可能低于特定的对比度阈值1525。因此，在图像中识别足够数量的角可能相当困难。在这种情况下，可以利用混合方法检测角和线的组合以实现对齐。
实施例将头显摄像头图像1505和外部摄像头图像1510馈送到角检测器1530以及线检测器1535中。这两个检测器彼此并行运行，彼此之间不存在依赖关系。
值得注意的是，线检测器1535在检测线条时通常比角检测器1530在检测角时要快。换句话说，线检测器1535的延迟量1540小于角检测器1530的延迟量1540。
角点检测器1530分析所述两个图像并识别所述图像中的角点1545。类似地，线检测器1535分析这两个图像并识别图像中的线1550。然后，实施例通过在两个图像内识别相应的角和线来执行对齐1555。
为了执行对齐，需要确定线和角的阈值数量。匹配阈值比识别角的数量或线的阈值更相关。然后，实施例将所识别的角和线拟合到诸如运动模型的3D模型1560中。然后对模型1560进行模型拟合1565操作，以旋转、平移和/或变换一幅图像，从而匹配或对齐另一幅图像中的相应角和线。
换句话说，实施例在执行重投影操作时使用所识别的角和线，以便将来自一个图像的内容与来自另一个图像的内容对齐。
相关专利：Microsoft Patent | Image alignment using corner and line features
名为“Image alignment using corner and line features”的微软专利申请最初在2022年2月提交，并在日前由美国专利商标局公布。
