微软专利分享如何进一步改善AR/VR透视图像生成技术
进一步改善透视图像生成技术的方法
（映维网Nweon 2022年08月23日）MR系统可以采用不同类型/模态的摄像头，例如以透视图像的形式。透视图像可以帮助用户在过渡到MR环境时和/或在MR环境中导航时避免迷失方向。MR系统可以以多种方式呈现由摄像头捕获的视图。
在名为“Texture based fusion for images with cameras having differing modalities”的专利申请中，微软提出了进一步改善透视图像生成技术的方法。
图3示出了头显305所在的环境300。注意，头显 305至少包括第一摄像头310和第二摄像头315。通常情况下，第一摄像头310的模态不同于第二摄像头302的模态。例如，第一摄像头312可以具有热图像模态，而第二摄像头325可以具有低光模态。
图3显示了第一摄像头310和第二摄像头315如何扫描环境300。作为执行扫描的结果，第一摄像头310生成第一图像330，第二摄像头315生成第二图像335。当然，它们可以生成任意数量的图像。
图4显示了代表图3中第一图像330的第一图像400。第一图像400由一组像素405组成。可以为每个像素或至少一组像素确定纹理。例如，像素410表示为具有纹理415。
纹理通常指量化图像中像素的强度和/或颜色的空间排列的度量或一组值。换句话说，纹理表征像素的强度水平相对于所述像素相邻像素的空间分布。
图4进一步显示了代表图3的第二图像335的第二图像420。请注意，第二图像42包括一组像素425。
由于摄像头在头显的放置位置不同，不同摄像头的视场（FOV）至少部分地彼此重叠。因此，来自第一和第二摄像头的所得图像包括对应或类似的内容。公共像素组430是表示由第一图像400和第二图像420两者捕获的相同环境内容的像素。因此，各种图像包括像素和纹理435。应注意，两幅图像之间的公共像素的纹理值可能会有所不同。
微软提出的技术能够对不同图像中的每一个执行边缘检测500，如图5所示。在一个实施例中，可以对图4所示的第一图像400和第二图像420执行边缘检测。在一个实施例中，边缘检测操作可能仅限于或限制于两个图像之间的公共像素，例如公共像素组430。
图5显示了一组像素505A，其代表图4中的一组公共像素430。注意，505A同时显示了各种像素的纹理，例如纹理510A和515A。
实施例能够使用各种像素来执行边缘检测500。例如，在代表像素组505A的像素组505B中，注意纹理510B和纹理515B之间的鲜明对比。纹理510B的纹理值为“10”，而纹理515B的纹理数值为“87”。纹理值之间的方差或差异超过阈值，从而导致实施例识别或确定各个像素之间存在“边缘”。两个像素之间的加粗线反映了检测边缘，如检测边缘520所示。
“边缘”通常指图像中存在的显著局部变化，如特定位置的图像强度变化。边缘同时可以认为是特定位置处图像强度的不连续变化。 “显著性”则反映了像素组之间存在的纹理变化量530。在这种情况下，纹理510B和515B之间的纹理变化530为值“77”，这个值超过了用于确定像素之间是否存在边缘的预定阈值。如果一组像素的显著性满足或超过阈值，则存在边缘。
实施例能够分析图像中各个像素的纹理，以确定像素之间的纹理变化。然后使用纹理变化来确定图像的显著性，并检测像素之间是否存在边缘。
图6显示了对图像605执行的边缘检测600过程。边缘检测600的结果是图像610，其示出了各种检测到的边缘615。
图9示出了使用图像、纹理、显著性和阿尔法图来生成增强图像的示例过程流程图900。首先，图9示出了对应于纹理910的第一图像905和对应于纹理920的第二图像915。使用前面讨论的原理，实施例能够确定第一图像904的第一显著性925和第二图像905的第二显著性930。
然后基于第一显著性925和第二显著性930生成阿尔法图935。阿尔法图925反映了为第一图像905和第二图915之间的每个公共像素计算的边缘检测权重940，并且计算基于第一显著度925和第二显著度930。
来自图9的阿尔法图935可以包括多个阿尔法图。这种阿尔法图可以包括用于高频计算的阿尔法图和用于低频计算的阿尔法图。然后，用于计算最终融合图像“F”的方程可以依赖于不同的阿尔法贴图来确定要从每个图像中使用的纹理量。
流程图900接着示出了确定阶段945，其中实施例确定第一图像905和/或第二图像915中有多少纹理用于生成增强图像950。这种确定基于阿尔法图935中包括的边缘检测权重940（即阿尔法强度）。
在一个实施例中，第一图像905和第二图像915对齐，使得它们对应的透视图彼此匹配或重合。所述对齐处理可以通过视差校正处理来执行。
按照图9中描述的流程图900，微软提出的方法能够生成增强图像。作为一个示例，假设实施例用于有墙壁的室内环境。一组热水管位于墙内。微光摄像头会反射墙壁，但热成像摄像头可以检测到热信号。通过生成增强图像，即便肉眼一般无法看到管道，但用户依然能够感知到热水管道的存在。
相关专利：Microsoft Patent | Texture based fusion for images with cameras having differing modalities
名为“Texture based fusion for images with cameras having differing modalities”的微软专利申请最初在2021年2月提交，并在日前由美国专利商标局公布。
