微软专利分享优化改善VR/MR透视图像效果
合并来自第一图像和第二图像中所包括的公共像素的纹理，从而生成融合的增强图像
（映维网Nweon 2024年02月08日）MR系统可以使用不同类型的摄像头来向用户显示内容，例如提供透视图像，而对于透视图像，有必要进一步提升相关的图像体验。在名为“ Low light and thermal image normalization for advanced fusion”的专利申请，微软就介绍了一种优化的方法。
在一个实施例中，专利描述的方法包括第一模态的第一摄像头（例如低光模态）和第二模态的第二摄像头（例如热成像模态）。系统使用所述第一摄像头生成环境的第一图像，并使用所述第二摄像头生成所述环境的第二图像。
然耨，识别两个图像之间的共同像素。确定用于所述第一图像中所述公共像素的第一组纹理，并且确定用于所述第二图像中所述公共像素的第二组纹理。接下来，确定第一摄像头的摄像头特性。基于摄像头特性，对第一组纹理应用缩放因子，生成缩放后的纹理集。
实际上，应用缩放因子可以减轻第一张图像中可能存在的噪点。实施例使用缩放的纹理集来确定第一图像的第一显著性。另外，确定所述第二图像的第二显著性。
所述实施例生成反映基于所述显著性为所述公共像素中的每一个计算的边缘检测权重的alpha图。使用alpha图，合并来自第一图像和第二图像中所包括的公共像素的纹理，从而生成融合的增强图像。
图9的流程图900涉及使用图像、纹理、显著性和alpha图来生成增强图像。首先，图9显示了与纹理910相对应的第一图像905和与纹理920相对应的第二图像915。如前所述，系统能够确定第一图像905的第一显著性925和第二图像915的第二显著性930。
然后基于第一显著性925和第二显著性930生成alpha图935。alpha图935反映了对第一图像905和第二图像915之间的公共像素的每个计算的边缘检测权重940，并且计算基于第一显著性925和第二显著性930。
图9中的alpha图935可以包括多个alpha图。这种alpha图可以包括用于高频计算的alpha图和用于低频计算的alpha图。计算最终融合图像“F”的公式可能依赖于这些不同的alpha图来确定从每个图像中使用的纹理数量。
在945，实施例确定从第一图像905（例如低光图像）和/或第二图像915（例如热图像）中使用多少纹理来生成增强图像950。这样的确定是基于alpha图935中包含的边缘检测权重940。
第一图像905和第二图像915对齐，使得它们相应的透视图彼此匹配或重合。这个校准过程可以通过视差校正过程来执行。
在图11A，第一图像1100是由具有弱光模态的摄像头生成的弱光图像。物体的各种光照特征由图像中不同的灰色色调表示。注意，一个聚光灯连接到建筑物的边缘，照亮了人行道上的一个区域，如图11B所示，那里站着一个人。所述照射区域已使所述低光摄像头饱和，从而产生所述第一图像1100的饱和区域1105。
另一方面，图11B示出第二图像1125的示例，第二图像1125是由具有热模态的摄像头生成的热图像。物体的不同热特征由图像中不同的灰色色调表示。例如，第二幅图像1125显示了一个人站在走路上，如热含量1130所示。换句话说，先前在第一幅图像1100中不可见并且站在照明区域的人现在在第二幅图像1125中可见。
在第一图像1100中可见的其他特征现在在第二图像1125中不可见，因为特定对象不具有热特征。澄清一下，灌木没有热特征，所以在热图像中不可见，但在弱光图像中可见。
因此，热图像有益地可视化在弱光图像中可能不可见的内容，并且弱光图像有益地可视化在热图像中可能不可见的内容。根据发明原理，可以生成具有低光图像和热图像优点的增强图像。
按照图9中描述的流程图900，实施例能够生成alpha图1135，如图11C所示。alpha图1135指示为特定像素提供纹理的源或贡献者。
具体地说，alpha图1135中的深色像素反射来自一个摄像头的纹理或像素内容，而白色像素反射来自不同摄像头的纹理或像素内容。
通过遵循图9的流程图900，实施例能够生成增强图像1140，如图11D所示。注意，增强图像1140提供了通过使用热图像获得的好处，并且同时提供了通过使用弱光图像获得的好处。为了说明，在增强图像1140中，现在使用从热图像获得的像素可见内容1145，即人。类似地，内容1150、1155和1160（即灌木）现在使用从弱光图像中获得的像素可见。
如前所述，基于实施例使用纹理值检测边缘的能力来确定这样的像素。如果一组边缘在一幅图像中可见，但相同的边缘在另一幅图像中不可见，则表明热摄像头能够拾取或检测到低光摄像头不可见的内容，反之亦然。
在生成alpha图时，噪点图像的权重会更大，得到的融合图像同样会是高噪点、低质量的图像。因此，需要的是一种技术来减轻可能出现在一张图像中的噪点的影响。
根据发明原理，实施例引入了一种新的“缩放因子”，其应用于图像的纹理值以减轻图像中的噪点的影响。
图14显示了一个示例处理1400，其中像素强度1405通过使用缩放因子1410进行缩放，以减轻噪点的影响。例如，像素强度1405可以是图13中纹理1315的值“65”。该值使用缩放因子1410进行缩放，以生成特定像素的缩放强度值或缩放纹理值。所有像素，或者图像中选定的像素数，都可以使用缩放因子1410进行缩放。
缩放因子1410可以从查找表1415或使用封闭形式的解决方案1420中获得。另外，缩放因子1410至少部分地依赖于图12中所述的摄像头特性1210。
实际上，将缩放因子1410应用于像素强度1405可以使像素强度1405归一化。通常，增益设置在1到32之间。通常，缩放或缩放因子在0到20之间。因此，通常情况下，缩放因子的值与第一个摄像头的增益设置的值不同。
图16示出了具体的过程：
方法1600涉及使用第一模态的第一摄像头生成环境的第一图像，以及存在使用第二模态的第二摄像头生成环境的第二图像。这两种行为可以并行进行，或可以连续进行。例如，在行为连续执行的情况下，行为1605可以先发生，然后行为1610，或者，行为1610可以先发生，然后行为1605。
在一个实施例中，对第一图像或第二图像的一个或多个执行视差校正。如前所述，视差校正是为了使两个图像内的透视图对齐。视差校正可涉及执行平面重投影或可选地执行全重投影。
例如，可以对第二图像进行视差校正以符合第一图像所体现的透视。或者，可以是对第一图像进行视差校正以符合第二图像所体现的透视。实际上，各种不同的视角可以通过执行视差校正来实现。
1615涉及识别第一图像和第二图像之间共有的像素。
1620涉及确定第一图像中所包括的公共像素的第一组纹理。
1630涉及识别第一摄像头的摄像头特征，其中摄像头特征与可能存在于第一图像中的噪点相关联或链接。
基于识别的摄像头特性，1635对第一组纹理应用缩放因子以生成缩放的纹理集。应用缩放因子的过程是为了减轻可能存在于第一幅图像中的噪点的影响。
方法1600继续在图16B中显示。具体地，方法1600包括使用缩放的纹理集来确定第一图像的第一显著性的行为。值得注意的是，第一个显著性反映了纹理缩放集中存在的纹理变化量。
与行为1640平行或串联，1645包括确定第二图像的第二显著性。第二显著性反映了第二图像中一定数量的纹理变化。
方法1600包括生成反映边缘检测权重或“alpha强度”的alpha图的1650，所述边缘检测权重或“alpha强度”是基于第一显著性和第二显著性为所述公共像素中的每一个计算出来。例如，可以根据显著性计算图15中的alpha图1525，以反映边缘检测权重。如前所述，alpha图是基于第二显着性除以第一显着性和第二显着性的总和来计算。因此，由于缩放的纹理集缩放，以及基于第一显著性生成的alpha图的结果，alpha图的第二显著性权重比第一显著性更大。
基于alpha图，1655从包含在第一图像和第二图像中的公共像素合并纹理，以生成融合的增强图像。即，alpha图用于确定要使用来自第一图像和/或来自第二图像的多少纹理来生成融合增强图像。
融合后的增强图像随后显示在头显显示器并作为透视图像。
相关专利：Microsoft Patent | Low light and thermal image normalization for advanced fusion
名为“ Low light and thermal image normalization for advanced fusion”的微软专利申请最初在202年10月提交，并在日前由美国专利商标局公布。
需要注意的是，一般来说，美国专利申请接收审查后，自申请日或优先权日起18个月自动公布或根据申请人要求在申请日起18个月内进行公开。注意，专利申请公开不代表专利获批。在专利申请后，美国专利商标局需要进行实际审查，时间可能在1年至3年不等。
另外，这只是一份专利申请，不代表一定通过，同时不确定是否会实际商用及实际的应用效果。
