微软新专利从不同视点捕获对象2D图像以生成3D骨架

查看引用和消息源请点击：映维网

用于生成3D骨架的方法

（映维网 2019年05月16日）根据对象的二维图像创建三维表示是一项困难的任务。例如，创建三维表示需要根据二维图像所描绘的二维特征来推断三维特征。 然而， 一般难以确定两个图像是否从不同视角描绘了对象的相同特征。

有的解决方案利用极线将2D图像中的点相关联。一个图像中的特征点可用于将一条极线投影到另一个图像上。另一图像中与极线相交的特征点可以与用于投影线的特征点相关联。但对于复杂场景或涉及多个对象的场景中，极线可能无法有效识别相关特征。

所以，微软认为基于极线的方法存在提升空间。日前，美国专利商标局公布公布了一份名为“3d Skeletonization Using Truncated Epipolar Lines（利用截平极线的3D骨架化）”的专利。

这份发明文件主要描述了利用从不同视点捕获的目标对象二维图像来生成三维骨架的技术。微软指出：“可以从不同的摄像头角度捕获对象的图像。可以在捕获的图像中识别对象的特征关键点。”

相关专利：Microsoft Patent | 3d Skeletonization Using Truncated Epipolar Lines

微软进一步解释说，可以接收和分析从不同视点描绘目标对象的图像，从而检测目标对象的可识别特征。然后，可以利用截平的极线来关联各个图像中的关键点。

对于一些传统的系统，在涉及多个对象的场景中，给定的极线可以与图像中的多个关键点相交。如果仅使用极线，难以确定多个相交关键点中的哪一个应与用于生成极线的关键点相关联。

所以，微软提出利用截平的极线来关联关键点。这家科技巨头表示，截平的极线可以将用于交叉关键点检查的图像区域限制为更可能包含目标对象特征，同时不包含场景中其他对象的区域，从而有利于关联所涉及的关键点。

具体来说，关键点的深度信息可用于截平利用关键点创建的极线。相关特征关键点可用于为对象的相关特征创建三维特征坐标。可以使用三维特征坐标生成三维骨架。可以将一个或多个三维模型映射到三维骨架并进行渲染。渲染的一个或多个三维模型可以显示在一个或多个显示设备上。

专利文件继续写道，所述的一个或多个三维模型可以“输出到全息显示设备或其他类型的显示设备。例如，渲染器可以生成左图像和右图像，并在虚拟现实或增强现实头显中显示目标对象的3D表示。”另外，可用作输出设备的全息显示设备示例包括“HoloLens”和“HTC Vive”。

名为“3d Skeletonization Using Truncated Epipolar Lines（利用截平极线的3D骨架化）”的专利最初于2017年11月提交，并在日前由美国专利商标局正式公布。需要注意的是，目前尚不确定微软是否会或将于何时商业化具体的发明技术。