微软AR/VR专利分享为Avatar开发高效可缩放的动画风格化计算方法
以计算高效、可缩放的方式计算用户的非写实风格化、可动画化表示
（映维网Nweon 2024年07月26日）接近真实但不完全真实的Avatar存在“神秘谷”问题，并造成用户产生负面的情绪反应。所以，一系列的厂商都在积极探索相关的解决方案。
微软认为非写实风格化的Avatar有利于促进人类通信。因为非写实风格化的Avatar是对人或动物的半现实描绘，而且与使用照片真实感的Avatar相比，使用风格化的Avatar能够节省诸如内存和电力之类的资源。
然而，很难创建是风格化的并且能够以可缩放方式保持个人或动物的相似性的可动画化表示。由于可能有数亿个体，所以能够为每一个计算风格化的可动画表示是一项艰巨的任务。
在名为“Stylized animatable representation”的专利申请中，微软开发了一种以计算高效、可缩放的方式计算用户的风格化、可动画化表示的方法。
图1是计算机实现的风格化表示生成器100的示意图。风格化表示生成器包括模型108、至少一个处理器104和存储器106。
在图1的示例中，风格化表示生成器100部署在与通信网络124通信的计算实体。风格化表示生成器接收包括真实表示118的输入。风格化表示生成器100的输出是风格化形式的用户的3D模型。3D模型可以发送到下游应用程序130，以使用渲染器102来渲染化身动画化的2D图像。
在一个示例中，用户佩戴头戴式计算设备114并参与视频呼叫。全息图进行风格化并且使用风格化表示生成器100来生成。远程参与者在视频呼叫的提供者处具有账户，并且与该账户相关联的是远程参与者的存储的真实表示。
在一个示例中，获得远程参与者的2D图像并将其用于计算包括远程参与者的3D模型的逼真表示。真实的表示存储在存储器126中。视频呼叫提供者确定远程参与者的账户并访问来自商店126的真实表示。逼真的表示发送到风格化表示生成器100。风格化表示生成器100生成作为3D rigged模型的风格化表示。3D rigged的模型然后由下游应用程序130和渲染器102使用以创建全息图112并供头戴式计算设备114显示。
风格化表示生成器100以非常规方式操作，从而实现可保持人或动物的相似性的风格化、可动画化表示。
通过使用训练示例128来计算网格映射，风格化表示生成器100能够通过计算促进人机交互的风格化可动画化表示来改进计算设备的功能。
图2是训练示例的示意图，训练示例包括由人类艺术家创建的对象的2D图像200和对象的相应风格化图片204。
在图2的示例中，对象的图像200示出了面对相机的女性的头部和肩部。这名女子留着中分长直发，身穿蓝色上衣，表情中性。相应的风格化图片204示出了面对镜头的女性的头部和肩部，波浪形头发刚好齐肩以上，中分，穿着蓝色上衣，表情中性。
在风格化图片204中的眼睛比在图像200中的眼睛大。注意，图2中的训练示例示为黑白线图，而实际训练示例可以包括彩色数字图像。
图3是用户的2D图像300的示意图，并且示出了产生风格化化身310的2D图像的处理阶段。
在一个示例中，2D图像用于使用密集landmark重建3D模型的技术来创建逼真的表示。使用经过训练的机器学习模型来预测2D图像中密集landmark的位置。然后将3D模型拟合到密集landmark的预测位置。机器学习模型使用给出了ground truth landmark注释的合成训练数据进行训练。使用这种方法提供了仅使用对象的单个2D图像的优点，同时3D模型的精度高。
将网格映射应用于3D模型302（或3D模型304）。使用模型108来找到网格映射。应用网格映射的结果在图3中的306处示意性地示出，并且称为目标网格306。
目标网格306用于从风格化的可动画化表示的族120中选择实例308。目标网格306不如族120中的实例复杂，所以通过从族中选择实例来获得更强大的表示。该族的实例更强大，因为它可以以比目标网格306更高的精度和精细度来设置动画。
所选实例308是用户的风格化动画表示，然后下游应用程序130可以使用该动画表示来以风格化形式呈现2D图像310。风格化形式的2D图像310保留了逼真2D图像300中所描绘的相似性。
图4是从风格化的可动画化表示的族120计算对象的风格化的、可动画化的表示的方法的流程图。在一个示例中，图4的方法由图1的风格化表示生成器100执行。访问对象的真实表示118。
风格化表示生成器100使用模型108来计算400网格映射。风格化表示生成器100将网格映射应用402到对象的真实表示以产生目标网格404；即目标网格404是应用操作的结果。在图3中，项目306是具有平滑表面的目标网格的示例。风格化表示生成器100通过评估目标网格404与族120的实例的接近度来从族120中选择406实例。
因此，评估接近度的操作可以是选择操作406的一部分。使用任何合适的评估接近度的方式，例如计算相似性度量或计算优化。所选择的实例是主题的风格化的可动画化表示408，其保留了主题的相似性。
图5示出了示例性基于计算的设备500的各种组件。基于计算的设备500包括一个或多个处理器104，处理器104是微处理器、控制器或任何其他合适类型的处理器，用于处理计算机可执行指令以控制设备的操作，从而计算用户的风格化动画表示。
基于计算的设备500可选地包括捕获设备518，例如用于捕获对象的图像的摄像头。基于计算的设备可选地包括显示设备520，用于显示从风格化的可动画化表示呈现的图像。
名为“Stylized animatable representation”的微软专利申请最初在2022年11月提交，并在日前由美国专利商标局公布。
