微软AR/VR专利提出利用AI自动将2D PPT变成3D PPT
利用AI将2D PPT变成3D PPT
（映维网Nweon 2023年08月17日）混合型劳动力正变得越来越普遍。例如，有些人希望在他们的电脑或笔记本电脑上观看演示文稿，而另一些人则希望使用提供三维视图的XR设备查看演示文稿。但是，为2D显示创建幻灯片演示的演示者没有机制与3D设备的用户共享2D幻灯片演示。通常，演示者需要为这种受众创建一个单独的3D演示。
所以在名为“Automatic three-dimensional presentation for hybrid meetings”的专利申请中，微软提出了一种利用AI来自动将2D PPT变成3D PPT的方法，从而省去用户单独制作3D演示文稿的需要。
其中，网络系统接收生成所述3D全息表示的指示。作为对接收指示的响应，网络系统从与演示者相关联的用户设备访问2D幻灯片演示，并从映射数据库访问多个映射。映射指示如何将2D幻灯片演示的每张幻灯片的元素转换为3D格式。
然后，网络系统基于多个映射将2D幻灯片演示的每张幻灯片的元素从2D格式转换为3D格式。通过将转换的元素与图像捕获设备捕获的背景和/或真实世界图像数据混合，从转换的元素生成3D全息表示。
图1示出了从2D幻灯片演示自动创建3D演示的网络环境100。演示设备102通过网络104通信耦合到网络系统106。网络系统106管理从2D幻灯片或演示文稿自动创建3D演示文稿。演示设备102是演示者的设备，演示者使用由网络系统106提供的或与网络系统106相关联的一个或多个演示应用程序来创建、编辑和/或显示演示文稿。例如，应用程序可以是PowerPoint。
在一个实施例中，演示设备102的演示应用可以默认将2D演示转换为用于特定类型或类别的设备的3D格式。
例如，演示应用程序可能默认为混合现实设备（如HoloLens）创建3D演示。在本实施例中，用于演示者设备102和3D设备的设备规范由演示者设备102传输到网络系统106。在其他实施例中，演示者可能需要指示将查看演示的3D设备的类型。
演示应用程序可以在通过演示应用程序显示的用户界面上提供可选择的图标或切换按钮，以允许演示者“打开”在2D演示者设备102创建、查看和编辑3D演示的能力。在一种情况下，演示者可能创建了2D演示文稿或幻灯片。
然后，演示者可能需要向3D设备展示文稿，如HoloLens设备。在这种情况下，演示者没有3D设备。但由于演示应用程序包含可选择的图标或切换按钮，演示者可以简单地转到演示桌面并选择图标或切换按钮来激活2D演示到3D版本的转换或转换。
一旦激活，演示者可以更新或更改任何用户偏好，并提供3D设备规格，并且实时查看和编辑所有的幻灯片。
可选择的图标或切换按钮允许演示者通过选择图标或切换按钮来启用3D视图或隐藏3D视图。例如，单击按钮可以使幻灯片显示为半透明，更改填充时的图形内容，和/或更改轮廓和边框的不透明度。
可以根据映射更改颜色，而文本样式可以根据映射而改变。其中，网络系统106执行所有转换，以在演示者设备102以及为观看者设备114创建3D或全息世界/视图。
演示者设备102耦合到或包括图像捕获设备116。另外或可选地，图像捕获设备116通过网络104通信耦合到网络系统106。图像捕获设备116捕获可用于增强2D幻灯片以创建混合现实3D演示的图像。
所述网络系统106管理从所述2D幻灯片演示和从所述图像捕获设备116自动创建所述3D演示。在示例实施例中，网络系统106通过通信网络104从演示者设备102接收API调用，从而致使网络系统106执行其操作。因此，网络系统106可以包括一个或多个服务器以执行操作。
为了使网络系统106能够自动创建所述3D表示，所述网络系统106包括人工智能AI引擎108、映射数据库110和积分服务112。网络系统106还可以包括与示例实施例不相关的其它组件。
AI引擎108配置为将2D幻灯片演示转换为3D格式。在各种实施例中，AI引擎108接收来自演示设备102的API调用。设备102触发AI引擎108执行转换。API调用可以包括演示者先前创建的2D幻灯片演示或幻灯片，以及演示者的任何首选项。
AI引擎108可以访问来自映射数据库110的数据。所述数据包括指示如何将与所述2D幻灯片相关联的每个元素转换为3D格式或版本的多个映射。使用映射，AI引擎108自动将2D演示文稿的每张幻灯片中的元素转换为3D格式。AI引擎108然后混合映射的结果来创建幻灯片的3D版本。
所述映射数据库110包括指示AI引擎108如何将所述幻灯片的每个元素转换为3D格式的多个映射。因此，映射数据库110包括指示如何将2D幻灯片的颜色、文本样式、不透明度级别、背景和其他视觉元素转换为3D格式的映射。例如，一个映射可以指示GIF是半透明的。另一个映射可能表明2D中的特定文本颜色应该更改为不同的颜色和/或在3D格式中增加30%的亮度。
另外，映射可以包括导航转换。例如，不使用鼠标或键盘箭头，而是使用由图像捕获设备116捕获的手势。另外，输入模式可以通过映射进行更改。例如，右箭头选择可能与3D域中的缩放相关。因此，映射可以指示如何将特定的交互转换为3D环境。
所述映射包括网络系统106建立的默认映射。或者，映射可以由演示者(或与演示者关联的管理员)自定义。例如当演示者触发3D演示的创建时，演示者可能会看到一个用户界面，允许演示者更改一个或多个映射属性。在其他情况下，演示者可以随时访问和自定义他们的首选项。
在各种实施例中，所述映射将与特定设备相关联。例如，一组映射可以用于Hololens设备，而另一组映射可以用于不同类型的3D设备。
积分服务112是一个组合引擎，其配置为演示用于在各种用户设备显示的3D表示。在示例实施例中，积分服务112基于相关的设备规范或标识，知道要提供哪种表示(2D或3D)以及如何向用户设备提供所述表示。换句话说，积分服务112有效且轻松地提供格式化为每个客户机/查看设备的显示需求的表示。
除了提供基于显示需求的演示外，积分服务112同时允许在2D和3D环境之间进行实时协作，并提供模拟其他设备规范的能力。这提供了一种在非全息设备中查看全息演示模拟的快速方法。
对于3D演示，积分服务112可以组合由AI引擎108生成的幻灯片的所有3D版本以形成3D幻灯片演示。所述积分服务112同时并入来自所述图像捕获设备116的图像数据。积分服务112的输出是3D混合现实演示。
因此，演示者使用他们的2D演示设备102，基本上能够看到3D混合现实演示的样子，而无需切换到3D设备。更重要的是，演示者能够使用他们的2D演示者设备102预览和/或编辑3D混合现实演示。
在现场演示期间，演示者可以在演示设备102上观看2D或3D版本的同时展示演示文稿的幻灯片。同时，以3D方式显示的一个或多个查看器设备114将演示所述演示的3D版本。另外，演示者可以在演示过程中对幻灯片进行动态编辑，编辑后的内容将自动转换为3D格式，并在3D演示文稿中显示。
图2是示出根据一些示例实施例的AI引擎108的组件的图。AI引擎108配置为执行将2D幻灯片演示文稿自动转换为3D幻灯片演示文稿。
为了实现所述操作，AI引擎108包括滑动transformer204、导航transformer206、2D混合模块208和3D混合模块210，它们都配置为相互通信。
在示例实施例中，AI引擎108具有情景感知能力。因此，AI引擎108可以检测演示设备102的类型。AI引擎108同时可以检测一种类型的查看器设备114。
基于设备的情景和设备关联用户的用户偏好/个性化设置，AI引擎108通过为每种类型的设备重新渲染相同的幻灯片来适应每个设备的显示。
所述滑动transformer204配置为将幻灯片的2D视觉元素更改为3D版本。幻灯片转换器204可以基于映射更改幻灯片的样式、背景、文本和任何其他视觉元素。因此，AI引擎108访问来自映射数据库110的映射，并且幻灯片转换器204根据映射转换或转换每个幻灯片的各种视觉元素，例如，不透明度/透明度、颜色、字体样式和边框样式。
例如，如果检测到平视显示器设备，演示幻灯片的背景将变得80%透明，幻灯片文本将转换为全息颜色，幻灯片中的每个图形元素都将添加外部辉光。这种外发光提高了HUD显示的可读性。
对于演示幻灯片中的图像和嵌入视频，只需添加一点(例如5-10%)透明度，即可使其在HUD中可见。在这里，HUD可以是Hololens头显或AR系统/应用程序，包括AR手机应用程。
另一个例子是有可访问性需求的人。这里的映射可以包括对比度、大文本、色盲、共享视觉信息的替代方式等方面的规范。例如，如果有人是色盲或需要高对比度，系统可以保存这些观看偏好，并在映射时为该特定用户制作个性化的观看副本。因此，不同的全息用户可以对同一演示文稿有不同的视图，而他们都可以同时编辑和协作幻灯片。
导航transformer206被配置为转换输入导航。在2D演示设备102，演示者可以提供鼠标和光标移动。然而，3D演示中的导航是不同的，因为现在可以缩放和移动。因此，导航transformer206可以基于相应的映射更改输入导航。例如，可以使用手势来代替鼠标输入。
在示例实施例中，2D混合模块208被配置为执行平面混合。在示例实施例中，2D混合模块208将桌面/屏幕背景与下面的窗口混合。
所述3D混合模块210配置为执行3D混合。在示例实施例中，3D混合模块210将2D屏幕背景与每个幻灯片的3D元素混合，以向每个幻灯片提供全息效果。
图3是示出根据一个示例实施例的网络环境100中各种组件之间的数据传输的图。AI引擎108和积分服务112可以是“云”的一部分。所述映射数据库110同样可以位于云中。
云组件可以从演示者设备102访问要转换的幻灯片、演示者设备102的设备规格、演示者的首选项、转换参数和/或桌面/屏幕背景。用户的首选项可能包括对默认或先前设置的映射的更改。
在一个实施例中，演示设备102上的演示应用可以默认为特定类型的设备类别。在本实施例中，演示应用程序可以在通过演示应用程序显示的用户界面上提供可选择图标或切换按钮，从而允许演示者在演示者的2D演示者设备102上“打开”创建、查看和编辑3D演示的能力。
AI引擎108同时访问来自映射数据库110的映射，而映射指示如何将2D幻灯片的元素或与其关联的元素更改为3D格式。例如，映射可以指示如何更改幻灯片的背景、幻灯片上的文本和其他幻灯片参数。映射同时包括输入导航和/或模态映射。
使用所有访问的信息，AI引擎108将2D幻灯片转换为3D格式。转换包括根据映射更改幻灯片上的视觉元素和/或导航输入。在一些实施例中，AI引擎108将桌面/屏幕背景与来自幻灯片的其他转换元素混合以创建全息幻灯片。然后将混合幻灯片传送到积分服务112。
在一个实施例中，积分服务112接收由图像捕获设备116捕获的环境的真实世界视图的图像数据。例如，所述图像数据可以是演示所述演示物的演示者。
所述图像数据可以直接从所述图像捕获设备116接收或通过所述演示设备102接收。积分器服务112可将图像数据与来自AI引擎108的混合幻灯片合并以创建3D全息演示。
然后传输3D全息演示以供演示。对于2D演示设备102，积分服务112向2D演示设备102演示或提供编辑功能，使得演示者基本上可以在其2D设备上查看/编辑演示的3D版本。对于3D查看器设备114，积分服务112演示用于显示的表示。
图4是示出用于根据一些示例实施例从2D幻灯片演示文稿自动创建3D全息演示文稿的方法400的流程图。
在操作402中，接收到触发2D幻灯片的3D演示的指示。
在操作404中，网络系统106访问2D表示。
在操作406中，网络系统106访问背景。
在操作408中，网络系统106访问映射和用户首选项。
在操作410中，AI引擎108将2D幻灯片中的每张幻灯片从2D格式转换为3D格式。
在操作412中，网络系统106生成所述3D幻灯片演示。
在操作414中，网络系统106访问图像数据并将其与3D幻灯片演示混合。
操作416显示3D显示。在2D演示设备102，积分服务112向2D演示设备102演示或提供编辑功能，使得演示者基本上可以在其2D设备上查看/编辑演示的3D版本。对于3D查看器设备114，积分服务112演示用于显示的表示。
相关专利：Microsoft Patent | Automatic three-dimensional presentation for hybrid meetings
名为“Automatic three-dimensional presentation for hybrid meetings”的微软专利申请最初在2022年1月提交，并在日前由美国专利商标局公布。
