微软专利介绍通过多个声音系统提供逼真空间音频MR体验
通过多个声音系统来提供逼真的音频MR体验
（映维网 2022年01月13日）空间音频是沉浸式体验的关键拼图之一。尽管现在的耳机设备在实现空间音效方面已经取得了长足的进步，但离真正的空间音效感依然存在距离。在微软看来，要实现最为契合的音频体验，一种解决方案是在物理空间设置多个扬声器，然后音频系统中扬声器的输出可根据用户的位置或头部位置进行调整，从而提供匹配的对象声音感知。
在名为“Mixed reality complementary systems”的专利申请中，微软描述了一种相关的空间音频系统。具体来说，在各种实施例中，设备可以通过多个声音系统来提供逼真的音频MR体验。
在一个示例中，MR空间音频系统具有分布在MR空间内的一个或多个扬声器。MR声音系统直接向佩戴MR头显的用户提供声音。代表MR体验中响应事件的声音的音频信号由每个声音系统播放。在各种实施例中，音频文件可以通过一个或多个MR设备声音系统和一个或多个MR空间声音系统的一个或多个扬声器进行混合和播放。
图1是数字表示的示例MR空间100。MR空间100可以是要发生MR体验的房间、结构或其他区域。可以通过最初使用一个或多个MR设备110、115、120扫描MR空间100来创建MR空间的数字表示。如果先前已扫描过空间，则可能已存储空间数据并简单地检索空间数据，以方便MR体验。
空间的数字表示可以以许多不同的方式生成，并且多个空间的数字表示可以用于各种MR体验。可以使用诸如微软HoloLens这样的设备扫描空间。在进一步的实施例中，可以使用多个设备来执行扫描并协作以贡献几何体。在进一步的实施例中，可以使用不同的设备，并利用LIDAR或其他测距机制的其他设备。扫描包括几何体扫描，并且可以由能够捕获到空间内的对象和表面的距离并生成包含空间数据的空间的三角形网格表示的任何设备来执行。
MR空间声音系统130的第一声音系统包括布置在MR空间100内或周围的多个扬声器132、134、136、138和140。在各种示例中，扬声器可以是有线或无线扬声器。计算系统145用于从MR设备110、115、120接收数据，并为MR体验提供处理能力。
在MR体验期间，声音可以通过房间（MR空间）扬声器或每个单独的MR设备声音系统播放。一个实施例中的声音包括存储在诸如MR空间声音系统130的一个或多个声音系统上以及MR设备110、115、120声音系统中的每一个的音频数据文件。每个MR设备声音系统和MR空间声音系统可以在共享MR体验中联网在一起，并且具有对MR空间和体验的共享理解，例如MR体验中发生的事件以及其他数据，例如用户在MR空间中的位置、用户偏好、用户状态、用户能力，易于同步以及与MR体验相关的其他数据。MR空间音响系统和MR设备音响系统根据共享的理解混合音频数据文件中的声音。
音频数据文件可在响应事件需要之前进行分发和预缓存。在进一步的实施例中，可以在一个或多个中央系统中执行声音的混合，并将声音流式传输到空间扬声器和MR设备扬声器。在不同的示例中，空间扬声器可以是有线或无线扬声器。
MR空间声音系统130可识别每个扬声器的声音，以提供更真实的声音，响应MR空间中虚拟发声物体的位置。当表示为MR设备110的用户与全息图映射155交互时，音频数据文件中的映射页面声音可以定向到扬声器138。扬声器138嵌入或以其他方式由桌子支撑，并位于全息图155附近。因此，可将全息图声音感知为由全息图155发射。
MR设备110同时可以具有声音文件，或者可以选择接收声音以在音频信号中播放。来自桌面全息图的声音通过桌面扬声器播放。可以在MR设备110扬声器播放环境或声音重音音频数据文件（例如用户耳朵发出的子弹呼啸声）。
在一个实施例中，一个音频系统关注来自全息图的音频，而另一个音频系统关注环境/大气声音/音乐。这种分割通道方法同时可以应用于任何声源。例如，基于用户的MR设备提供的用户的位置，来自虚拟角色的声音可以完全从MR设备110声音系统音频文件发射，或者可以完全从基于MR空间声音系统130音频文件的桌面发射。
在一个示例中，MR空间音响系统130是适合播放较深声音的较大音响系统，而较小的音响系统（MR设备音响系统）播放中高频声音。这使声音更容易同步体验，因为高频声音与低频声音的同步比高频声音与其他高频声音的同步更容易，因为高频声音的波长较短。基本概念类似于将桌上扬声器用作非本地公共低音炮。
其他示例可能包括通过MR空间音响系统播放丛林或海洋声音。如果虚拟鸟或全息鸟在MR空间飞行，则MR设备音响系统扬声器可以播放更高频率的丛林声，或者可以通过MR空间音响系统播放具有方向效果的丛林声。两个音响系统之间的声音分割可以是基于体验驱动的，而这在设计MR音频体验时提供灵活性。
MR空间音响系统130的扬声器的声音可以更容易地同步，因为扬声器可以直接由MR空间音响系统130驱动。在进一步的示例中，MR空间声音系统130可以实现为计算系统145的一部分。在一个示例中，如果MR空间100中有多个用户，则可通过MR空间声音系统130播放爆炸声及后续音效，例如通过MR设备声音系统或设备的声音系统播放玻璃破碎和叮当声。
在一个示例中，事件可能具有包括定时信息和音频文件标识符的相关音频信号。或者，MR设备的一个音响系统可以提供音频信号。每个MR设备音响系统使用这些音频信号来确定播放哪个音频文件以及何时播放。音频文件可以预先存储在每个MR设备和MR空间声音系统130上，或者在进一步的示例中甚至可以实时下载。用户语音同时可以通过MR设备声音系统在多个用户之间提供。
图2是示例MR设备200的框图。MR设备200设计为供用户佩戴，并且经由显示器210提供混合现实视图。显示器210可以是将全息或虚拟图像投影到MR空间的透明显示器。MR设备200用于记录不同类型的数据，例如惯性运动单元（IMU）数据215。MR设备200同时包括各种数据记录或文件，例如空间数据220和声音文件225。IMU数据可由商用MR头显中的惯性传感器提供。
MR设备110同时包括处理器230和通信模块235，用于与计算系统145通信和接收代表MR体验的共享理解信息，并向其他设备提供数据，例如IMU数据215提供的位置信息。MR设备110还可以由用户穿戴者配置为基于用户偏好过滤音频信号。处理器230可以使用所述偏好以及共享的理解信息来执行MR设备110声音系统音频混合功能。
MR设备110和计算系统145之间的交互可用于抑制或解锁由MR设备声音系统提供的声音。例如在诸如寻宝之类的游戏中，每个用户可能有不同的游戏级别。在某种程度上，额外的声音可以“解锁”，换句话说，比如对于10级别，鹦鹉的声音可以解锁，并作为进入下一关卡的线索。通过每个用户的MR设备执行音频文件的选择和混合，每个用户可以自己前进，但大家都可以通过空间声音系统130的扬声器经由第一声道音频提供的背景丛林声音。
如上所述，每个音响系统选择音频文件和从音频文件混合声音的能力提供了选择在MR体验期间如何在MR空间播放和感知声音的能力。
在一个示例算法中，在MR空间音响系统扬声器上播放低于选定频率的声音。高于所选频率的声音引导至用户的MR设备扬声器。例如，算法可以根据用户位置和与MR空间内全息图的交互而变化。所选频率的选择可以是完全任意，甚至可以基于每个声音系统的扬声器的相对保真度。换言之，不同频率的声音引导到声音系统，以便用户主观上会听到更好的声音。关于所选频率范围放大的个人用户偏好同时可用于混合声音，以便听力受损的用户能够更好地听到相关声音。
在另一个示例中，来自虚拟源的声音可以通过MR设备声音系统和MR空间声音系统进行不同的混合。在丛林MR体验空间中，可以根据用户MR设备的位置和全息图猎豹的位置播放猎豹咆哮。如果在空间中彼此远离，则只能通过MR空间音响系统播放声音。如果彼此靠近，低频声音可以由附近的MR空间声音系统130扬声器播放，而高频声音由用户的MR设备声音系统播放。较高频率的声音可能与较低频率的声音同步，给人以猎豹靠近的感觉。
MR空间声音系统130音频或空间音频可以在多用户MR体验中共享。空间音频的混音可能受用户位置的影响。例如，假设空间中的一个扬声器有第一个用户和第二个用户。第一个用户在虚拟猎豹旁边。第二个用户在5米之外。MR空间音响系统可以以适合第二用户听到的音量播放猎豹声。靠近扬声器的第一位用户的MR音频系统会混合音频信号以增加猎豹的声音，以补偿房间扬声器的音量降低。当第二个用户移向猎豹时，共享空间扬声器混音的音量会增加。第一和第二用户的MR阴癖系统调整其私人混音，以适应房间扬声器的变化。
每个设备的混音也可以基于空间相关音频执行。例如，想象一个占据一半空间的虚拟龙卷风。如果第一个用户在龙卷风中，但第二个用户没有，扬声器将需要播放适合第二个用户的音频，而第一个用户的MR设备通过混合音频进行补偿，使第一个用户听到他们在虚拟龙卷风中。但如果两个用户都在龙卷风中，MR空间音频系统可以为扬声器混音，指示其在龙卷风中，并且第一个用户的设备不再需要补偿。
图3是示出在不同声音系统之间在混合现实体验中分割声音的计算机实现方法300的流程图。在操作310，接收在混合现实空间中的混合现实体验期间发生的事件的指示。操作320识别与预期用于混合现实空间声音系统的事件相对应的第一音频数据。操作330识别与预期用于第一用户的第一混合现实装置声音系统的事件相对应的第二音频数据。在一个实施例中，第一音频和第二音频数据可以包括一个或多个数字音频数据文件。在操作340处，将第一音频和第二音频数据提供给各个混合现实空间声音系统和第一混合现实设备声音系统中的扬声器。
在一个实施例中，每个声音系统可以联网在一起，并且对关于混合现实空间体验的信息（包括正在发生的事件）具有共享的理解。声音系统使用对信息的共享理解来混合来自数字音频数据文件的声音，从而为一个或多个用户提供更好的混合现实音频体验。
混合现实空间声音系统基于共享的理解信息混合来自一个或多个第一音频数据数字音频数据文件的声音，这包括一个或多个事件、混合现实空间中的用户位置、最低用户音频电平、共享用户设置、一个或多个扬声器的特性，并且易于与第一台混合现实设备同步声音。在一个实施例中，可以存在多个混合现实空间声音系统，每个混合现实空间声音系统用于一个或多个混合现实空间扬声器。
房间中的用户位置可能包括与全息图相关的距离/角度/方向信息。用户位置还可以指示用户在具有音频的特定区域内，例如用户是否在虚拟龙卷风内。
最低用户音频电平与房间扬声器的音量有关。如果用户听不到特定的声音（用户a在体验中没有解锁小鸟，但其他用户有），特定声音（小鸟歌曲）将不会通过房间音频播放。如果一个用户离声源/声音触发区域太远，则房间扬声器的声音将仅在距离最远的人应该听到的音量下播放。
共享用户设置和能力\每个音响系统的扬声器特性同样可用于混音。
在另一个实施例中，与MR设备声音系统音频同步的容易程度可以基于由于频率、声音特征与短流行音乐或需要最小同步的声音而导致的匹配的容易程度。
第一混合现实设备声音系统基于共享的理解信息混合来自一个或多个第一音频数据数字音频数据文件的声音，混合来自一个或多个第二音频数据数字音频数据文件的声音，第一用户偏好、用户状态、混合现实设备扬声器的特性以及与第一混合现实设备的声音同步的容易程度。其他用户的其他混合现实设备也这样做，以便每个用户都能获得增强的个性化音频体验。
用户在房间中的位置可能包括与全息图相关的距离/角度/方向，或者如果用户在音频的特定区域内，例如是否在虚拟龙卷风内。每个MR设备声音系统可以使用用户偏好和用户状态来混合适合每个用户级别的声音。扬声器的功能\特性以及与房间音频的易同步性同时可以类似于MR空间音响系统使用的方式使用。
方法300可包括识别与第二混合现实设备声音系统的事件对应的第三音频数据的操作350。在操作360，为混合现实空间中的第二用户向第二混合现实设备声音系统的扬声器提供第三音频数据信号。
图4是示出通常在400处对应于爆炸事件的示例数字音频数据文件的框图。多个数字音频数据文件可按事件类型编制索引。例如，可能存在多种不同类型的爆炸，每种爆炸具有不同的数字音频数据文件。图4显示了三种类型的爆炸：A、B和C。另外可以存在多个不同类型的事件，每个事件与一个或多个数字音频数据文件关联。
另一个示例可能包括声音系统在特定时间播放的枪声音频文件。MR设备音响系统的音频文件可包括呼啸声MP3文件，用于在MR设备音响系统扬声器中创建与穿过佩戴者的一颗或多颗子弹相对应的声音，同时MR空间音响系统在子弹穿过声音之前播放枪声。
在各种实施例中，所述文件中的每一个可以具有众多不同的选项。所述选项可以包括不同类型的爆炸，不同类型枪发射的不同数量的子弹，以及子弹在撞击全息图对象时发出的不同声音。
图5是用于实现一个或多个设备的计算机系统500的框图。在各种实施例中，不需要使用所有组件。
名为“Mixed reality complementary systems的微软专利申请最初在2020年6月提交，并在日前由美国专利商标局公布。
