声网推出3D空间音频 模拟声源位置+空气衰减实现元宇宙的“声临其境”

理财鱼小提示：声网推出3D空间音频 模拟声源位置+空气衰减实现元宇宙的“声临其境”

声网近期发布了“Metachat 元语聊”、“MetaKTV”解决方案，致力于提供一种全新的元宇宙互动社交、K 歌方式，其中都提到了“3D 空间音频”这项核心技术，对提升玩家沉浸感与听觉体验发挥了关键作用。我们也收到了很多开发者的咨询，今天将为大家带来声网 3D 空间音频的技术揭秘，揭晓这项技术的核心功能点以及背后的技术原理。

在现实生活中，由于双耳效应的原理，我们听到来自上下、左右等不同方位声音的感觉是不同的，并且可以快速辨别对方的位置。而在元宇宙虚拟空间中，如何通过听觉增加沉浸感是很多厂商迫切解决的关键要素，想象一下，在 3D 的虚拟聊天室中，你操控着虚拟形象与网友们聊天，耳朵里还传来正前方主持人的声音以及房间各个角落的聊天声，优雅的 BGM 在你的上方环绕，仿佛置身在线下真实的 Party 中。这其中一些关键细节的拟真度是构建临场感、沉浸感的关键要素，关键细节的缺乏会造成用户的感知度很低，而声网的音频技术团队通过对技术的持续钻研，力求对每一个细节完美处理，最大程度为用户带来更逼真的听觉体验。

3D 空间音效、空气衰减模拟、人声模糊 三大黑科技完美模拟现实听觉

声网 3D 空间音频通过纯软件算法方案，模拟头部球面区域立体声场，使用户在音频听感上具有空间感。当用户操作虚拟人物在虚拟场景里移动，可以实现根据虚拟人物的面部朝向、音源朝向、远近距离与上下高度，呈现不同声音效果，完美模拟现实听觉感受，这其中“3D 空间音效”、空气衰减模拟、人声模糊三大黑科技发挥了关键作用。

1、3D 空间音效：模拟音源的位置与朝向 实现音色差异

文章开头有说过，我们在现实生活可以感知到声音是从不同的方向传来的。我们先来大致介绍下这里的“方向感”是怎么产生的。

图1：耳廓收音示意图

我们可以通过图1 看到人耳的耳廓在接收不同方向的音源时，会让声波以不同的路径传导至内耳。这样，不同方向的声波传输到内耳的时候，音色就会由于耳廓的形状而产生各向异性。除此之外，由于我们有两个耳朵，所以音源在不同方向时声波到达耳朵的时间也会不同，这一点我们可以结合图2 来理解一下。

图2：双耳效应示意图

结合图2 我们可以发现，如果音源在你的右侧，右耳会先接收到声波，相反如果音源在左侧，左耳会先收到声音，同时由于人的头部也会对声音的传播产生影响，如果音源在右侧，那么声波需要越过头部这个“障碍”才能传递到左耳，那么相对于右耳，左耳听到的音色和频率会有所衰减。最终我们依靠双耳间的音量差、时间差和音色差来判别声音的方位。

介绍完双耳效应的原理，再来看声网是如何在虚拟空间中模拟真实的“双耳效应”，在虚拟世界中，我们需要把音频根据声源+用户的相对位置以及声源+用户的朝向来渲染一个双声道的音频，这样就可以带上耳机来体验不同空间位置的声音实现“听音辨位”，目前一些传统的解决方案是通过调节左右耳音量的方法来实现左右方向的渲染，但这种方法只能渲染左右的方向。对更复杂的前后、上下这些方向的渲染还需要细致调节左右耳音色、延迟等细节差异才能准确模拟音源的位置。

在空间听觉的研究和实现中，头部相关联的传递函数（HRTF）（Head Related Transfer Functions）与头部相关联的冲激响应（HRIR）占有十分重要的地位。而声网基于 HRTF 头相关传递函数、心理感知声学、声源指向模拟等算法自研了一整套 3D 声场渲染引擎。可以动态模拟空间中任意角度、朝向的声音在传递到左右耳时声音发生的变化从而实现了高精度的声音方位渲染。并且为了追求极致的听感与极致的可用性，渲染引擎以极小的算力要求，支持 48kHz全频带、多路音频渲染，让你在移动端不多费流量、不用担心算力也能畅享多人高清音质互动。

在 HRIR 的采集中，声网通过在全消实验室针对每个角度都有一对采集的 HRIR，最终形成了一个球形的数据集，以实现角度的精准模拟。下方图3 就是一个球形 HRIR 的坐标示意图。我们可以看到图3 中央是人头部所在的位置，周围的红点就是 HRIR 采集时音源的方位。

图3：HRIR 采集点的空间分布

音源的朝向对我们的听觉也会有直接的影响，例如一个人背对着你说话相比正对着你说话声音会显得比较“闷”，因为背对着你说话时声音需要绕过身体这个障碍，不同频率的声波绕过障碍物时的能量衰减程度不同。声网 3D 空间音效还提供音源朝向功能，通过声学建模的方式可以模拟任意角度的音源方向带来的音色差异，最终通过模拟不同音源的位置与朝向，实现音量、音色的差异，从而完美模拟现实听觉的感受。

此外，人在真实环境中对上下、前后这两个方向的感知是比较模糊。这是因为人的耳朵基本上是对称的，相比水平方向，在垂直方向上左右耳声音的音量、延迟基本相同就不足以用来区分方向了。所以在虚拟空间中，声网还对这些方向的听感区分做了增强，让用户在“虚拟空间”中可以拥有超越现实的听音辨位能力。

2、空气衰减模拟：模拟现实声学现象 让声音更逼真

模拟不同音源位置与朝向进行“听音辨位”只是声网 3D 空间音频模拟现实听觉感受的第一步，我们还实现了对空气衰减的模拟。在现实中由于空气的存在，声波在空气传播中会产生衰减，其中高频的声音衰减快，低频的衰减慢，那么同一个音量的声音，如果高频多一些，我们就会觉得它离你更近。

由于声波在空气传播中会产生衰减。而其中高频的声音衰减快，如蚊子的嗡嗡声、鸟叫声，低频的衰减慢，如男生粗犷的声音，风声、水泵声。那么同一个音量的声音，如果高频比较多，我们会觉得它离你更近一些。空气衰减功能就是模拟这种现实环境中的声学现象让声音听起来更逼真。我们用2张图来更直观的展示，如下方图4 频谱图所示，低频的声音可以传播更远，而 8Khz 以上的声音如果超过1千米以上就很难听到。

图4：不同频率的声波空气衰减曲线

图5 的时频图所示，上方为空气衰减的模拟，下方是只有音量的衰减，对比可以看出在空气衰减的情况下，在距离逐渐增加后，8KHz 以上的音频声音衰减更为迅速。

图5：空气衰减效果频谱对比

在生活中很多人对“空气衰减”的存在感知并不明显，但在虚拟空间中，通过 3D 空间音效与空气衰减模拟的强强结合，可以进一步还原现实听觉感受，在元宇宙中创造更逼真的“声临其境”感。

3、人声模糊： 热闹的氛围与“安静”的聊天也可兼得

共2页: 上一页下一页

>相关《 声网推出3D空间音频 模拟声源位置+空气衰减实现元宇宙的“声临其境”》内容：

1、 新老用户看过来！江西联通重磅推出查网龄、赢勋章、领好礼超强福利

理财鱼小提示：新老用户看过来！江西联通重磅推出查网龄、赢勋章、领好礼超强福利 新春来临之际，各大运营商纷纷开启新年感恩回馈活动。为了给用户带来丰富的新年福利，江西联通面向广大联通用户发起了一场主题为联通相伴20年“查网龄 赢勋章 领好礼”的新春福利...【继续阅读】

2、 大年三十也能收快递收到手软，京东唯品会相继推出“春节不打烊”

虎年春节渐行渐近，电商平台的年货节也正在如火如荼的进行中，春节期间是否依然能收到快递，成为消费者心里最担心的事情之一。近日，天猫、京东、唯品会等电商平台纷纷宣布春节不仅不会停止派送，还额外为消费者提供了升级服务，保障假期内消费者购物无忧...【继续阅读】

3、 外卖、打车、看电影 美团推出数字人民币线下全场景消费补贴

理财鱼小提示：外卖、打车、看电影 美团推出数字人民币线下全场景消费补贴 上证报中国证券网讯（记者 韩宋辉）上海证券报记者获悉，1月26日，美团宣布为平台的线下消费全场景开放数字人民币支付通道。这是数字人民币首次实现本地生活服务平台的全场景覆盖。 此次...【继续阅读】