全景声技术，让耳朵也能“声临其境”

9310340

8082Audio将耳机多声道监听系统应用于游戏、影视、音乐等领域全景声音频制作中
! g2 g7 d1 g/ Z( f
- l& D2 t) ^7 M$ r+ C) V
* C$ A* z+ _6 h- k4 w
) r8 N# O- g  u* G
$ y/ H' o5 {5 k4 h" I/ {在科技飞速发展的今天，裸眼3D技术实现了让人身临其境般的浸入式体验，全景声技术让耳朵也能“声临其境”地体验到更加真实的音响效果。走进全景声营造的声场中，你能听到身后掠过的飞蛾、脚边低鸣的蟋蟀、头顶吹过的凉风……顺着声音，便能找到所听到的一切，这个小小的声场能让人仿佛瞬间被转移到了另一个独立空间。然而，这种声音的魔法却是便携的普通耳机做不到的。耳机技术自百年前发明至今并没有实质性改变，而三维空间内的声音定位和声音的空间感很难得到真实的还原，直至近两年才有所突破。目前，基于Smyth SVS技术开发的耳机多声道监听系统Realiser A16，可以精确还原出最多24只环绕声音箱的声场，人们戴上耳机就能将全景声这一神奇的声场“打包带走”，应用至游戏、音乐、影视等日常生活的各种领域。

# J/ f6 I4 O: H4 U7 A/ O4 W) j
. N' e/ u5 w9 a5 H


耳机缺少声场还原最重要条件
* j  l$ w" N6 Z- R
, h/ {: Q# Y! J( {8 u0 e
6 X/ R2 M' \( _

耳机多声道监听系统主机

9 |8 i% U$ T0 U8 O) Z  Q
4 v3 g# ~! I! h. E1 G
人有两个耳朵，却能定位来自三维空间的声音，这得力于人耳对声音信号的分析系统。一场音乐会，舞台上吉他、贝司、人声、鼓一字排开，吉他、贝斯的声音从观众左前方传来，鼓从右前方传来。即使闭上眼睛，观众也能分辨声音的位置。“大脑根据声音到达两个耳朵的时间差距和声音大小来分辨声音位置。”北京怡生飞扬科技发展有限公司总经理付明杰解释道，当两个声源点发出同样内容、同样响度的声音时，大脑会认为距离更近的那个是声源点，比如，左侧的声源点发出的直达声，到达左耳的时间比右耳要短，大脑会认为声音从左侧发出。当两个声源点距离一样，那么大脑会认为响度大的那个是声源点。
0 q) o  l0 n% v& }' R7 X
5 q! W5 d/ [/ o' N7 @

! ~  K5 f" O7 q( p混音师重现音乐会乐器摆放位置时，就会将吉他、贝斯在左耳道的声音调大一点，或者比右耳道稍微提前一点，便能让听者感觉到吉他、贝斯从左前方传来的效果。“相比于立体声仅仅来自听众正前方的声音信息，全景声可以将两侧、后方甚至上方的声音信息带给听众，将声场空间放大，每个声音点位都很舒展，乐器听起来不再拥挤。”技术工程师王博说。
- k! O5 Z( U, l: i* z  S. Z4 I


/ e% m. I/ ^' E人类运用电声学还原声音的技术已有近百年的发展史。从立体声环绕声到全景声，尽管通过多声道格式可以为听众还原更多声音信息，但是在耳机领域却鲜有发展。“耳机将发声单元紧贴耳朵，失去了声场还原中最重要的条件——空间。耳朵辨别声音位置主要依靠空间感。”付明杰说。
5 l4 u5 F. b+ b- |


早在60年前，人们便发现了HRTF（Head Related Transfer Function）函数，计算人的双耳对于不同方向或位置声音所产生的影响，进而制造出立体空间声音定位的效果。这种声音定位处理技术，理论上验证了在耳机中还原声场的可能性。但是，和指纹一样，每个人的耳廓构造、头部及身体轮廓都会有差异，这些差异会体现在对不同频段声音的反射或阻挡，由此，HRTF函数也各不相同。采集HRTF函数，进行编码音乐制作，在当时受到设备实验条件、计算机运算能力的限制，无法真正实现。直到现在，国际上致力于音频开发的公司仍在研发基于HRTF函数的声场还原应用。近两年，通过耳机实现对任意声场中声音的还原与重建才有所突破。

! B( K1 [0 c* C: @
  a5 f. C1 w' o


  R6 `6 _4 h7 l7 `' u: Y最多还原24只环绕声音箱声场
3 ~2 g4 z% r& r) q% S3 ^




1 |+ L  I6 L3 Y  g1 }& L2019年10月，在由9个环绕声音箱、1个低音音箱、6个顶部的环绕声音箱搭建的一套9.1.6的环绕声空间，声音设计师李佳骐带上自己的索尼7506头戴耳机，上面用皮筋捆绑着Smyth SVS追踪器。Smyth SVS是一种人类听觉系统的数字音频算法。基于Smyth SVS的Realiser A16是耳机多声道监听系统。通过这套系统，只需使用普通耳罩式耳机，便能够还原任意声场中的全景声音箱，佩戴的头部追踪器更可以固定耳机中还原的虚拟声场定位，让人仿佛置身于虚拟声场中。起初，李佳骐下意识地以为耳机没开，听到的还是环绕音箱的声音。后来他惊喜地发现，随着脑袋轻微的上下左右移动，点音源的发声位置依然保持在同一个位置不变。“耳机呈现的声音和真实扬声器呈现的声音高度一致，根本难以区分。”耳机还原的逼真效果，让人几乎无法分辨声音到底来自于周围的音箱还是头顶上的耳机。
2 U7 [7 o6 X3 I


目前，Realiser A16可以还原出最多24只环绕声音箱的声场，音频从业者用耳机便可以精准且轻松地做环绕声混音，解决了工作室物理空间的局限性。Realiser A16处理器内置所有的主流音频码流解码还原，包括Dolby Atmos、DTS-X、Auro-3D等音频格式，使用场景广泛。例如，在场外EFP转播时可以实现全景声的监听，影视后期制作可以在任何地点完成全景声的音编和预混等。

& N2 M1 T4 i6 p+ _5 H( t' \* C) u

1 z* U5 _3 q) L6 j. ]+ e9 @% \

( A( E/ U) k: K" T' d2 E8 P全景声音乐制作尚未引起重视
( }& M7 x& j# h2 Y9 j


2 x% w! m$ J1 m8 l+ N2 ~' C
+ r8 x3 N9 R/ B5 ?5 Z
; g8 f2 u3 P: E5 T7 @李佳骐将这套系统应用在游戏、影视、音乐以及车载音响系统等领域的全景声音频制作中。他与作曲家徐梧桐联合创立的8082Audio是腾讯音频合作伙伴，为众多影视、游戏、广告、智能硬件等进行音乐、音效及语音创作。其中，音乐制作包括赵雷演唱会《浮游》、哔哩哔哩跨年音乐会《2019最美的夜》和《2020最美的夜》编曲；2021年江苏卫视跨年晚会李宇春《无价之姐》管弦乐编曲等。在游戏领域，团队参与了包括时下流行的《黑神话·悟空》《王者荣耀》《QQ飞车》（三周年版）等众多国内一线游戏的游戏配乐与声音设计。其中，《QQ飞车》于去年12月上线，是全球第一款应用全景声的手游。
0 T; N, ^* I6 v0 `2 e/ `* C

3 ^' I1 u* p! U7 j3 J7 z: c% X
* M0 W  |& h; w/ l0 c在国内，全景声在移动游戏领域的应用已国际领先。李佳骐介绍：“通常情况下，一个游戏声音设计师要同时负责两到三个项目。如果全部声音设计都在录音棚完成，会非常受限。现在，设计师用Realiser A16能够完成近八成工作，最终的混音确认进录音棚制作就可以了，大大提高了工作效率，缩减了制作成本。”
+ w3 j6 @& ~& a% e/ M" \


. N8 H* [; c$ e, o除了游戏，李佳骐邀请音乐人在8082Audio体验全景声音乐制作。借助全景声，音乐家可以分离声音，并提高开放性以注入更多的细节和细微差别，制作出前所未有的音乐，开启全新音乐创作维度。“去年，美国一个无损音频网站推出Lady Gaga等音乐人的全景声音乐作品，制作全景声专辑近100张。今年，全景声音乐专辑推出的频率更是越来越快。而国内全景声音乐制作还没有引起制作人的重视。因为，国内音乐平台没有介入全景声技术。全景声音乐作品即使制作出来，也没有平台播放。”李佳骐认为，“全景声将改变听音乐的方式。音乐创作空间将被极大开放的同时，创作思路也会更加天马行空，乐器不再仅仅是一字排开。我们将进入声音的全新世界，然后会意识到，其实声音本来就应该是这样的。”