首页 » 虚拟现实:万象的新开端 » 虚拟现实:万象的新开端全文在线阅读

《虚拟现实:万象的新开端》AudioSphere

关灯直达底部

斯科特·福斯特(Scott Foster)设计了VPL的3D声音技术。当时VPL坐落在码头上,工程师经常在船上生活,偶尔乘船上下班。斯科特是我记得的唯一一个坐小飞机上下班的人。他会从约塞米蒂的简易机场出发,在码头旁边降落。

斯科特设计了定制的PC板来计算立体声。人们可以通过眼机内置的音频耳机听到声音。

什么是立体声?这很复杂!我们能听到这个世界上空间内的声音,部分原因在于我们有两只耳朵,大脑可以比较听到的内容。例如,如果声音到达每只耳朵的时间稍微有所不同,大脑就可以利用这一差异监测声音来源的左右轴方向,但这只是感知的第一步。

我们的大脑也善于破译回声。虽然不如蝙蝠那么厉害,但比我们通常意识到的要好。我们听到的回声的模式可以传递出很多信息,比如所在空间的形状、空间表面构成、空气潮湿度以及我们在空间中的位置等。

所以VR的声音子系统有两个明确的任务:它必须使声音到达每只耳朵的时间不一致,同时必须模拟在真实空间回荡的回声。

耳郭,也就是耳朵从头部伸出的那个奇怪的部分,是我们听到声音的另一个原因。为什么耳郭是不规则的、螺旋状的一块?这个奇怪的设计会使你从前面收集的声音比从其他方向收集到的声音稍微清晰一点,但这也使来自不同方向的声音呈现出不同的音色,略有差异。

斯科特的计算机板利用卷积来模拟耳郭的功能。卷积可以被看作一种数学方法。如果我们检测到早期信号发生了变化,新的信号也会通过卷积算法发生类似的变化。我们在VR中一直使用卷积。

在这种情况下,一些倒霉的研究生不得不待在一个完全无回音的安静房间(消声室)里,耳朵里塞着让人讨厌的微型麦克风,接着我们会四处移动一个发出测试音的扬声器,卷积算法会分析之前来自特定方向的记录在耳内的声音,并将相同的变化应用于虚拟世界内可能发出的任何新声音。

结果出人意料地令人满意。实际上,相比于真实世界,VR盲人用户可以通过声音更好地游览虚拟世界。模拟的空间声音也比现实的空间声音更加清脆。

现在,芯片的质量非常好,价格也很低,VR系统中都预置了立体声,但很多新系统似乎都没有正确校准立体声。我们对待便宜的事物就会变得态度随意。

如果不提及与此相关的戏剧性诈骗史,关于空间声音的介绍就不算完整。有个方法可以很容易地获得非交互的空间声音,而且这种方法在音频录制初期就已经存在。将两个麦克风放在仿真人头类似于耳膜的位置,就可以收集到通过仿真耳郭接收到的声音。

我们每10年就会重新发现那几个经典的仿真人头录音演示。最常见的是关于理发的演示。我不太记得真正的理发是什么感觉,或听起来如何了,但那些记得的人告诉我,剪刀在头部周围剪发的声音(来自理发师靠近仿真人头剪东西的录音)逼真到让你起鸡皮疙瘩。(如果喜欢恶作剧,你甚至可以得到剪刀似乎移动到头颅内的声音,你要做的就是撕开一个足够大的洞,方便剪刀进入仿真人头。)

这个戏剧性的演示在过去几十年来被反复使用,从天真的投资者那里获得了空前的巨额资金,这些投资者从来没有意识到这是个多么简单的伎俩。

[1] 实际的方案比在文字上描述拍出全景视频要更复杂,但它是个合理的方案。