大腦非常神奇。只需要兩只耳朵和一些腦部周?chē)�的軟骨，就可以�(xún)H通過(guò)聲音線(xiàn)索準確地在 3D 空間中定位一個(gè)物體�？梢月�(tīng)聽(tīng)看周?chē)�的聲音。認真的，停下來(lái)聽(tīng)聽(tīng)周?chē)�的聲音。即使那些音源完全不在我們的視線(xiàn)內，應該也可以大概知道音源的位置吧？這就是聲音的定位效果。這是一個(gè)非常厲害的能力，盡管大多數人都認為這是理所當然的，然而正是這種能力在生活的各個(gè)方面中幫助我們完成一系列活動(dòng)，比如安全地過(guò)馬路，不被兇狠的狗傷害，當然也包括創(chuàng )造游戲的沉浸效果。

讓我們來(lái)理一理

在現實(shí)生活中我們擁有五感（如果活在 M. Night Shyamalan 大導演電影里的話(huà)那你還會(huì )有第六種感官）。這五感分別是觸覺(jué)、味覺(jué)、嗅覺(jué)、視覺(jué)和聽(tīng)覺(jué)；但是呢，在 VR 的游戲世界里，只有兩種感覺(jué)能被我們自由利用，這兩感就是視覺(jué)和聽(tīng)覺(jué)。

從某些角度說(shuō)呢，這樣反而比較好（比如僵尸游戲里啟用味覺(jué)，有人想試試嗎），既然現在只有兩種感覺(jué)可以被利用，那制作一個(gè)真正的沉浸式游戲就意味著(zhù)將這兩感運用到極致。簡(jiǎn)單來(lái)說(shuō)就是需要高質(zhì)量的 3D 圖像和 3D 音效。

盡管圖形領(lǐng)域近幾年一直在持續發(fā)展提升，PC 端音效的發(fā)展史看上去似乎就顯得特別混亂，有層出不窮的新發(fā)明，也有停滯不前的時(shí)期，甚至也有徹徹底底的退步。然而，隨著(zhù) VR 產(chǎn)品的問(wèn)世和不斷發(fā)展，真正的 3D 音效似乎再一次崛起了。這一次他們從過(guò)去層出不窮的新發(fā)明中吸取了教訓，VR 要將沉浸式音效體驗推向一個(gè)前所未有的巔峰。

音效急需復蘇

3D 音效病了。正確執行的 3D 音效還是非常炫酷的，但是在近幾十年里，3D 音效的整體質(zhì)量都不容樂(lè )觀(guān)。毫不夸張地說(shuō)，想要明白為什么 VR 能夠復興 3D 音效，必須了解 3D 音效究竟為什么需要復蘇。

3D 音效利用的是空間坐標軸（x,y,z軸）內每個(gè)聲音和聽(tīng)者的坐標位置，然而大多數現代游戲都將聲音界定為水平上擴展，但是縱向上幾乎沒(méi)有高度和距離感。這就意味著(zhù)我們界定的聲音對于聽(tīng)者而言就像是一個(gè)靜止的呼啦圈，僅僅能提供一種極弱的偽 3D 效果。

音頻發(fā)展史

從某些角度來(lái)看，音效已經(jīng)在過(guò)去幾十年中有了突飛猛進(jìn)的變化，尤其是從保真度和信噪比的角度來(lái)看。從托馬斯·愛(ài)迪生在1800 年代末期第一次通過(guò)留聲機回放了一段聲音以來(lái)，我們已經(jīng)在音頻領(lǐng)域發(fā)展了很多。然而，盡管在保真度和預錄方面一直在持續進(jìn)步，3D 界的實(shí)時(shí)音效建模卻有些差強人意。

那么，在游戲之中創(chuàng )造出優(yōu)秀的 3D 音效到底有多難呢？為什么我的游戲里沒(méi)有 3D 音效呢？高保真音效的重現其實(shí)并不難，但是要重現一個(gè) 3D 空間中的動(dòng)態(tài)行為確實(shí)是一件很難的事情。

空間障礙

首先，我們先預錄一個(gè)音效作為樣本。它可以是僵尸的呻吟，可以是開(kāi)槍的聲音，也可以是你朋友在雪地里的腳步聲。無(wú)論這個(gè)音效是什么，它肯定具備一個(gè)音源和一個(gè)聽(tīng)者。

無(wú)論是音源還是聽(tīng)者，都需要在 3D 空間中占有一個(gè)位置，這個(gè)過(guò)程被稱(chēng)之為空間定位。本質(zhì)上來(lái)說(shuō)呢，這就意味著(zhù)音源和聽(tīng)者都有一個(gè)完整、動(dòng)態(tài)的 xyz軸坐標，從左到右，從上到下，從前到后。隨著(zhù)他們位置的變化，預錄聲音樣本也必須隨著(zhù)位置變化而變化。也有專(zhuān)門(mén)的術(shù)語(yǔ)來(lái)形容從左到右，從前到后的關(guān)系，叫方位角（azimuth），而從上到下的關(guān)系則稱(chēng)為海拔（elevation），此外還有距離。盡管空間定位對于聲音的沉浸效果而言非常重要，這也僅僅只是冰山一角。在聲音到達聽(tīng)者的位置之前，它需要在空間里沿著(zhù)彎曲復雜的路徑里行進(jìn)一段距離才行。

就像光一樣，聲音實(shí)際上很少沿直線(xiàn)從點(diǎn) A 到點(diǎn) B，取決于周邊環(huán)境，它們在穿梭的過(guò)程中可能經(jīng)歷成千上萬(wàn)的路徑變化。光可以被反射，聲音也可以被反射，反射又可細分為早反射（early reflections）和遲反射（late reflection）；也可以被吸收（或減弱）；甚至可以被完全隔絕，如聲音封閉（sound occlusion）。在一個(gè)空間內的聲音也可以產(chǎn)生回聲（盤(pán)繞的混響/ convoluted reverberations），這些都取決于聲音在傳播過(guò)程中的路徑。將這些環(huán)境因素合在一起，就是人們常說(shuō)的聲音氛圍（audio ambiance）。

由于這些環(huán)境因素對音波在傳播過(guò)程中的影響，也大大加強了計算機處理這種影響的難度。舉個(gè)不恰當的例子，這大概就像是在你的游戲中加入另外一個(gè)物理引擎，比如聲波追蹤系統之類(lèi)的，這也是硬件加速音效常用且實(shí)用的一個(gè)借口。所以時(shí)至今日，大多數游戲仍然沒(méi)有將空間定位或者聲音氛圍開(kāi)發(fā)到極致。

Aureal

想要把這一切環(huán)境因素都放到你的腦邊實(shí)在有點(diǎn)難，所以不妨現在戴上一副耳機然后聽(tīng)聽(tīng)看這個(gè)。這是一個(gè)在 1990 年代末誕生的即時(shí) 3D 音效科技。沒(méi)錯，大概 20 年前的科技就已經(jīng)能創(chuàng )造出富有沉浸感、栩栩如生、有方位感的 3D 音效。這項技術(shù)被稱(chēng)為A3D 2.0，它可以實(shí)時(shí)實(shí)現以上提到的大多數的聲音效果。而這項技術(shù)的擁有者正是 Aureal（傲銳）。

這項技術(shù)很大程度上依賴(lài)于頭部相關(guān)傳遞函數（head-related transfer functions，或 HRTFs）以及用來(lái)計算 3D 音源如何進(jìn)入人腦數學(xué)算法，這種算法還需要考慮耳朵和上半身身形。這能在本質(zhì)上幫助我們復制聲音線(xiàn)索，以便我們準確定位音源，或者將音源局限在某塊區域。我需要再一次提醒大家，這項技術(shù)在上世紀 90 年代末期就已經(jīng)實(shí)現了。

說(shuō)了這么多，如果你聽(tīng)了上述那個(gè)鏈接，覺(jué)得自己的耳朵被欺騙了，可以理解！這是非常正常的感受�？墒侨绻�這項技術(shù)那么多年以前就已經(jīng)存在了，為什么如今游戲的音效很多都還沒(méi)這個(gè)強呢？原因歸納起來(lái)就兩個(gè)字，競爭。

競爭

理論上來(lái)講競爭是一件好事，可以讓產(chǎn)品質(zhì)量越來(lái)越高，就好比跑步比賽中別人就快追上你了，你就決定加速一樣。然而不幸的是，競爭也可能產(chǎn)生“劣幣驅逐良幣”的負面效果，比如跑步比賽中你就快追上別人了，結果他把你推倒了。有時(shí)候市場(chǎng)競爭真的就是這個(gè)樣子。

Aureal 是史上最早開(kāi)拓 3D 音效領(lǐng)域的公司之一。即使很保守地評價(jià)，他們家的音效科技也是非常出色的，尤其是考慮到他們在上世紀 90 年代末就已經(jīng)達到那種水平�？墒蔷驮陔S后，Aureal 的最大競爭者 Creative（創(chuàng )新）起訴 Aureal 侵犯專(zhuān)利權。盡管人們普遍認為 Aureal 的音頻技術(shù)比 Creative 的要更加優(yōu)秀一些，這場(chǎng)官司卻耗費了 Aureal 大量財力，以至于無(wú)法繼續運作下去。

總而言之，這兩家公司并沒(méi)有友好競爭，而音頻技術(shù)也只能成為這場(chǎng)惡性競爭中的陪葬品�？梢哉f(shuō)這場(chǎng)惡性競爭不僅僅阻礙了 3D 音效的發(fā)展，更增加了消費者們的開(kāi)銷(xiāo)，最可惡的是價(jià)格高了產(chǎn)品質(zhì)量反而變得比以前更糟糕。

在被稱(chēng)為 3D 音效的黃金年代的那段日子里，Creative 也繼續創(chuàng )新，然而它們的創(chuàng )新大部分是基于 Microsoft 的核心技術(shù)DirectSound和 DirectSound3D。

前任

首先呢，我們先來(lái)弄明白一個(gè)常用的俗名，你肯定經(jīng)常聽(tīng)到DirectX（微軟創(chuàng )建的多媒體編程接口）這名字，一般都是在描述某些很酷炫的圖形特征時(shí)會(huì )被用到。盡管 DirectX 經(jīng)常被人們與 3D 圖形聯(lián)系在一起，但實(shí)際上它是由大量多媒體應用程序編程接口（Application Programming Interfaces，API）構成的，簡(jiǎn)單地說(shuō)就是相當于有好幾級軟件，將功能強大的軟件與不那么強大的連接在一起運轉。

而 DirectX 的圖形 API 正是 Direct3D。大部分人在說(shuō) DirectX 的時(shí)候其實(shí)指的是 Direct3D。而 DirectSound 呢，就相當于是對應的音效 API。DirectSound 也有擴展部分，名為 DirectSound3D。

DirectSound（以及 DirectSound3D）有兩個(gè)核心功能。一是它能夠創(chuàng )建一個(gè)標準，統一化的環(huán)境供 3D 音效發(fā)展，并能讓軟件開(kāi)發(fā)者輕松利用。第二個(gè)功能則是它能讓硬件為 3D 音效加速，這是一項非常復雜的計算任務(wù)。一直到 2006 年，DirectSound 和 DirectSound3D 一直是很多音頻應用的主心骨。隨后Vista誕生了。

隕落

隨著(zhù) Windows Vista 系統的發(fā)布，微軟隨即將 DirectSound3D 斬于馬下，將幾年來(lái) Creative 音頻發(fā)展的基石化為烏有。無(wú)論是標準音效 API 還是硬件加速都瞬間失去了活力。想明白這究竟造成了多大的混亂，不妨想象一下哪天微軟突然決定也停止使用 Direct3D。

當然了，圖形行業(yè)能夠很快自我復原的幾率很高，但是這么做，對于圖形界的影響一定會(huì )是巨大的。移除 DirectSound 和 DirectSound3D 從某些角度來(lái)說(shuō)是有利的，但對于當時(shí)音頻的狀況而言是個(gè)非常巨大的打擊。這段歷史就像是 Creative 把 Aureal 的輪胎放了氣，而當 Creative 準備上路的時(shí)候，微軟直接把 Creative 的輪胎卸掉了。

在 DirectSound3D 被喚醒的初期，很多人說(shuō)硬件加速是多余的，完全不需要。這么說(shuō)有那么點(diǎn)道理，但是撇開(kāi)道理不談，這么多年來(lái)的游戲中軟件執行這塊似乎一直很單薄，而背后原因正是因為他們無(wú)法計算足夠的運算組，以至于無(wú)法創(chuàng )建真正的 3D 音效。從樂(lè )觀(guān)的角度來(lái)看這最近一個(gè)世紀，3D 音效在退步，但在代替軟件填補空白的幫助下，至少也在跌跌撞撞地找回自己的步伐。

余波

盡管從 Vista 開(kāi)始的代替產(chǎn)品基本都是基于軟件制造的，也有少部分硬件加速的解決方案，比如 AMD 的TrueAudio技術(shù)（一種免費又簡(jiǎn)單的實(shí)時(shí)無(wú)損音頻編解碼器），它們利用 GPU 進(jìn)行運算，從而創(chuàng )造精準的 3D 音效。當我們想起聲音是一種物理現象，再想想 GPU 在物理渲染中日益遞增的作用（比如 Nvidia 的PhysX），說(shuō) GPU 也能夠計算出精準的沉浸式 3D 音效似乎也不那么牽強。然而，如今的 3D 音效領(lǐng)域依然支離破碎。

事到如今，我們再回過(guò)頭來(lái)看，究竟解決方案是軟件還是硬件已經(jīng)不那么重要了。重要的是能實(shí)現真正的空間定位，創(chuàng )造環(huán)境氛圍�？梢哉f(shuō)近十年來(lái)，這些過(guò)程常常是敷衍了事。隨著(zhù) VR 的到來(lái)，對真正的 3D 音效的需求總算到頭了（現在 3D 音效真的能到你的“頭”里）。

歡迎光臨

VR 的一切都是關(guān)于沉浸感。Oculus Rift 特別強調了臨場(chǎng)感的概念，或是肉體上感覺(jué)自己正身處于某一環(huán)境中。視覺(jué)和聽(tīng)覺(jué)都能使這種感覺(jué)更加逼真。

在 VR 中，能實(shí)現沉浸感和臨場(chǎng)感畫(huà)面的主要方式就是通過(guò)低延遲的頭部追蹤，當你轉頭，在地上匍匐前進(jìn)時(shí)，顯示屏能以幾乎無(wú)法察覺(jué)的延遲匹配你的實(shí)時(shí)視野。有趣的是，頭部追蹤系統也恰好是為什么真正的 3D 音效至關(guān)重要的原因。

在現實(shí)生活中，我們常常會(huì )微微轉動(dòng)，或者抬高頭部以確定某個(gè)聲音的確切來(lái)源，我們的大腦會(huì )記錄下這些聲音的差異。鼠標視角某種程度上能模仿這樣的行為，因此對于鼠標游戲來(lái)說(shuō) 3D 音效是個(gè)不錯的選擇，但是頭部追蹤系統對于 3D 音效的需求幾乎是強制的。

3D音效：VR的必需品

VR 中的音效可以成為臨場(chǎng)感的點(diǎn)睛之筆，也能成為敗筆。正確執行的 3D 音效能加強一個(gè)場(chǎng)景的臨場(chǎng)感，給玩家們傳遞各種物體的位置信息，以及環(huán)境信息。能夠通過(guò)頭部運動(dòng)追蹤一個(gè)運動(dòng)中的物體固然很重要，能夠聽(tīng)見(jiàn)與這個(gè)物體實(shí)時(shí)位置所匹配的聲音也同樣重要。視覺(jué)和聽(tīng)覺(jué)可以相互加強，一旦這兩種感覺(jué)互相沖突，沉浸感就消失了。

想象一下你看見(jiàn)一個(gè)物體在你的身體上方，但聽(tīng)上去卻像是在邊上；或者是你在聽(tīng)一個(gè)角色講話(huà)，但是無(wú)論你的頭轉向何方，聲音似乎總是從正前方傳來(lái)。如果真的這樣，沉浸感就成了一個(gè)笑話(huà)，那也就更不用談什么臨場(chǎng)感了。

3D 音效非常重要，因為當我們聽(tīng)到那些可以感覺(jué)到的聲音時(shí)，聽(tīng)覺(jué)幾乎可以替代我們無(wú)法實(shí)現的觸覺(jué)，比如我們聽(tīng)到了風(fēng)從臉上吹過(guò)的聲音，或者雨落在身邊的聲音。來(lái)看看這個(gè)Oculus Connect 大會(huì )上的視頻（翻墻看～），你可以對 3D 音效對于 VR 的重要性有更進(jìn)一步的了解。

但這并不是說(shuō)沒(méi)有優(yōu)秀的 3D 音效，沉浸感就沒(méi)有了，而是真正的 3D 音效能將這種感覺(jué)放大至無(wú)限。這就是為什么 VR 如此堅決地推崇整合了空間定位和環(huán)境氛圍的真正 3D 音效。

然而有點(diǎn)反常的就是，由于耳朵對于聲音的連續性判斷和準確定位，利用 HRTF 的耳機似乎總比揚聲器傳遞更逼真的 3D 音效。

音頻復蘇

在 2014 年，Oculus 授權 VisiSonic 的音頻技術(shù)，并最終將其融入 Oculus Audio SDK 中。這項技術(shù)非常依賴(lài)定制的 HRTF，通過(guò)耳機來(lái)再現精準的空間定位，這其實(shí)也是 Aureal 在 20 年前就推出的技術(shù)。

最棒的部分不僅僅是 Oculus 將這項技術(shù)整合進(jìn)了他們的 Audio ADK 中，而且他們還免費供應，甚至不僅僅在 VR 平臺上免費，其他任何平臺上也是免費，包括傳統 PC 平臺也是。盡管市面上也有很多各種各樣的三方音頻解決方案，但 Oculus 這么做也是為大家提供了一個(gè)高質(zhì)量，并容易上手的 3D 音效基準，甚至為游戲內真正的 3D 音效定了起跑線(xiàn)，這條起跑線(xiàn)在快十年前 DirectSound3D 隕落時(shí)就不見(jiàn)了蹤影。

一段時(shí)間以來(lái) 3D 音效都處于一個(gè)“奄奄一息”的狀態(tài)，或者你也可以樂(lè )觀(guān)地說(shuō)，它需要被復蘇。多虧了 VR 的到來(lái)，人們終于證實(shí)了 3D 音效復蘇的重要性。3D 音效再也不是備選的調味料了，它是一個(gè)非常重要的原材料，是可以放大、倍增整個(gè) VR 體驗，可以將臨場(chǎng)感和沉浸感提升到圖形永遠無(wú)法企及高度的重要元素。