首先聲明它需要很高的計算密集度（computationally intensive），也需要耗費大量的計算成本，我是燒的是titan，手機盒子啥的就別考慮了……一臺頂配PC可以跑50個(gè)以上的sound，而一臺普通的手機則只能跑2-3個(gè)這樣的sound，所以它在兼容性上也非常受制約。
先講一個(gè)三自由度的VR聲，在cardboard design lab上的一個(gè)場(chǎng)景，你看著(zhù)火，然后觸發(fā)了貓頭鷹很詭異的叫聲，因為聲音定位得很準，你轉過(guò)頭馬上看見(jiàn)了貓頭鷹，然后它飛快地逃走了。
再講六自由度的，我在之前在oculus share上玩的一個(gè)游戲。

聲音成了可交互的元素

游戲叫《Pastoral》，里面很黑很黑。
當黑到一定程度的時(shí)候，視覺(jué)就失去作用了。這時(shí)玩家就需要空間來(lái)定位。比如將聲源放在3D空間中的某個(gè)位置，你會(huì )感覺(jué)它就在空間中的那個(gè)位置，無(wú)論你搖晃轉動(dòng)頭部都感覺(jué)它在那里。
因為你的眼睛沒(méi)有視覺(jué)信號，所以這里的觸發(fā)也由聲音來(lái)完成，比如你走過(guò)草地的沙沙聲，你踩到樹(shù)枝的咔擦聲，都會(huì )引來(lái)狼，或者驚飛了樹(shù)上的鳥(niǎo)。
比如的右邊傳來(lái)奇怪的聲音，你馬上轉過(guò)頭去，向右邊走去，這就誘導你：『右邊的東西可以交互』
想象你在黑暗中感受整個(gè)空間：我們周?chē)�發(fā)生的事和保證我們的安全。
什么地方響你就轉眼轉頭集中注意力去聽(tīng)那里

我們都知道在VR中，最重要的兩個(gè)元素一個(gè)是（視覺(jué)暗示）visual cue，另一個(gè)是（聽(tīng)覺(jué)暗示）audio cue。
VR在視覺(jué)上最重要的三個(gè)要素是

• 分辨率（resolution）
  
• 延遲（latency）
  
• 和追蹤（tracking）

• 方向（direction）聲音從什么地方來(lái)？最基本的三自由度就會(huì )對聲音有這個(gè)需求。見(jiàn)《人耳是怎么區分前后和上下的？》當我們聽(tīng)聲音的時(shí)候，總喜歡輕輕調整腦袋和身體，這就是在給audio進(jìn)行定位。
  
• 距離（distance）聲音離你有多遠？帶position tracking的六自由度就會(huì )產(chǎn)生這個(gè)需求。見(jiàn)《聲音的距離感是是如何產(chǎn)生的? 》
  

關(guān)于HRTF，可以看《什么是人頭錄音？》。我這里補充一點(diǎn)，標準的流程是每個(gè)用戶(hù)需要根據自己的頭部形狀和身體形狀進(jìn)行私人的訂制。

—————————————————————————————————————

虛擬現實(shí)的本質(zhì)是欺騙，而VR 中的3D audio，目的也是為了欺騙用戶(hù)，讓用戶(hù)相信『這個(gè)聲音來(lái)自那個(gè)空間里的某個(gè)特別的音源』。

如果你戴著(zhù)VR頭顯，而聲音是扁的，感覺(jué)耳朵被黏住了，在聽(tīng)覺(jué)上你就感覺(jué)不到空間感了。

VR audio的最終目標是形成一個(gè)聲場(chǎng)。
在這個(gè)場(chǎng)中由無(wú)數個(gè)speaker構成。
你站在中間，聽(tīng)聲音從四周傳來(lái)。你走到左邊，哦，那里是小提琴，然后你走到右邊，喲，那里是在敲的打鼓……這也許就是未來(lái)六自由度VR音樂(lè )會(huì )的形式。
對于聲音的position tracking的感覺(jué)，最直接的是『當你向左右轉頭的時(shí)候，你感覺(jué)到聲音仍然在那個(gè)地方�！�
6自由度遠距離audio
6自由度近距離audio
3自由度遠距離audio
3自由度近距離audio

3D Audio

3D Audio你可以理解為來(lái)自于各個(gè)方向的聲音，傳統的2Ｄ平面的聲音只有左右前后，而3D Audio可以來(lái)自與后方，也可以來(lái)自于你的身體的下方。無(wú)論你怎么轉頭，都感覺(jué)聲音就在空間中的那個(gè)地方，你甚至可以找到它。
原來(lái)的stereo、全局聲音也不存在了，在3D Audio中，聲音都是來(lái)自某個(gè)點(diǎn)（聲源）。所以3D audio的設計，需要你在用戶(hù)能夠達到的任何地方，它的360度里都要放上發(fā)聲器……
而各個(gè)方向的聲音一直存在，相互作用、相互影響，形成環(huán)繞的混響回聲（convolution reverb）。
因為是一直存在的，所以如果聲音聽(tīng)起來(lái)感覺(jué)不爽（比如聲音音量太大，音樂(lè )太難聽(tīng)），用戶(hù)就直接摘掉耳機甚至HMD了。
所以音樂(lè )就不是全局的音樂(lè )，而是由VR中某個(gè)東西播放出來(lái)的。
所以，為了替代原來(lái)的，比如你要播放背景音樂(lè )，就不能是全局的。而要找個(gè)東西來(lái)播放，比如收音機、唱片……這些實(shí)實(shí)在在的東西。

傳統的5.1聲道的使用場(chǎng)景是：你仔細地看著(zhù)屏幕，一動(dòng)不動(dòng)，聲音是來(lái)自黏在你耳朵上的耳機或者固定在地板天花板上音響。你每次聚焦一個(gè)點(diǎn)，而這個(gè)焦點(diǎn)是導演安排給你的，就只能聽(tīng)到聲源傳到那個(gè)點(diǎn)的聲音。
但是在VR中，你就在屏幕里面，用戶(hù)可以聚焦在任何地方。
你可以望著(zhù)這里，并聽(tīng)到相應的聲音。
你也可以望著(zhù)這里，聽(tīng)到因為你的位置變化而產(chǎn)生各種變化的聲音。
傳統的5.1中也沒(méi)有center speaker的概念。
如果運用在VR社交中，那么你聽(tīng)到的聲音就確實(shí)來(lái)自于人嘴巴的位置了。
下面重點(diǎn)分享一些demo——

房間demo

你會(huì )聽(tīng)到有排氣扇（vent）的聲音，然后你抬起頭，『哇，原來(lái)聲音來(lái)自那個(gè)排氣扇』。你聽(tīng)到電視機的聲音，轉過(guò)頭去，『哇，聲音是電視機發(fā)出來(lái)的』

潛水艇demo

比如這個(gè)潛水艇，可以聽(tīng)到周?chē)�的機器聲音，每個(gè)機器都發(fā)出奇怪的聲音。外圍是巨大的水聲，頭頂則是水管運輸水的聲音。
在你的頭的四周放上四個(gè)emitter
頭頂上方可以聽(tīng)到巨大的水流聲，感覺(jué)自己就在水下。
你感覺(jué)到頭頂的東西好像有些重量，忍不住彎腰駝背。
這里用了一個(gè)低通濾波器（low pass filter）來(lái)模仿水下的聲音，它的高頻很快會(huì )在空氣中失去活力。
我平常用得比較多的濾波器有：

• 濾波（filtering）
  
• 均衡（equalization）
  
• 失真（distortion）
  
• 鑲邊（flanging）

如果你把音源放在玩家的下面，他們就感覺(jué)自己在聲源的上面，你感覺(jué)自己站得很高。當你站在很高很高的樓頂時(shí)，你聽(tīng)到下面作響的風(fēng)聲。
再復雜的聲音都是由簡(jiǎn)單的Mono組成的，就是所謂的單通道（single channel）。讓復雜的聲音由mono構成，而不是Area Sources。（比如大瀑布的流水、奔騰的河流、熙攘的人群，這些聲音都是Area Sources。）

霸王龍demo

在傳統的立體聲中，我們把audio放在root里。你只能聽(tīng)到聲音來(lái)自那頭龍，但是都是在一個(gè)平面上。
但是在VR中，每個(gè)聲音都來(lái)自正確位置的聲源，你會(huì )感到聲源是是實(shí)實(shí)在在存在的。
你會(huì )聽(tīng)到大地的轟隆震動(dòng)聲來(lái)自它的兩只腳，左邊的轟隆聲來(lái)自左腳，右邊的轟隆聲來(lái)自右腳，頭頂的龍咆哮來(lái)自它的龍口。
（一般來(lái)說(shuō)，物體的聲音默認放在它的臀部還有腳接觸地面的地方，所以播放的時(shí)候有『跨步』的聲音和『腳踩大地的聲音』）

恐高demo

當你在這樣一個(gè)VR空間里的時(shí)候你會(huì )感覺(jué)到一陣恐高的眩暈感（vertigo），如果這時(shí)還聽(tīng)見(jiàn)下方劇烈的風(fēng)咆哮的話(huà)。
（你可以看見(jiàn)下圖的三個(gè)loop）
兩個(gè)loop，一個(gè)在你前面，一個(gè)在你后面

龍吼demo

在VR里所有的聲音資源都是mono的。如果是普通的2D聲音的話(huà)，你就感覺(jué)耳機像是被粘在自己耳朵上一樣。
所有混音師以前的技能也受到了挑戰，你不再是把聲音混在一個(gè)平面里了，而是把它混在一整個(gè)空間里，你可以把聲音放在用戶(hù)的頭頂，把聲音放在用戶(hù)的身后，把聲音放在用戶(hù)的腳下……stereo不再適用了，
你可以聽(tīng)到聲音來(lái)自龍的咆哮。
當然，另外的細節就是在城堡vaode其他地方添加各種細節的聲音，你能聽(tīng)到來(lái)自四方的風(fēng)聲。

礦井demo

當你經(jīng)過(guò)這個(gè)礦洞的時(shí)候，你的背后傳來(lái)仔ZZZ的聲音，于是你回頭看到了燈籠。這個(gè)過(guò)程相當于你的視覺(jué)反饋了你的聽(tīng)覺(jué)暗示。
然后還有車(chē)子之間相互碰撞的聲音。

（轉譯一段oculus audio SDK中的內容）

聲音穿過(guò)空間的時(shí)候，會(huì )在表面形成反射，造成了一系列的回聲。早期反射（Early Reflections）可以幫助我們定位。然后回聲不斷地傳播（propagate）、削弱（diminish）、和其它物體交互，而造成了晚期回響尾聲（late reverberation tail）。
鞋盒房間（shoebox room）就是利用前面說(shuō)的Initial Time Delay用來(lái)模仿回聲，它是一個(gè)簡(jiǎn)化的環(huán)境幾何學(xué)（environment's geometry），它是一種非常理想的情況，不考慮遮擋，而且假定每個(gè)表面的對頻率的吸收相等。因為盒子是六面體，它的六個(gè)面都有回聲，所以用戶(hù)會(huì )產(chǎn)生處在一個(gè)room中從而產(chǎn)生空間感。就拿國際象棋來(lái)說(shuō)，你站在局外玩，Presence和Immersion的感覺(jué)遠遠不如身處其中玩。一個(gè)是身處局外的outside scene，一個(gè)是身處其中的inside Scene……我不由想起小說(shuō)中常聽(tīng)到的『局外人』，那些游離于生活之外的人們。

• 全局的界面元素：按鈕、轉場(chǎng)、暗示和一些其他控件。
  
• 一些頁(yè)面的解說(shuō)（Narration）
  
• 你所扮演的avatar，它的心跳、它喝水吃飯的聲音