在三年多的時間，我有幸負責管理一家名為Chronosapien的工作室，而我們主要是通過新興技術組件來創(chuàng)建交互式內容。我們涉足了大量不同的技術，但VR已經成為了我們最關注的領域，所以我們開始了一個名為“Shapesong”的項目。

從許多不同的角度來看，“Shapesong”項目都是一次十分獨特的經歷。但其中一個最有趣的方面是，我們一直在學習如何最大化系統(tǒng)性能，同時不停地適應不斷發(fā)展的媒介。在這篇文章中，我希望向大家分享如何制作一個可信和引人入勝的VR環(huán)境，包括從硬件角度來出發(fā)，尤其是CPU。

1. 全新的期待

隨著第一代設備在2016年出現，普羅大眾開始第一次接觸到VR體驗。由于虛擬現實是一種更為自然的用戶界面，所以人們對待它的方式與傳統(tǒng)媒體設備不同。我們期望VR中的內容和體驗能夠足夠自然。例如，當用戶第一次穿戴VR設備的時候，他們不會先問“我應該要按下什么按鈕？”，而是會問“我的雙手在哪里？”。當傳送至虛擬環(huán)境中時，用戶不會詢問他們應該做什么，他們立即開始觸摸對象，拾取對象，以及傳統(tǒng)計算機程序用戶所無法想象的其他交互。

當期望無法得到滿足時，真實感就會被打破，而虛擬現實的幻覺則會瞬間消失。用戶不再是身處于虛擬現實之中，他們只是通過透鏡來感知一個數字模擬，周圍則充斥著毫不掩飾的設計元素和腳本化場景。

虛擬現實存在一系列不涉及構建虛擬環(huán)境的用例。但如果VR應用程序的目標是沉浸和傳送，作為開發(fā)者和設計者的我們就必須創(chuàng)建一個栩栩如生的世界，能夠像我們的物理世界那樣響應用戶。這意味著我們要創(chuàng)建一個可以改變和轉換的環(huán)境，創(chuàng)建可以抓取和投擲的對象，以及創(chuàng)建可以塑造和變形的工具。

這就是下一代交互式體驗，一個栩栩如生的虛擬世界。對此，用戶自然而然地期望他們可以像物理世界一樣與虛擬世界進行交互，但他們忽略的是沉浸感和交互性背后的所有計算。開發(fā)者的責任是利用現有工具和技術實現這種逼真的虛擬世界，但他們的力量有限。在某些時候，他們需要利用更高性能的硬件來實現目標。

這是我和我的團隊所面臨的挑戰(zhàn)。在開發(fā)VR體驗“Shapesong”的時候，我們學習到創(chuàng)建沉浸感所需的一切，我們知道如何才能實現這一點。但交互性和沉浸感的廣度是如此之大，而計算資源在傳統(tǒng)系統(tǒng)上又是如此受限制，我們被迫進行權衡選擇，或者發(fā)揮自己的創(chuàng)意。這種感覺就像是把一根吸管塞進一塊石頭。

在本文中，我希望與大家探討“Shapesong”在什么方面為CPU性能施加了壓力，這對用戶有什么影響，以及為什么功能更強大的CPU能夠加強沉浸感。我的目標是幫助大家更好地理解高端VR系統(tǒng)在實現這種高度沉浸感體驗中的優(yōu)勢。

2. “Shapesong”是什么？

首先，我們先來看看什么是“Shapesong”?！癝hapesong”是我們面向下一代音樂交互式體驗的解決方案。用戶可以自由探索音樂環(huán)境，發(fā)現可以用于虛擬樂器中的聲音，創(chuàng)建可以舞動和游樂的歌曲，以及與自己或其他人的克隆體一起演奏音樂。我喜歡把它簡單描述為《幻想曲》與《查理和巧克力工廠》在一個共享虛擬世界中的結合。

我們對“Shapesong”的目標是創(chuàng)造一個能夠以音樂形式游樂的完整世界，并支持用戶通過他們發(fā)現的環(huán)境與樂器來制作出屬于自己的體驗。我們同時試圖創(chuàng)造一種融合視覺和音樂表演的聯覺體驗，讓表演者和觀眾都能完全沉浸其中。

體驗存在大量需要設計和實時控制的方面，所以運行“Shapesong”的系統(tǒng)功能變得尤為重要。

3. 創(chuàng)建一個音樂世界

虛擬現實要求的幀率達到90fps，或者說每幀11毫秒。與之相比，傳統(tǒng)體驗的幀率為30FPS，而且在特定位置低于30FPS也不會造成重大影響。但虛擬現實卻非如此。VR實際上需要渲染兩個版本的場景，一個左眼一個右眼。盡管要求存在一定的例外，而且存在可以利用的輔助技巧，但毫無疑問的是VR對計算的要求十分嚴格。

我們?yōu)椤癝hapesong”設計了一系列特定的功能，而這對VR系統(tǒng)提出了更加嚴格的性能要求。從技術的角度來看，“Shapesong”是數字音頻工作站 (DAW) 和游戲在虛擬環(huán)境中的結合。這三者均對CPU提出了巨大的計算負擔。下面我們不妨來看看“Shapesong”中完全依賴于CPU性能的部分。

3.1 音頻處理

作為一款音樂游戲，“Shapesong”需要處理大量的音頻。除了對環(huán)境，玩家和UI聲音進行基準渲染以外，我們還會在不同時間段播放與樂器相關的聲音。事實上，多個樂器的平均音頻處理負載是基準（只演奏一件樂器時）的20倍。

這是樂器的幕后工作原理。如果你希望在樂器上演奏一個聲音（或者說一個音符），你需要播放這個音符的音頻片段。從某些方面來說，完整的鋼琴包含88個可以在特定時間內彈奏的不同琴鍵（或者說音符）。如果你在“Shapesong”中彈奏類似的虛擬樂器，你最多可以同時播放88個不同的音頻片段。然而，這是假設了每個音符在同一時間段只彈奏一個活動音符（或者說聲音），但對“Shapesong”而言情況并不總是如此。

除了基于音頻片段的樂器演奏方法外，我們還可以通過另一種方法來演奏樂器：聲音合成。但聲音合成不能代替采樣（sample），而且這需要獨特的處理負載。我們希望“Shapesong”能夠支持兩種方法，從而在彈奏音樂時可以實現最大的靈活性。

3.2 環(huán)境效果

我在上文已經提到，我們希望在“Shapesong”中實現視覺和音樂表演的結合，從而實現全新的音樂體驗。所以，播放的音樂需要與環(huán)境中的視覺效果保持同步。

大多數人認為游戲或體驗中的所有圖形都是由GPU渲染，但實際上CPU圖形渲染管道上扮演十分重要的角色，因為繪制調用是由CPU所執(zhí)行。繪制調用本質上是指CPU確定圖形任務并將其發(fā)送到GPU的過程?？偟膩碚f，當存在需要繪制到屏幕的獨特任務時，系統(tǒng)將需要CPU執(zhí)行繪制調用。

在Unity中，“Shapesong”引擎和繪制調用在一個名為“批量處理”的流程中得到了優(yōu)化。批量處理采集相似的繪制調用，將它們聚集到單個調用，然后再發(fā)送至GPU，這能夠極大地節(jié)省計算時間。但Unity只有在特定條件下才會對調用執(zhí)行批量處理，而其中一個條件是所有對象都共享相同的材料。另一個條件則是批量處理對象必須全部靜止，不能夠改變位置或以任何方式運動。對于靜態(tài)環(huán)境而言（比方說共享相同材料的200棵樹），批量處理的效果非常優(yōu)秀。但如果你希望每一顆樹都對玩家輸入或音樂演奏產生獨特的響應，批量處理將無法起到相同的作用。

無論虛擬世界是否需要響應音樂，這對創(chuàng)建栩栩如生的虛擬世界而言提出了巨大的挑戰(zhàn)。如果無法移動或改變某個場景中的對象，我們應該如何令這個場景變得栩栩如生呢？現實情況是，你不得不權衡需要進行生動演示的部分，而且在實現方式上發(fā)揮自己的創(chuàng)意（這也是游戲開發(fā)所普遍面臨的一個長期問題）。正如我在前文所說，傳統(tǒng)體驗和下一代體驗的區(qū)別在于用戶的期待。

3.3 物理對象

要實現一個栩栩如生的虛擬世界，我們不僅需要在環(huán)境中添加動畫，我們還要根據大家早已習以為常的物理定律來設計動畫。事實上，你甚至可以認為當前的VR系統(tǒng)不是真正的VR系統(tǒng)，它們只是疊加了一層虛擬世界的增強虛擬。為什么這么說呢？因為盡管在VR中看到了虛擬環(huán)境，但我們依然站在物理世界中，受所有物理世界的自然規(guī)律所束縛。重點是，如果你希望創(chuàng)建一個無縫的自然體驗，同時不破壞這種幻覺，你將需要確保虛擬世界的物理與現實世界相匹配。

我們希望在“Shapesong”中創(chuàng)建一種自然的體驗，能夠支持用戶利用環(huán)境中的對象進行演奏，并以此來探索音樂環(huán)境。例如，當用戶撿起一塊石頭并在池塘上打水漂時，我們希望石頭滑過水面時會播放音符；或者說當用戶往下拍球時，球體下落時會出現音高的變化。這樣做的目的是，以一種不令人膽怯的方式來鼓勵非專業(yè)人士進行音樂探索。

盡管在游戲引擎中啟用物理并非是難于登天，但成本極其高昂，對CPU資源的消耗也十分可觀。物理系統(tǒng)不僅需要逐幀計算受物理約束的對象的新位置，同時還需要檢測對象與其余環(huán)境的接觸。隨著這種物理支持的對象和相接觸對象的數量增多，成本也將隨之增加。

3.4 表演錄制

令“Shapesong”與眾不同的一點是，用戶可以自行錄制表演。我們希望表演錄制能夠充分利用VR及其運行系統(tǒng)的功能。以往在通過數字音頻工作站錄制音樂時，你只能捕捉彈奏的音符，系統(tǒng)不能捕捉手指演奏琴鍵的動作，也無法捕捉頭部的擺動。但音樂的重點不僅只是你所彈奏的音符，你所彈奏的方式同樣是十分重要的組成部分。

我們記錄了用戶的所有輸入，并將它們制作成一段可以通過虛擬化身實現的動畫。當用戶錄制一次表演的時候，他們基本上是克隆自己在特定時間段內的活動。對于彈奏樂器，這意味著克隆你在演奏音樂時的一切行為。對于其他，這意味著克隆你與環(huán)境的交互，你的跳舞，或者僅僅只是打招呼這一動作。

盡管錄制一場表演不會消耗太多的資源，但播放表演卻會恰恰相反，尤其在以表演規(guī)模進行播放時。例如，一首歌的某一節(jié)中可能同時彈奏了四種或五種樂器，而這期間可能同時包含一定的視覺表演，如跳舞或與環(huán)境中對象進行交互。因此，用戶在典型演奏中的任意時刻可能會播放10個或以上的演奏錄制。每一個角色都有三個部分需要錄制：左手，右手和頭部。我們同時追蹤了角色所握持的對象，以及這些對象的狀態(tài)。在典型環(huán)境中，播放的對象或屬性總計至少有100個，而每一幀都需要對它們進行處理。

4. 更強大的硬件性能將帶來怎樣的變化？

顯然，虛擬現實提出了嚴格的性能要求，模擬沉浸式環(huán)境及其功能可能需要付出高昂的資源消耗。但這意味著什么呢？CPU的性能要求將會對VR的最終體驗產生怎樣的影響呢？

更強大CPU性能可以帶來的一個主要影響是，擴大虛擬環(huán)境的規(guī)模。你不妨看看以往的虛擬現實體驗，它們幾乎全部存在于小房間之內，而且交互性非常有限。例如，Tilt Brush限制了環(huán)境畫布的規(guī)模，而它們在最近的更新中才支持用戶走出房間尺度的范圍?！禠ab》的場景位于一個實驗室之內，而這實際上只有幾個房間尺度的大小。即使是《Lucky’s Tale》這樣看起來更為開放的VR環(huán)境，它們也遠遠比不上同類的現代平臺游戲（如《超級馬里奧銀河》）。由于CPU提供了更卓越的性能，這種環(huán)境能夠進一步擴大，從而為玩家創(chuàng)建一個更加無縫和更為多樣的世界。

更強大CPU性能可以為VR體驗帶來的另一個影響是，提高VR體驗的交互性。大多數舊款體驗注重于某一類交互性，然后再對其進行擴展。例如《Job Simulator》是一款物理沙盒，支持用戶拾取對象或以獨特和有趣的方式來混合對象；《Raw Data》屬于大型射擊游戲，系統(tǒng)可以生成一波接一波的敵人；《Audio Shield》則是根據音樂節(jié)奏生成球體，而玩家可以利用盾牌進行格擋。盡管上述游戲非常優(yōu)秀，同時十分好玩，但體驗的深度相對不足。因此，它們的吸引力遠遠比不上其他熱門的非VR游戲。更強大的處理能力可以減輕每個交互系統(tǒng)對硬件施加的壓力，而這有助于提升交互性的寬度和深度?！秮喞Ｄ顷柟狻肪褪且粋€例子，這款游戲在原有的多人射擊體驗基礎上利用高性能CPU啟用了大量的物理對象和僵尸，大大增加了游戲的沉浸感和吸引力。

這種效果正是“Shapesong”所提供的體驗。隨著我們啟動更多的功能，我們必須節(jié)省環(huán)境的投入；隨著我們添加更多的角色，我們必須限制主動音頻語音的總數；當我們?yōu)橐魳穯⒂酶嗟囊曈X效果時，我們必須降低其它方面的圖形保真度。這種妥協并非僅限于虛擬現實，它們一直存在于各種游戲或體驗之中。但不同之處在于用戶的預期，我們都期待一個逼真的虛擬環(huán)境，所以虛擬現實系統(tǒng)對性能的要求至少比傳統(tǒng)系統(tǒng)高出兩倍。提升VR系統(tǒng)中的CPU性能將有助于創(chuàng)建這種高度沉浸和高度逼真的虛擬世界。

5. 展望未來

對于虛擬現實，我們正處于媒介新范式變革的最前沿。我們不再是通過一個有限窗口來知覺腦海中的奇幻世界，我們直接進入了人類幻想的深處，我們現在可以與這個世界及其里面的對象進行生動而逼真的交互。這是一個全新的目標，而我們在定義下一代虛擬體驗之前必須重新思考實現這一體驗的技術。正如宇航員不會坐著一架嚓嘎嚓嘎的飛船前往月球，我們也不會借助用于瀏覽網頁的PC來探索VR世界。

但要實現這種虛擬現實體驗，我們不能只依賴于最新的計算技術。我們創(chuàng)建的設計需要能夠模擬出一個足夠沉浸的世界，同時又可以實現真正的逃避感。對于開發(fā)“Shapesong”的開發(fā)者來說，這意味著我們需要通過一種既熟悉又新穎的物理法則來創(chuàng)建環(huán)境，并且利用直觀而獨特的交互式方法來創(chuàng)建樂器。當然，每一種全新的虛擬現實體驗都有其獨特的風格和挑戰(zhàn)極限的方式。但是，它們都需要依靠一定的技術條件來實現相應的目標。