從游戲到專業(yè)培訓(xùn)，虛擬現(xiàn)實(shí)和混合現(xiàn)實(shí)提供了一種沉浸在體驗(yàn)中的新穎方式。然而，當(dāng)前的VR/MR技術(shù)存在一個(gè)根本性的挑戰(zhàn)：以臨場感所需的極高分辨率呈現(xiàn)圖像。這對渲染引擎和傳輸過程提出了巨大的要求。頭顯往往沒有足夠的顯示分辨率，這會限制視場，令體驗(yàn)變得糟糕。為了驅(qū)動更高分辨率的頭顯，傳統(tǒng)的管道需要高端處理能力，但即使是高端移動處理器也無法實(shí)現(xiàn)這一點(diǎn)。盡管挑戰(zhàn)將毫無疑問地繼續(xù)出現(xiàn)，但關(guān)于提高顯示分辨率的研究同時(shí)在為我們帶來希望。

為了進(jìn)一步提高VR和MR的視覺質(zhì)量，我們提出了一個(gè)利用人類視覺感知優(yōu)勢的管道，能夠以低計(jì)算和低功耗的方式實(shí)現(xiàn)優(yōu)秀的視覺質(zhì)量。本文提出的管道考慮了完整的系統(tǒng)相依性，包括渲染引擎，內(nèi)存帶寬和顯示模塊本身的能力。我們確定，目前的限制不僅僅局限于內(nèi)容創(chuàng)建，可能同時(shí)存在于傳輸數(shù)據(jù)，處理延遲，以及與真實(shí)對象（混合現(xiàn)實(shí)應(yīng)用程序）進(jìn)行交互方面。這個(gè)管道包括：1.專注于減少每像素計(jì)算的Foveated Rendering（注視點(diǎn)渲染）；2.有助于減少視覺偽影的Foveated Image Processing（注視點(diǎn)圖像處理）；3.有助于每像素位數(shù)傳輸?shù)腇oveated Transmission（注視點(diǎn)傳輸）。

1. 注視點(diǎn)渲染

對于人類的視覺系統(tǒng)，中央凹為視場中心提供了更清晰的視覺，而外圍視場的視覺質(zhì)量則相對更低。注視點(diǎn)渲染利用這一特性來減少頭顯外圍視覺的空間分辨率，從而減少每像素的計(jì)算。為了做到這一點(diǎn)，高視敏度（High Acuity，HA）區(qū)域需要通過眼動追蹤進(jìn)行更新，確保感知視圖與眼球掃視保持一致，從而為用戶提供視場范圍內(nèi)的恒定高分辨率感知。相反，缺乏眼動追蹤的系統(tǒng)可能需要渲染更大范圍的HA區(qū)域。

左邊圖像以全分辨率呈現(xiàn)。右邊圖像使用了兩層注視點(diǎn)渲染，一個(gè)以高分辨率渲染（黃色區(qū)域內(nèi)）和一個(gè)以較低分辨率渲染（黃色區(qū)域外部）。

傳統(tǒng)的注視點(diǎn)渲染技術(shù)可能會將幀緩沖區(qū)分成多個(gè)空間分辨率區(qū)域。當(dāng)由于頭部運(yùn)動或動畫導(dǎo)致內(nèi)容出現(xiàn)運(yùn)動時(shí)，呈現(xiàn)降低空間分辨率而帶來的鋸齒有可能導(dǎo)致可察覺的瞬時(shí)偽影。以下例子說明了由于頭部旋轉(zhuǎn)而帶來的瞬時(shí)偽影。

左邊是平滑的完整渲染；右側(cè)則顯示了注視點(diǎn)區(qū)域由于運(yùn)動而導(dǎo)致的瞬時(shí)偽影。

在下面的章節(jié)中，我們將介紹兩種不同的偽影減少方法：Phase-Aligned Foveated Rendering（相位對齊注視點(diǎn)渲染）和共形注視點(diǎn)渲染（Conformal Foveated Rendering）。每一種都在渲染過程中為視覺質(zhì)量提供了不同的好處，并且適用于不同的條件。

2. 相位對齊渲染

由于渲染內(nèi)容的二次采樣，低視敏度（Low-Acuity，LA）區(qū)域在注視點(diǎn)渲染期間會產(chǎn)生鋸齒。對于上文所述的傳統(tǒng)注視點(diǎn)渲染，當(dāng)用戶移動頭部時(shí)，顯示像素網(wǎng)格將同時(shí)在虛擬場景上移動，所以這種鋸齒偽影會在幀與幀之間閃爍。這些像素相對于場景的運(yùn)動會導(dǎo)致所有現(xiàn)有的鋸齒偽影閃爍，而用戶十分容易察覺到這一點(diǎn)，即便是在外圍視覺也同樣如此。

在相位對齊渲染中，我們強(qiáng)制LA區(qū)域截錐與世界（例如總是面向北，東，南等等）對齊，而不是與當(dāng)前幀的頭部旋轉(zhuǎn)對齊。大部分鋸齒偽影與頭部姿勢無關(guān)，因此更不容易察覺。在上采樣之后，這些區(qū)域?qū)⒅匦峦队爸磷罱K的顯示屏，以補(bǔ)償用戶的頭部旋轉(zhuǎn)，這樣可以減少瞬時(shí)閃爍。與傳統(tǒng)的方法一樣，我們將HA區(qū)域渲染至一個(gè)單獨(dú)的通道，并將其覆蓋在注視點(diǎn)處的合并圖像上。下圖是傳統(tǒng)注視點(diǎn)渲染和相位對齊渲染的比較：

非世界對齊的渲染內(nèi)容出現(xiàn)了瞬時(shí)偽影（左邊）；右邊則是相位對齊方法的效果。

這種方法能夠大大減少渲染過程中的視覺偽影。在相同水平的敏度降低下，相位對齊渲染比傳統(tǒng)注視點(diǎn)渲染需要更多的計(jì)算，但盡管如此，我們?nèi)匀豢梢酝ㄟ^提高注視點(diǎn)渲染水平來實(shí)現(xiàn)更優(yōu)秀的渲染效果，而且無需擔(dān)心產(chǎn)生過多的偽影。

3. 共形渲染

另一種用于注視點(diǎn)渲染的方法是，根據(jù)視覺注視點(diǎn)到屏幕距離的非線性映射，在一個(gè)匹配視敏度分辨率下降程度平滑變化的空間中渲染內(nèi)容。

這種方法存在兩個(gè)主要的好處。首先，通過緊密匹配人眼視覺保真度的下降，我們可以減少計(jì)算的像素總數(shù)（與其他方法相比）；其次，通過利用保真度的平滑下降，我們可以防止用戶在高視敏度和低視敏度之間看到一條清晰的界線，而這通常是用戶首先注意到的偽影之一。這兩個(gè)好處可以支持系統(tǒng)使用更高程度的注視點(diǎn)渲染，同時(shí)保持相同的質(zhì)量水平，從而產(chǎn)生更多的資源節(jié)約。

對于這種方式的執(zhí)行，我們將虛擬場景的頂點(diǎn)扭曲成非線性空間。接下來，這個(gè)場景以降低的分辨率進(jìn)行光柵化，然后作為后處理效果（結(jié)合以透鏡畸變校正）而恢復(fù)成線性空間。

請點(diǎn)擊此處輸入圖片描述

比較傳統(tǒng)注視點(diǎn)渲染方法（左）與共形渲染（右），后者將內(nèi)容渲染至與視覺感知靈敏度和頭像透鏡特性相匹配的空間。兩種方法都使用相同數(shù)量的總像素。

與相位對齊方法相比，共形渲染的主要優(yōu)點(diǎn)在于：這種方法只需進(jìn)行一次光柵化。對于存在許多頂點(diǎn)的場景而言，這個(gè)優(yōu)勢可以帶來大量的資源節(jié)約。此外，盡管相位對齊渲染可以減少閃爍，但它仍然會在高視敏度區(qū)域和低視敏度區(qū)域之間產(chǎn)生明顯的界限，而共形渲染則不會顯示這種偽影。然而，共形渲染的缺點(diǎn)是，外圍視覺的鋸齒偽影仍然會閃爍，這對需要高視覺保真度的應(yīng)用而言可能不太理想。

4. 注視點(diǎn)圖像處理

頭顯通常需要在渲染之后執(zhí)行圖像處理步驟，比如說局部色調(diào)映射，透鏡畸變校正或照明混合。隨著圖像處理的進(jìn)行，不同的操作將應(yīng)用于不同的操作區(qū)域。作為示例，包括色差校正在內(nèi)的透鏡畸變校正或許不需要為顯示器的每個(gè)部分提供相同的空間精度。在放大之前，通過對新內(nèi)容進(jìn)行透鏡畸變校正，我們將能在計(jì)算資源中獲得顯著的節(jié)約。另外，這種技術(shù)不會產(chǎn)生可感知的偽影。

請點(diǎn)擊此處輸入圖片描述

在注視點(diǎn)空間為頭部顯示器校正透鏡色差。頂部圖像為傳統(tǒng)的管道；底部圖像（綠色）則顯示了在注視點(diǎn)空間中的操作。

請點(diǎn)擊此處輸入圖片描述

左圖為透鏡畸變后重建的注視點(diǎn)內(nèi)容；右圖則顯示了通過注視點(diǎn)方式執(zhí)行透鏡畸變校正時(shí)的圖像差異（幾乎無差異）。在右圖中，幀緩沖區(qū)邊緣附近產(chǎn)生了最小誤差，而頭顯用戶通常難以察覺這些誤差。

5. 注視點(diǎn)傳輸

對一體機(jī)而言，一個(gè)重要的功耗來源是從系統(tǒng)級芯片（SoC）到顯示模塊的數(shù)據(jù)傳輸。為了降低功耗和帶寬，我們使用注視點(diǎn)傳輸來向顯示器傳輸所需的最小數(shù)據(jù)量，如下圖所示。

注視點(diǎn)傳輸能夠支持流式內(nèi)容進(jìn)行預(yù)重建（右圖），并且減少傳輸?shù)奈粩?shù)，而不是說傳輸放大的注視點(diǎn)內(nèi)容（左圖）。

請點(diǎn)擊此處輸入圖片描述

這種改變需要將簡單的放大和混合操作移至顯示端，并且只傳輸注視點(diǎn)渲染內(nèi)容。如果眼動追蹤隨著上圖中的注視點(diǎn)區(qū)域（紅框）移動，這將會出現(xiàn)復(fù)雜性。由于在SoC和顯示器之間使用的Display Stream Compression（顯示傳輸壓縮，DSC）不是為內(nèi)容創(chuàng)建而設(shè)計(jì)，所以此類運(yùn)動可能會導(dǎo)致瞬時(shí)偽影（下圖）

請點(diǎn)擊此處輸入圖片描述

左邊是完全整合的注視點(diǎn)渲染和壓縮技術(shù)（左）；右圖則是可能因?yàn)樵谧⒁朁c(diǎn)內(nèi)容中應(yīng)用DSC而造成的典型閃爍偽影。

6. 新的管道

我們專注于“注視點(diǎn)管道”的一些組成部門。通過考慮注視點(diǎn)管道對顯示系統(tǒng)各部分（渲染，處理和傳輸）的影響，我們可以實(shí)現(xiàn)下一代輕量級，低功耗和高分辨率的MR/VR頭顯。多年來，這一直是研究領(lǐng)域的一個(gè)積極討論的話題，相信搭載注視點(diǎn)管道的VR和MR頭顯將于未來幾年內(nèi)出現(xiàn)。