硬件分析師 Brad Lynch 認為，Meta Quest Pro 將采用經過改進的 XR2 處理器，較現有的 XR2 處理器同比性能提升 30%。分析師郭明錤預測，Quest Pro 將使用單眼 2160×2160 分辨率的面板。

在訪談中，扎克伯格還談到了元宇宙社交，他認為，從文字、圖像、再到視頻，社交媒體的載體正朝著更大的信息容量演變，而下一個能比視頻承載更多信息量的載體，就在 VR 領域。

此前，扎克伯格親自下場推薦自家的社交平臺 Horizon Worlds，并發表了一張 VR 自拍。雖然照片遭到全網群嘲，不過扎克伯格還是為 Horizon Worlds 帶起了一波全網熱度。

▲扎克伯格的 VR 自拍

近來，Meta 在元宇宙領域的動作頻繁。今年 6 月，Meta 的 VR 部門 Reality Labs 推出了四款 VR 頭顯原型機，分別展示未來 VR 設備的 4 個關鍵技術演進方向：高分辨率、高動態范圍（HDR）、輕薄外形、降低暈眩感的變焦技術優化。在 8 月舉辦的 SIGGRAPH 大會中，Meta 的顯示系統開發負責人 Douglas Lanman 發表演講，為我們介紹了攻破 VR 技術瓶頸的十大挑戰。

在 SIGGRAPH 2022 大會上，外媒 Auganix 的記者 Sam Sprigg 特別體驗了主打 HDR 功能的 VR 原型機 Starburst。Oculus Quest 2 是 Meta 迄今推出的 VR 一體機巔峰之作，去年出貨量突破千萬臺，是史上最暢銷的 VR 產品，而 Starburst 的峰值亮度足足有 Quest 2 的 200 倍。

那么，Meta 的元宇宙布局究竟是怎樣的？Meta 的原型機體驗起來到底如何？Meta 的百億研發都投入到了哪里？讓我們帶著這些疑問，一起來看看 Meta 在 VR 領域上的最新發展。

一、為探索四大研究領域，Meta 發布四款原型機

今年 6 月，Meta Reality Labs 公布了四款不同技術領域的 VR 頭顯原型機。

Butterscotch 探索分辨率技術、Starburst 探索 HDR 技術、Holocake 2 探索 VR 頭顯的輕薄外形打造技術、Half Dome 系列探索變焦技術。這四款原型機分別代表了 Meta 在四個 VR 頭顯研發領域取得的最新進展。

此前，Meta 的 CEO 馬克 · 扎克伯格曾提出視覺圖靈測試（Visual Turing test）的概念。簡單來說，視覺圖靈測試的考核標準就是虛擬圖像能否以假亂真，讓人眼無法分辨出虛擬圖像與真實圖像。扎克伯格表示，視覺圖靈測試有兩個重點，即照片級真實感和臨場感。

▲不同 VR 頭顯分辨率對比

而讓圖像更加逼真的方法之一，就是盡可能地提升圖像的分辨率。為此，Meta 研發了原型機 Butterscotch，其特點就是具有 " 視網膜級別 " 的分辨率。

Butterscotch 的 PPD 達到 55，很接近每 1 度角 60 像素的 " 視網膜分辨率 " 水平，其分辨率是 Quest 2 的 2.5 倍，Meta Reality Labs 科研部門 DSR 團隊光學科學家 Yang Zhao 說，Butterscotch 的定制透鏡模組中，有兩個高精度玻璃鏡片，鏡片的表面質量更高，但也更重。此外，還有一個可衍射光線的特制透鏡。玻璃透鏡與衍射透鏡組合后，即可呈現清晰的圖像。

▲ Starburst 原型機

Starburst 原型機的特點是具備高 HDR（高動態范圍成像）功能，其背光的最大亮度可達 20000nit，是現有 VR 頭顯 Quest 2 的 200 倍。Meta Reality Labs 團隊開發 Starburst 的目的是在虛擬環境中還原完整的室內照明，并探索能讓用戶實現最佳沉浸體驗的理想亮度。

Starburst 采用 COB LED（常用于車燈上的 LED）取代原來的 LCD 屏幕背光，這在很大程度上提高了 LCD 的背光亮度，但也產生了更多的熱量。因此，Starburst 還配備了風扇和 3D 打印散熱底架。但是設備整體比較笨重，且耗電嚴重。在四項技術中，這項技術離上市的距離最遠。

▲ Holocake 2 原型機

Holocake 2 原型機的特點是輕薄，可以提升 VR 頭顯的佩戴舒適度。Holocake 2 是一款 PC VR 設備，雖然它的外形輕薄，但是它需要額外的計算和電池組件空間，采取分體式設計。

▲ Half Dome 發展史

Half Dome 是基于 Oculus Rift 改造的 VR 頭顯原型機，其特點是采用可變焦透鏡。從第三代開始，Half Dome 的透鏡從機械系統升級為電子變焦系統，減少了機械噪音和震動。Half Dome 3 有 32 個可切換的焦點平面。據體驗者透露，通過 Half Dome 的動態變焦玩《Lucky ’ s Tale》等游戲時，視野里的圖像焦點可以根據手柄移動的距離而變化。

二、Starburst 峰值亮度為 20000nit，是 Quest 2 的 200 倍

在本月舉辦的計算機圖形頂會 SIGGRAPH 2022 上，外媒 Auganix 的記者 Sam Sprigg 特別體驗了主打 HDR 功能的 VR 原型機 Starburst。Oculus Quest 2 是 Meta 迄今推出的 VR 一體機巔峰之作，去年出貨量突破千萬臺，是史上最暢銷的 VR 產品，而 Starburst 的峰值亮度足足有 Quest 2 的 200 倍。

在展會現場，兩臺 Starburst 被掛在一個框架上供參與者體驗。Starburst 的重量約為 2.5 公斤，這個數字對于頭戴式設備而言，有點太大了。Sam Sprigg 說：" 它太重了，你無法把它戴在頭上，只能把它舉到臉前。" 并且，Starburst 需要大量電力支持其高亮度顯示，所以它被固定在了框架上。

▲兩臺 Starburst 被懸掛在一個架子上

Starburst 的亮度是用 "nit" 來衡量的，Sam Sprigg 稱，室內環境的亮度超過 10000nit，而 Starburst 的峰值亮度為 20000nit。而 Meta 曾表示，Quest 2 的峰值亮度約為 100nit，Starburst 的峰值亮度是 Quest 2 的 200 倍。

而 20000nit 的峰值也可以在一定程度上解釋 Starburst 的 " 笨重 "。高亮度也會產生高熱量，為了散熱，Starburst 配備了大型的鋁散熱器。Meta 的顯示系統研究團隊（Display Systems Research，DSR）的研究科學家 Nathan Matsuda 說，鋁散熱器至少占了設備重量的 50%。此外，設備頂部有一個大型風扇，可以吸收散熱器中的熱量。

▲ Starburst 由 36 個零部件組成

不過，Starburst 的分辨率較低，約為 2560×1620 像素，比 Quest 2 略低。不過，這也可以讓人接受。因為 Starburst 主要展示 HDR 的解決方案，至于高分辨率，那是 Butterscotch 該探索的方向。

Starburst 同時使用彩色和單色 LCD（液晶顯示器）。Matsuda 表示，這是因為單個 LCD 在低光下的對比度較差，而兩個彩色 LCD 又會吸收大部分光線，降低顯示效果。因此，將彩色和單色 LCD 串聯使用，就可以獲得最佳的顯示效果。

為了專注探索 HDR 技術，Starburst 在畫面的刷新率和視野方面做出了妥協。不過，Sam Sprigg 稱，這種妥協并沒有影響 Starburst 在 HDR 和亮度方面的表現。

▲ Sam Sprigg" 戴著 "Starburst

Starburst 演示的第一部分就是在虛擬空間設置一個光源，再放置一些球體來顯示反射光源。Sam Sprigg 稱，在 10000nit 顯示范圍下，這與 Quest 2 的體驗相同，沒有什么特別的地方。

但是，當亮度上升到 10000nit 時，他能感受到更明顯的亮度。展示 10000nit 光線時，演示切換到了海洋日落景觀。太陽穿過云層，光線打在海洋的波浪上，水面波光粼粼。然后，光線上升到了峰值 20000nit，畫面中有一個虛擬的太陽。Sam Sprigg 稱，他覺得自己仿佛看到了真實的太陽，因為光線實在太亮了。最后，太陽落山時，海浪發出了微弱的反光。這個演示令人印象深刻。

▲放置球體測試光源

Sam Sprigg 稱，他在 Starburst 中直視 20000nit 的光源可能跟盯著 60 瓦燈泡的感覺差不多。但是，VR 中的光源距離他的眼睛只有幾英寸，這個距離很近。他認為，這種亮度顯示可以為用戶帶來更加真實且富有沉浸感的體驗。

但是，Sam Sprigg 也指出，功率、熱量、外形是限制 VR 頭顯發展 HDR 技術的重要阻礙。他認為，我們可能還需要很長的時間，才能等到能夠輸出 20000nit 的成熟上市產品。

三、困難重重，VR 頭顯面臨十大技術挑戰

目前 Meta 雖然在 VR 頭顯上已經取得了一些技術進展，但仍然遇到了很多目前無法解決的技術瓶頸。在 SIGGRAPH 大會的演講中，Meta 顯示系統開發負責人 Douglas Lanman 為我們提供了一些參考方向——要想將 VR 體驗提升到新的高度，目前有十大挑戰亟待解決！

誰能率先攻破這些挑戰，誰就有望在愈演愈烈的元宇宙硬件入口搶奪賽中，爭得先機。

1、分辨率：Meta 開發 Butterscotch 原型機，致力提高分辨率

為了提高用戶的沉浸感，讓虛擬世界看起來更加逼真、清晰，VR 頭顯必須擁有更高的分辨率。目前的 VR 頭顯分辨率離人類視覺水平還非常遙遠。

Meta 表示，他們的初步目標是實現單眼 8K 分辨率和 60PPD（像素密度）。但是目前 Quest 2 只達到了單眼 2K 分辨率和 20PPD，距離這一目標還有較遠距離。

為了提高 VR 頭顯的分辨率，Meta 開發了專注探索分辨率的 Butterscotch 原型機。在這方面，高分辨率顯示器的開發和生產并不是難點，難點在于如何為高分辨率顯示器配備相應的計算能力。Lanman 指出，注視點渲染（Foveated Rendering）和云流送（Cloud streaming）兩種技術或許有助于提升計算能力，但是這兩種技術本身的研發難度也很大。

▲上面是普通模糊處理的 VR 效果，下面是注視點渲染技術模糊效果

2、視場角：VR 頭顯視場角比人眼小一倍

人類的平均水平視場角為 200 度，而目前大多數商用 VR 頭顯的水平視場角為 100 度。這意味著 VR 頭顯的視野范圍比我們在真實環境中看到的更窄。此外，在垂直視場角方面，VR 頭顯也有改進的余地。

視野越寬，VR 頭顯呈現的像素也越多。這就要求更高的功率和更多的廢熱（waste heat）。此外，視線范圍變寬后，視線范圍邊緣的圖像容易失真。因此，更寬的視線范圍需要更好的透鏡技術支持。并且，研究人員還要確保鏡頭和顯示器的構建方式不會增加 VR 頭顯的外形尺寸。

3、人體工程學（Ergonomics）：VR 頭顯佩戴舒適度不夠

目前大多數 VR 頭顯都會略顯 " 笨重 "，例如 Quest 2 的重量超過 500 克，其設備厚度（從面部突出的距離）達 8 厘米。這樣的設備顯然不會為用戶帶來很好的佩戴體驗。理想的 VR 設備應該更輕薄，能讓用戶舒適地長時間佩戴。

Pancake 透鏡和全息透鏡或許會對減小頭顯體積有所幫助，目前 Meta 的 Holocake 2 原型機正在往此方向探索，但其尚未發展到大規模生產的水平。

▲ " 太陽鏡 " 是 Holocake 1 原型機，透明的是 2016 年的 Oculus Rift

4、視力矯正顯示屏：還未找到成本低廉的視力矯正顯示屏

更好的 VR 頭顯應該具備視覺矯正功能，讓用戶不必在 VR 頭顯下還帶著常規眼鏡。這個問題可以通過特殊的鏡頭附件解決，但這不是理想的解決方案。最佳方案是頭顯的顯示器自帶視覺矯正功能，這樣頭顯設計師就不再需要考慮適配眼鏡等問題。

但挑戰就在于，如何才能找到一種制造成本低廉，且不會額外增加頭顯重量的解決方式呢？

▲具有視力矯正功能的鏡頭附件已經存在，但它們并不是理想的解決方案

5、變焦：Meta 原型機 Half Dome 可實現人眼變焦

在自然環境中，為了看清不同距離的畫面，人眼可以自然變焦。但在 VR 頭顯中，因為人眼與屏幕之間的距離沒有改變，所以人眼無法變焦，也無法看清遠近景物之間的差別。這其中存在視覺輻輳調節沖突（vergence-accommodation-conflict）問題。所以有時用戶會感到眼睛疲勞，甚至出現頭痛和嘔吐現象。

為了解決這個問題，Meta 的研究人員開發了一系列支持 " 漸進式視覺 "（progressive vision）的原型機 Half Dome。Half Dome 可以模擬不同的焦點平面，呈現出不同的模糊程度，從而幫助人眼在虛擬世界里調整焦距。

▲瞳孔會隨著物體距離變化

6、眼動追蹤：難以適配所有人的眼部情況

眼動跟蹤是虛擬現實中的一項關鍵技術。它是眾多其他重要 VR 技術的基礎，如變焦、畸變校正等。通過這項技術，用戶可以在虛擬世界中實現與其他用戶的眼神交流，擁有更加真實的社交體驗。

但問題在于，每個人都有不同的瞳孔形狀、每個人眼瞼和睫毛的生長情況也不同，所以目前眼動追蹤技術還無法很好地適配所有用戶。因此，Lanman 團隊將廣泛收集更多的用戶數據，以此升級眼動追蹤技術技術，努力讓它與更多人適配。

▲瞳孔的形狀因人而異，這對眼動追蹤技術來說是一個挑戰

7、畸變校正：Meta 研發失真模擬器，加快算法迭代速度

瞳孔的運動會引起圖像的失真，進而降低用戶的沉浸感，這種現象在配合變焦技術使用時尤其明顯。為了開發校正算法，研究人員必須在實物頭顯上進行調整測試，但生產頭顯可能會耗費數周甚至數月，這大大拖延了算法的迭代時間。

為了解決這個問題，Meta 研究團隊開發了一種失真模擬器（distortion simulator）。有了這種模擬器，無需生產測試頭顯和特殊鏡頭，研究人員就能測試校正算法。

▲紅色光線未校正，藍色光線是校正后的結果

8、高動態范圍（HDR）：Starburst 原型機峰值亮度為 20000nit

物理對象和環境的亮度遠遠高于 VR 頭顯，為了解決這個問題，Meta 創造了 Starburst 原型機。Starburst 的亮度峰值為 20000nit，是現存 Quest 2 的 200 倍。

Starburst 可以更真實地模擬封閉空間和夜晚的照明狀況，讓虛擬環境看起來更加真實。不過，目前 Starburst 很重，并且十分耗能。

Meta 認為，HDR 對視覺真實感的貢獻要大于分辨率和變焦，但這項技術距離實際應用最為遙遠。

▲ Starburst 原型機特寫

9、視覺逼真度（Visual realism）：透視（Passthrough）技術尚不成熟

更好的 VR 頭顯應該還能讓 VR 用戶與現實世界保持互動。VR 頭顯可以記錄真實環境信息并在虛擬現實中顯示為視頻圖像。這種稱為 " 透視 "（Passthrough）的技術已經在商用 VR 頭顯中實現，但其質量很差。例如，Quest 2 提供了一種黑白相間的透視模式，而 Meta 的即將推出的高端 VR 頭顯 "Quest Pro" 旨在追求更高的分辨率和彩色透視功能。

然而，VR 頭顯尚未實現物理環境的完美重建。透視技術捕捉到的畫面視角在空間上與眼睛存在偏差，用戶在長時間使用時可能會感到不適。所以，Meta 正在研究人工智能輔助的視線合成，該技術能實時生成視角正確的視點，并具有高視覺保真度。

此外，Meta 還在研究一種 " 反向透視 "（Reverse Passthrough）功能，該功能可以讓現實用戶看到 VR 用戶的眼鏡和臉部，進而進行眼神交流。但是目前這項技術在視覺上不協調、不自然，還遠未為市場做好準備。

▲左邊是一個 Oculus Rift，它擋住了 VR 用戶的視線，右側是早期的反向 " 透視 " 原型機

10、面部重建：Meta 開展 " 虛擬化身 " 項目研究

Meta 希望未來人們在虛擬環境中見面就像在現實中一樣真實。為此，Meta 正在展開了名為虛擬化身（Codec Avatars）的研究項目，該項目致力于為人們在虛擬環境中創建 3D 數字化身。

目前，VR 頭顯可以實時讀取 VR 用戶的面部表情，并將其轉移到虛擬現實中。據悉，即將推出的 Quest Pro 或將成為 Meta 第一款提供面部跟蹤（face-tracking）的設備。

▲ Quest Pro 可以識別面部表情并將其傳輸到 VR 設備上

結語：Meta 的 VR 技術已有突破，但仍需繼續攻克技術難題

Lanman 在 SIGGRAPH 2022 上提出了目前 VR 頭顯面臨的十大挑戰，我們可以從中看到目前 Meta 取得的進展和尚未解決的問題。Meta 發布了四款原型機，目的是解決 VR 頭顯在分辨率、變焦、輕薄外形、HDR 四個方面的問題。這四款原型機各有所長，在各自領域獲得了初步的技術進展。此外，Meta 開展了虛擬化身項目助力 VR 頭顯的面部重建功能、開發了失真模擬器加速算法迭代。

這些原型機展現了現在 Meta 在 VR 單項技術領域能達到的最高水準，但這些技術遠遠不足以打造出一個成熟的 VR 頭顯。目前仍存在一些 Meta 暫時無法攻克的技術問題。例如 VR 頭顯的視場角比人眼更窄、VR 頭顯佩戴的舒適度不夠、VR 頭顯還未配備視力矯正功能、VR 頭顯的眼動追蹤技術不能適配所有人、VR 頭顯的 " 透視 " 技術尚不成熟等等。

細數目前 Meta 在 VR 頭顯上的探索，我們可以發現，Meta 已經在 VR 頭顯探索的路上走了很長的一段距離。但是，Meta 離這條路的終點還很遠。目前，VR 頭顯相關的各項技術都在積極開發中，但這些技術還遠未成熟，離上市商用還有一段距離。從這個角度來看，VR 的爆發潮還很遠。