導語

在蘋果全球開發者大會（WWDC23）主題演講中，蘋果正式發布了首款頭顯設備Apple Vision Pro。該設備配置了單眼4K分辨率、2300萬像素視覺顯示效果，并搭載M2主芯片，運用眼動追蹤、12ms M2P外顯時延等尖端技術，驚喜不斷、遠超預期，可謂“人類在這場偉大的‘元宇宙登月工程’中，邁出了一大步”。

從Macbook到iPhone，從數字音樂到無線耳機，蘋果總是扮演著既有行業的“顛覆者”的角色，并努力成為新一代數字消費產品的“開創者”。Apple Vision Pro的橫空出世，無疑為XR行業帶來了又一波熱點，可以預見的，它同樣會掀起新一輪產業發展的市場和投資機會：從產業鏈看，電池、光學、材料等產業鏈上下游元器件或模組；從整機層面看，果鏈的傳導式發展、同行的入局競爭將加速XR行業發展；而從產業發展的技術支撐看，基于頭顯設備生態的應用和內容制作以及算力網絡等底層基礎設施等將迎來需求增長。

今天，磐霖Recommend帶來PPIO聯合創始人王聞宇的最新文章《深度解讀蘋果首款MR眼鏡及其對元宇宙技術路線的啟示》，一起來看看蘋果頭顯設備中的前沿技術和硬件配置，以及元宇宙產業中無法回避的算力需求的未來趨勢。

核心觀點如下：

1、Apple Vision Pro將引領人類進入一種新的生活形態，讓人類距離元宇宙再進一步。此前的VR設備（Oculus、Pico）可類比為“游戲機”，主要用于游戲和視頻。而Vision Pro的定位更像移動時代的“手機”，可以用于工作和生活的方方面面。

2、未來，元宇宙世界的第一要素是身臨其境感，即完全把人類的視聽覺包裹在沉浸世界之中。Apple Vision Pro采用性能強勁的M2芯片并搭載前沿技術，有助于實現這一“身臨其境感”，但如果要更進一步，顯示出“無限逼近真實”的實時3D畫面，則需要采用云端渲染技術，即云端算力+本地算力相結合。

3、Apple Vision Pro將開啟空間計算時代，人類將從移動計算時代進入空間計算時代。這繞不開邊緣云計算。以云渲染為例，邊緣云有利于突破網絡時延瓶頸，即將云計算的算力從千里之外放到我們的社區周邊，分布式應對高并發、大帶寬，真正做到低時延。PPIO正通過匯聚邊緣碎片化算力資源，提供超低時延的邊緣計算服務。

?

我常常會思考宇宙、人類、生命、技術之間的關系，在人類文明誕生以來的5000年中，有誰想過創造宇宙（完全逼真的元宇宙世界），創造數字生命的事情（具有人類智慧的數字人），而如今這種偉大的事業很有可能在我們這代人就能實現，或許在不久的將來，我們真的能夠打造一個充滿鮮活生命的‘唯心主義世界’，甚至每個人都能‘所想即所得’的創造自己的世界。

—— PPIO聯合創始人王聞宇

?

【全文分享】

Apple Vision Pro

在6月6日凌晨的蘋果WWDC大會上，第一次正式發布了蘋果的MR設備，Apple Vision Pro，將于明年早些時候上市。

這次Apple Vision Pro定位是進入空間計算時代，人類將從移動計算時代進入到空間計算時代。

Apple Vision Pro無縫地將數字內容與您的物理空間融為一體。這次最偉大的創舉是把VR和AR統一了，這是MR設備的定位（Mixed Reality，混合現實），通過超高清攝像頭把現實畫面通過12ms的延遲原封不動地展示給人眼，還能疊加想顯示的任何東西，創造出一種新的交互環境。這和之前的VR有著本質的區別，虛擬現實是一種通過計算機生成的仿真環境，讓用戶可以沉浸其中，感覺自己身臨其境。之前Facebook的Oculus Quest系列，國內字節跳動的Pico系列，都屬于VR設備。

Apple Vision Pro可以簡單地通過使用您的眼睛、手和聲音來進行操作。關鍵是不再需要手柄了，操作上大大簡化。之前的VR設備，都是需要雙手拿著手柄來進行交互。

在這里，可以看出一個關鍵的區別，之前的VR設備本質上類比“游戲機”，主要用于游戲和視頻，難以用于工作和生活的方方面面，因此購買的人不少，但使用率不高，往往嘗鮮之后就不用了，所以被很多人稱為超級禮物。而這次蘋果的Apple Vision Pro，定位更像移動時代的“手機”，可以看見現實世界，可以帶著去任何地方，可以用于工作和生活的方方面面。這才可能引領人類進入一種新的生活形態。

不過，這次唯一的遺憾就是售價有點貴，$3499美元，差不多人民幣25000元。但是我相信果粉的號召力，還是不少人會購買。另外這次的產品叫Pro，按慣例，后面推測應該會推出價格更低的Air系列產品。

從官網看，蘋果依然用戶視覺優先，主打用戶體驗功能：

• Apps，釋放您的桌面。
• 娛樂，終極劇院。
• 照片和視頻，重新沉浸在當下的時刻中。
• 連接，達成共識，在同一個空間中。

從設計的視角看看，Apple Vision Pro是幾十年設計高性能移動和可穿戴設備的經驗的結晶，是蘋果有史以來最具雄心的產品。Vision Pro將極其先進的技術融入優雅、緊湊的外觀中，每次戴上它都能帶來令人驚嘆的體驗。

再說說操作系統：

• VisionOS 蘋果首個空間操作系統。面向空間計算的交互設計：VisionOS基于macOS、iOS和iPadOS的基礎上構建，實現了強大的空間體驗。您可以用眼睛、手和聲音來控制Vision Pro，交互感覺直觀而神奇。只需注視一個元素，用手指敲擊選擇，使用虛擬鍵盤或語音輸入進行打字。
• 應用程序躍入生活。在VisionOS中，應用程序可以填充您周圍的空間，超越顯示屏的邊界。它們可以在任何位置移動，按照理想的尺寸進行縮放，對房間的光線做出反應，甚至投射出陰影。
• 與周圍的人保持聯系。Vision Pro幫助您與周圍的人保持聯系。EyeSight可以顯示您的眼睛，并讓附近的人知道您何時在使用應用程序或完全沉浸在某種體驗中。當有人靠近時，Vision Pro會同時讓您看到對方，并向他們展示您的眼睛。

硬件配置和未來元宇宙的終極體驗

現在來說說Apple Vision Pro的硬件配置：每只眼睛擁有比4K電視更多像素，迄今最先進的空間音頻系統響應迅速、精準的眼球追蹤，一套復雜的傳感器陣列，革命性的雙芯片性能，激光雷達掃描儀和TrueDepth攝像頭，經過特別設計的熱管理系統，紅外泛光燈與外部傳感器協同工作，隱私與安全。

根據以上的硬件硬件配置，Apple Vision Pro帶領人類距離元宇宙又進了一步。

未來元宇宙世界的最重要體驗，第一要素是身臨其境感，即完全把人類的視聽覺包裹在沉浸世界中。元宇宙的終極體驗是，人類能在半虛擬的世界中，看到和真實世界一樣清晰的體驗，也就是類似視網膜級的體驗效果。

怎么做到？首先要理解人眼的結構。

這里有兩個重要的名詞：

1. PPD?(Pixels Per Degree)：每度像素數，是每度視野內所包含的像素數量。較高的PPD值意味著更高的圖像分辨率和更細膩的視覺細節。此指標是從用戶的視角來衡量的，人眼的PPD是多少呢，根據多項實驗證明，視網膜分辨率大概是60PPD，即每度60像素。
2. FoV?(Field of View)：視域/視場角，這是指用戶在VR設備中可以看到的視場角度，通常包括水平視野和垂直視野。更寬闊的FoV可以提供更廣闊的視覺體驗，使用戶更容易沉浸在虛擬環境中。

但是人類的FoV是多少呢？實驗證明，人眼有多個視域。

1. 注意力視域?(Attention Field of View)：這是人眼在一次視覺經驗中真正關注和處理詳細信息的視野范圍。它對應于你在看一個物體或場景時，能夠清楚地看到和關注的區域。例如，當你閱讀這段文字時，你的注意力視野就集中在你正在閱讀的單詞上。
2. 單眼舒適視域?(Comfortable Field of View for one eye)：這是指在不移動眼球的情況下，眼睛能舒適地看到的視野范圍。
3. 單眼通常視域?(Typical Field of View for one eye)：這是指眼睛在輕微移動眼球的情況下（即不需要轉動頭部或身體）可以看到的視野范圍。
4. 單眼最大視域?(Maximum Field of View for one eye)：這是指眼睛在極限情況下，即在眼球轉動到極限位置并加上周圍的周邊視覺時，可以看到的最大視野范圍。

視域和不同人體質是不一樣的，下表是不同視域對應的分辨率和像素：

通常，VR/MR設備會采用單眼通常視域來設定，如果要做完全的視網膜級體驗，差不多要做到8K多一點的分辨率。

目前蘋果公司還沒有具體公開分辨率和FoV視場角，但是公開了單眼高達4K，2300萬像素，有其他資料提到“顯示系統使用微型OLED，以便Apple可以在iPhone像素的空間中放入44個像素。每個像素寬7.5微米，有2300萬像素分布在兩個郵票大小的面板上”，已經遠遠超越了單眼舒適視域，遠超了市場上大多數競品。

另外，說說眼動追蹤技術。

• 菜單交互操作：有了眼動追蹤，可以用更加自然簡潔的方式，執行類似上下切換和選擇確定的動作。
• 注視點渲染：眼動追蹤能讓你所注視的畫面區域顯示清晰，弱化非注視區域的顯示清晰度。這樣可以大大降低算力的消耗，其實人眼對注意力視域的要求是非常清晰的，其他部分要求不高。人在精力非常集中的時候，注意力視域只有10度。

如果結合眼動追蹤技術和注意力渲染，可以大大節省渲染算力的開銷，如果采用云渲染的方案，在推流傳輸的時候可以結合分層編碼技術從而把視頻碼流率大大降低。

未來“元宇宙”可能的技術變化

這次Apple Vision Pro，其主機在性能上采用M2芯片，這和蘋果MacBook，iPad Pro采用了同樣的計算芯片，其性能也是非常強勁。蘋果的M2芯片在圖形性能方面通常表現出色，并且可以提供高效的圖形處理能力，但要渲染雙眼4K級游戲畫質還是存在巨大的挑戰。

云渲染依然是未來元宇宙終極體驗所必須的，即使Apple Vision Pro強大的M2芯片算力，如果要顯示出非常極致的實時3D畫面，還是需要采用云端渲染的技術方案?；贛2的算力，可以做很大的技術優化，采用云端算力+本地算力結合的方案做到很好的搭配。

蘋果M2芯片是蘋果公司的第二代自研芯片，用于Mac電腦，采用第二代5納米工藝，內部集成了200億個晶體管。在音視頻領域中，M2芯片的本地計算性能可以實現串流音視頻的超分辨率技術和視頻插幀技術。

• 超分辨率技術，是一種通過構建和學習更高分辨率的圖像或視頻，從而改善低分辨率輸入的圖像處理技術。這個技術可以用于圖像和視頻的增強，可以從模糊、低分辨率的圖像或視頻中生成清晰、高分辨率的輸出。近年來，深度學習已被廣泛應用于超分辨率技術，也是主流的超分辨率方案。這種方法通常使用神經網絡（如卷積神經網絡）來學習低分辨率和高分辨率圖像之間的映射關系。這種方法可以生成更高質量的圖像，但需要大量的計算資源和訓練數據。未來可以根據M2芯片16核神經網絡引擎，來設計硬件加速的超分辨率算法來支持實時超分辨率。

• 視頻插幀技術：在原始視頻的每兩幀畫面中增加一幀或多幀，縮短幀與幀之間的顯示時間，從而提升視頻的流暢度和清晰度的技術。未來可以根據M2芯片16核神經網絡引擎，來設計硬件加速的視頻插幀算法來支持實時超分辨率。

如果充分利用本地性能，不論是實時云渲染串流，還是音視頻播放，可能做到“1080P，60幀”的云端輸出；然后在本地通過超分辨率技術和插幀技術放大稱為“4K，120幀”的效果 。這樣會大大節約云端算力和網絡流量。另外，如果結合前面提到的眼動追蹤技術、注意力渲染技術和SVC編解碼技術，可以再大大降低云端算力和音視頻傳輸帶寬。這樣對基礎設施的要求會大大降低。

算力和未來

VR/MR設備最容易引起的問題就是眩暈，其本質是大腦感覺“被欺騙”，包括瞳距、景深等問題，但難解決的是M2P時延問題，即運動到光子的時延，當人的頭移動后，畫面是否能足夠低時延地反映效果，若是慢了，大腦會產生“被欺騙”的感覺，從而引發M2P時延。許多評測數據顯示，低運動狀態下，M2P時延不能高于20ms，高運動狀態下，M2P時延不能高于7ms。

Apple Vison Pro采用全新的R1芯片專門負責處理來自相機、傳感器和麥克風的輸入來獲取雙眼本來看到的視頻，以每12毫秒的速度流式傳輸圖像到顯示屏上；是完全服務低運動狀態下的M2P時延的，不會造成眩暈。

但是，在云渲染的解決方案中，涉及到環節就多了，包括編碼、解碼和傳輸環節，即使做到極限，也很難達到20ms的響應值，基本在30-100ms之間。最復雜的瓶頸在網絡時延環節，因為它和基礎設施有關，和非常分散的網絡環境部署相關，不是僅僅單方面的努力就能改善的。

因此，要用邊緣云的方案來解決這樣的問題，也就是要將算力放在靠近用戶的邊緣，在這可以分布式應對高并發、大帶寬、能真正地做到低時延。

只有將云計算的算力從千里之外放到社區周邊，才可能實現超低時延。

PPIO正通過匯聚邊緣碎片化算力資源，提供超低時延的邊緣計算服務。我們要和中心云形成良好的協同，邊緣云并非中心云的替代品，而是起到補足的作用，從而更好地解決客戶需求。

來源：PPIO