作者：千芯科技 陳巍
在WWDC 2023 開(kāi)發(fā)者大會(huì )上，蘋(píng)果宣布了其操作系統和產(chǎn)品的一系列升級。但最大亮點(diǎn)是Apple Vision Pro，蘋(píng)果的首款混合現實(shí)（Mixed Reality，MR，即VR+AR）設備，一經(jīng)發(fā)布就成為世界熱議的焦點(diǎn)。
“今天標志著(zhù)計算技術(shù)新時(shí)代的開(kāi)端�！碧O(píng)果CEO庫克說(shuō)，“如同 Mac將我們帶入個(gè)人計算時(shí)代，iPhone將我們帶入移動(dòng)計算時(shí)代，Apple Vision Pro將帶我們進(jìn)入空間計算時(shí)代。
1. 空間計算
空間計算是麻省理工學(xué)院Simon Greenwold 在其2003 年的論文中引入的一個(gè)術(shù)語(yǔ)�？臻g計算的實(shí)用化建立在人工智能 (AI) 、計算機視覺(jué)、芯片與傳感器的技術(shù)進(jìn)步之上。典型的空間計算包括自動(dòng)化倉儲、自動(dòng)駕駛、工業(yè)制造、教育培訓、游戲娛樂(lè )等應用場(chǎng)景。
例如在自動(dòng)駕駛領(lǐng)域，通過(guò)多傳感器融合和多模態(tài)計算，來(lái)識別周邊環(huán)境、移動(dòng)物體和人就是典型的空間計算。通過(guò)更強的算法和芯片，車(chē)輛就可以挑戰更復雜的地形和駕駛場(chǎng)景。
空間計算市場(chǎng)的年復合增長(cháng)率為18.3%（來(lái)源：http://market.us）
空間計算可以用人工智能、物聯(lián)網(wǎng)、增強現實(shí)等技術(shù)取代舊場(chǎng)景的計算。據國外市場(chǎng)研究機構評估，新技術(shù)進(jìn)步的引入、智慧城市項目的發(fā)展以及物聯(lián)網(wǎng)/車(chē)聯(lián)網(wǎng)滲透率的不斷提高，空間計算解決方案的需求會(huì )產(chǎn)生18.3%的年復合增長(cháng)率。
3自由度與6自由度對比（來(lái)源：Qualcomm）
MR 感知和重建現實(shí)使用SLAM技術(shù)來(lái)完成，該技術(shù)經(jīng)常使用在自動(dòng)駕駛和機器人領(lǐng)域�；赟LAM技術(shù)掃視周?chē)h(huán)境信息， 使用二維圖像構建三維空間。
據稱(chēng)Apple Vision Pro 具備6自由度（6 DoF- Degree of Freedom）級別，用戶(hù)視角在虛擬場(chǎng)景中不僅可以在俯仰、偏擺及翻滾三個(gè)維度旋轉，用戶(hù)的身體還可以在前后、上下、左右三個(gè)互相垂直的坐標軸上進(jìn)行運動(dòng)。
典型的3自由度與6自由度XR產(chǎn)品（來(lái)源：Raddit）
傳感器處理芯片R1
Apple Vision Pro的核心芯片包括傳感器處理芯片R1和計算芯片M2。除了這兩顆核心芯片外，Apple Vision Pro還具有17個(gè)傳感器、6個(gè)麥克風(fēng)和兩塊4K級別的Micro LED作為顯示。
據蘋(píng)果稱(chēng)，新的R1芯片可減少 VR 中的暈動(dòng)癥，其多模態(tài)處理時(shí)間僅為 12 毫秒。R1芯片是首次在蘋(píng)果產(chǎn)品家族中正式亮相，目前披露的消息還很少。
R1與M2是Apple Vision Pro的核心處理器（來(lái)源：Apple）
在iOS 13 中的代碼，早就揭示了這一新的協(xié)處理器的存在。R是其研發(fā)代號“Rose”的簡(jiǎn)寫(xiě)，當然我們也可以猜測R也代表了Reality。Rose 協(xié)處理器的第一個(gè)迭代版本 R1 (t2006) 有點(diǎn)類(lèi)似于 Apple 的 M 系列運動(dòng)協(xié)處理器，可以計算設備在空間中的位置，其核心功能是從主系統處理器中卸載大量的傳感器數據處理工作。
R1架構與周邊連接估計（作者團隊繪制，轉載請注明來(lái)源）
早先的Apple M系列運動(dòng)協(xié)處理器可以在系統主芯片休眠時(shí)，持續收集、處理和存儲傳感器數據的功能，方便應用程序在設備啟動(dòng)時(shí)檢索數據。這減少了設備的功耗并延長(cháng)了電池壽命。我們猜測R1處理器也有類(lèi)似的功能。
R1 的特別之處在于比之前的運動(dòng)協(xié)處理器接入了更多的傳感器，具備更強的處理能力，以生成更準確的設備位置圖。R1處理器目前可集中處理來(lái)自陀螺儀、加速度計、氣壓計和麥克風(fēng)的多模態(tài)數據，并增加了慣性測量單元 (IMU)、藍牙 5.1、超寬帶 (UWB) 和攝像頭（包括運動(dòng)捕捉和光學(xué)跟蹤）傳感器數據的多模態(tài)計算支持。其中藍牙 5.1 的到達角 (AoA) 和出發(fā)角 (AoD) 功能可實(shí)現藍牙測向。
考慮到R1芯片對接的傳感器需要實(shí)時(shí)計算，可以預估R1是一顆低功耗低延遲的多模態(tài)傳感器融合計算芯片，其上定制了傳感器常用的算子電路，并且具備N(xiāo)PU來(lái)支持基于A(yíng)I的傳感器算法。
M2主要指標（來(lái)源：http://notebookcheck.net）
應用處理器M2芯片
Apple M2 是 Apple 的片上系統 (SoC)，之前已經(jīng)用于MacBook Air 和 MacBook Pro 13。
M2架構（來(lái)源：蘋(píng)果）
M2具有8 個(gè)CPU內核，分為4個(gè)性能內核和4個(gè)能效內核。性能內核提供 192 KB 指令緩存、128 KB 數據緩存和 16 MB 共享二級緩存。效率內核要小一些，僅提供 128 KB 指令緩存、64 KB 數據緩存和 4 MB 共享緩存。效率內核時(shí)鐘頻率為2.4 GHz，性能內核的時(shí)鐘頻率則到達 3.5 GHz。另外M2 中的集成顯卡提供8-10 個(gè)內核以及 3.6 TFLOPs 的峰值算力。此外，SoC 集成了一個(gè)具有 16 TOPS 峰值性能的高速16 核神經(jīng)網(wǎng)絡(luò )加速器（屬于DSA，用于 AI 計算加速）。
M2算是Vision Pro里的電老虎了，占據了主要的功耗。
M2與M1對比（來(lái)源：http://anandtech.com）
M2特色是其采用統一的 CPU 和 GPU 內核內存架構，支持高達 24 GB LPDDR5-6400，帶寬高達 100GB/s。內置于 M2 芯片中的統一內存架構意味著(zhù) CPU、GPU 和其他處理器組件無(wú)需在彼此之間重復復制數據，并且能夠訪(fǎng)問(wèn)統一的數據池。
(Blue=GPU, Yellow=P-CPU, Green=E-CPU, Red=Neural Engine, Pink=System Level Cache , Orange=De-/Encode。來(lái)源：High Yield)
ICVIEWS智庫專(zhuān)家
陳巍博士
千芯科技董事長(cháng)，存算一體/GPU架構和AI專(zhuān)家，高級職稱(chēng)。中關(guān)村云計算產(chǎn)業(yè)聯(lián)盟、中國光學(xué)工程學(xué)會(huì )專(zhuān)家。曾任AI企業(yè)首席科學(xué)家、存儲芯片大廠(chǎng)3D NAND設計負責人，領(lǐng)軍大陸首個(gè)3D NAND閃存設計團隊、eFlash IP核編譯器、RISC-V/x86/arm兼容AI加速編譯器，相關(guān)工作對標三星、臺積電、SST。畢業(yè)于清華大學(xué)，中美發(fā)明專(zhuān)利與軟著(zhù)70+。 |
