MV-HEVC 已在 Apple 沉浸視頻中率先落地，但從應用突破到生態普及，仍面臨硬件、內容、標準等多重挑戰。本篇將著眼未來演進路徑，探討新一代編解碼、AI增強與自由視角技術如何引領沉浸視頻邁向更高自由度與真實感的下一程。

MV-HEVC 為沉浸視頻奠定了堅實基礎，但要實現大規模部署和持續演進，仍需解決以下問題并關注未來趨勢：

1、計算與硬件資源挑戰

高分辨率3D視頻（如雙眼 8K 乃至每眼 7.5K）對設備算力、帶寬和功耗提出嚴苛要求。即使 MV-HEVC 提升了壓縮效率，每秒數百 Mbps 的碼流仍可能導致頭顯發熱、續航縮短。Apple Vision Pro 等高端設備率先提供多視角硬解碼和強大的芯片性能，但其他平臺和芯片廠商尚需跟進，這種不均衡的硬件支持將影響沉浸視頻的普及速度[2]。

2、內容制作與工具鏈

3D視頻的拍攝與后期仍是專業門檻。要獲得如 Vision Pro 所要求的超高清3D素材，往往需要多機位陣列或定制硬件，并進行繁瑣的同步、拼接與3D校正[2]。MV-HEVC 雖然在文件結構上便于多層編碼，但市場上對多視角編輯和編碼的軟硬件支持依然匱乏，主流工具正處于起步階段。這種“拍攝難、后期繁、編碼工具少”的現狀，無形中提高了內容制作成本。

3、存儲、傳輸與兼容性

沉浸視頻動輒百 GB 級的數據量，對存儲與網絡傳輸都是巨大挑戰。Apple 通過自有生態 (如 HLS 流媒體、MV-HEVC 封裝) 將沉浸視頻引入 Vision Pro，但第三方平臺在采用這一格式時需面對專利授權與標準兼容等問題。目前 MV-HEVC 針對老舊設備的后向兼容主要通過單視圖回退[7]，但要在更廣泛設備與平臺間統一布局，仍需產業協同與標準化升級。

4、下一代編解碼技術

隨著 5G/6G 網絡與新硬件的發展，對更高效率的編解碼方案需求愈加突出。H.266/VVC 在相同畫質下可比 HEVC 再降約 50% 碼率，也包含了多視角與可伸縮編碼的擴展接口。一旦硬解碼器普及，MV-VVC 或多視角 VVC 將成為自然演進方向，有望在相同帶寬下提供更逼真的沉浸視頻體驗[3]。

5、AI 驅動的視頻優化

AI 編解碼器與深度學習增強是新的研究熱點。雖然目前端到端 AI 編碼在解碼開銷上過高，短期難以直接用于消費級頭顯，但 AI 超分辨率、深度推斷、視角合成等技術已經展示出降碼率與提升視覺質量的潛能。未來隨著 NPU 性能提升，這些 AI 模塊有望在終端側實時運行，進一步優化沉浸視頻體驗[9]。

6、沉浸視頻的更遠未來

沉浸視頻的發展正從傳統的多視角編碼逐步邁向更高度自由的交互體驗。作為早期支持多視角視頻壓縮的標準，MV-HEVC 通過對多個視角圖像進行高效編碼，為3D和全景視頻的實現奠定了基礎。但在實現更沉浸、可交互的視頻體驗方面，它仍存在自由度受限等問題。為突破這一瓶頸，MPEG 推出了新一代沉浸式視頻標準 MPEG-I/MIV（MPEG Immersive Video），在繼承 MV-HEVC 多視角編碼思路的基礎上，進一步引入深度信息支持自由視點合成，可實現360°乃至 6DoF（六自由度）的觀看體驗，讓用戶真正“走進視頻”，在虛擬場景中自由移動、觀察[10]。要實現這種體驗，仍需依賴更高效的視頻壓縮技術和更強的終端渲染能力，但其所帶來的沉浸感與交互潛力，已成為未來視頻技術演進的重要方向。

從MV-HEVC在Apple沉浸視頻中的應用可以看出，多視角視頻編碼正從實驗走向實用，為大眾帶來前所未有的沉浸式體驗。眼下，Apple Vision Pro 已經證明了這一技術組合的可行性：用戶能夠在家中戴上頭顯，就如同身臨其境地觀賞8K 3D影片，甚至回味自己的3D生活片段。這背后離不開MV-HEVC對海量3D視頻數據的高效壓縮和傳遞。盡管仍有挑戰需要克服，但隨著產業生態日趨完善、下一代編解碼和AI技術的加入，沉浸視頻的品質和普及有望進一步提升。可以想見，不久的將來，我們將迎來更加逼真、生動的沉浸式影音內容——從目前的180°3D視頻，到360°全景，再到自由視角的虛實融合體驗。MV-HEVC 作為這一進程中的里程碑技術，已開啟了空間視頻的新篇章，而未來的精彩圖景正徐徐展開。我們正站在通往全面沉浸感娛樂的起點，技術的演進將不斷拉近虛擬與現實的距離。

【參考資料】

[1] 全新 Apple 沉浸視頻系列片與電影在 Apple Vision Pro 首播，Apple

[2] Apple Vision Pro Video Formats Explained, 360 Labs

[3] Multiview HEVC, Nokia

[4] How MV-HEVC makes spatial and multiview video more efficient, Andy Francis

[5] 在 Apple Vision Pro 或 iPhone 上錄制空間視頻，Apple

[6] Enabling Stereoscopic and 3D Views Using MV-HEVC in NVIDIA Video Codec SDK 13.0, NVIDIA

[7] HEVC-Stereo-Video-Profile, Apple

[8] H.267: A Codec for (One Possible) Future, Streaming Media

[9] Streaming Futures: AI Codecs, Next-Gen Audio, and VVC Advancements, Jan Ozer

[10] 149th meeting of MPEG, MPEG

[11] Enabling Stereoscopic and 3D Views Using MV-HEVC in NVIDIA Video Codec SDK 13.0，NVIDIA

[12] V265/TXAV1直播場景下的編碼優化和應用，騰訊云

作者：

中國移動咪咕公司北京研究院系統開發專員 劉東卓

審核：

教授級高工 中國移動集團級首席專家 咪咕公司技術管理部總經理兼北京研究院院長 李琳

中國移動咪咕公司北京研究院技術標準總監 單華琦

中國移動咪咕公司北京研究院技術項目總監 邢剛

中國移動咪咕公司北京研究院技術項目總監 羅云飛

中國移動咪咕公司北京研究院資深系統開發總監 馬里千

來源: 中移科協