從標(biāo)準(zhǔn)構(gòu)建到編碼實(shí)現(xiàn)，MV-HEVC 已具備產(chǎn)業(yè)化基礎(chǔ)。隨著 Vision Pro 等終端設(shè)備的推出，這項(xiàng)技術(shù)正在從幕后走向前臺(tái)，成為沉浸視頻大規(guī)模落地的關(guān)鍵一環(huán)。本篇將聚焦 MV-HEVC 在 Apple 全鏈路中的具體應(yīng)用，并展望其在更多平臺(tái)的實(shí)踐進(jìn)展。

Apple Vision Pro 強(qiáng)大的硬件與顯示能力，為 MV-HEVC 的實(shí)際落地提供了理想舞臺(tái)。iPhone 15 Pro 等配備雙攝像頭的設(shè)備，可直接拍攝并生成符合 MV-HEVC 規(guī)范的3D視頻：主攝畫(huà)面存儲(chǔ)為主視圖，另一攝像頭的畫(huà)面裁剪放大后作為副視圖，僅以較低比特率存儲(chǔ)兩路畫(huà)面間的差異。Vision Pro 則利用硬件解碼器同時(shí)解碼 MV-HEVC 的多層視頻，為左右眼提供高分辨率畫(huà)面，并配合頭部追蹤和空間音頻實(shí)現(xiàn)沉浸式觀感。

圖7 iPhone15 Pro及后續(xù)機(jī)型支持使用MV-HEVC存儲(chǔ)空間視頻，以便在Vision Pro上3D觀看[5]

在播放時(shí)，Vision Pro 可呈現(xiàn)相當(dāng)于每只眼 4K 甚至更高分辨率的內(nèi)容，并根據(jù)頭部轉(zhuǎn)動(dòng)實(shí)時(shí)更新視角，讓用戶“環(huán)顧四周”。這種 180° 或更廣視角的3D視頻，在全景拼接與視角切換時(shí)仍保持清晰流暢，得益于 MV-HEVC 的高效壓縮和 Vision Pro M 系列芯片的強(qiáng)大算力。測(cè)試顯示，Vision Pro 理論上甚至可以播放高達(dá)單眼7.5K分辨率的3D視頻（總像素約15K）@30fps的超高規(guī)格MV-HEVC內(nèi)容，在700Mbps碼率下仍可穩(wěn)定播放[2]，并通過(guò)空間音頻實(shí)現(xiàn)畫(huà)面與聲場(chǎng)的方向聯(lián)動(dòng)，帶來(lái)逼真的臨場(chǎng)體驗(yàn)。

除了 Vision Pro 之外，MV-HEVC 技術(shù)也在其他設(shè)備與平臺(tái)中得到廣泛應(yīng)用。例如，NVIDIA 在其 Video Codec SDK 13.0 中引入了對(duì) MV-HEVC 的支持，使其能夠高效編碼 3D 視頻內(nèi)容。該方案通過(guò)多視角預(yù)測(cè)與高效壓縮，顯著降低雙目視圖視頻的碼率開(kāi)銷，并廣泛應(yīng)用于 AR/VR 等沉浸式場(chǎng)景中，進(jìn)一步提升了終端設(shè)備在處理復(fù)雜視角切換時(shí)的流暢性和畫(huà)面質(zhì)量[11]。

圖8 NVIDIA Video Codec SDK 13.0 中對(duì) MV-HEVC（多視圖高效視頻編碼）的實(shí)現(xiàn)[11]

此外，國(guó)內(nèi)的音視頻團(tuán)隊(duì)也在逐步集成對(duì) MV-HEVC 標(biāo)準(zhǔn)的支持，主要面向3D視頻內(nèi)容的生產(chǎn)與分發(fā)場(chǎng)景。借助該技術(shù)，開(kāi)發(fā)者能夠在同一幀中存儲(chǔ)多視角畫(huà)面（如左右眼視圖），不僅提升了編碼效率，也降低了傳輸帶寬需求，為移動(dòng)端或小型設(shè)備上的3D播放提供了更高性價(jià)比的技術(shù)路徑[12]。

圖9 國(guó)內(nèi)團(tuán)隊(duì)逐步開(kāi)始新增對(duì)MV-HEVC編碼的支持[12]

來(lái)源: 中移科協(xié)