還記得電影《頭號玩家》中令人神往的檔案館嗎?那里存儲著角色的三維虛擬影像,玩家不僅能觀看,更能自由切換任意視角,深入查看角色過去的記憶片段,仿佛親身置身于那段時空之中。

這曾經是科幻電影的想象,但如今,在科學家手中,這一構想正加速變為現實。

《FreeTimeGS:面向動態場景重建的時空無界自由高斯》研究論文截圖 本文圖片與視頻均由受訪者供圖

日前,浙江大學軟件學院聯合計算機學院帶來了創新成果——FreeTimeGS,這一全新的4D表示方法,標志著在3D技術廣泛應用之后,科學家們向新維度進軍的重要結果。相關研究成果已在國際頂級視覺會議CVPR 2025上發表。

4D究竟是什么?它又將如何改變人類的記錄方式?FreeTimeGS科研團隊核心成員、浙江大學軟件學院研究員彭思達接受了專訪。

從3D到4D

給場景裝上“時光引擎”

談及4D,人們最常問的問題往往是:它與熟悉的3D有何不同?

“簡單來說,4D就是在3D的基礎上,增加了一個時間維度。”彭思達解釋道,時間維度的加入,使得記錄下的不再是靜態的立體模型,而是能夠流暢“動起來”的完整時空連續體,“也就是可以‘動’的3D場景。”

FreeTimeGS科研團隊研究過程

如果把照片的基本構成單位比作“像素”,那么,在3D的世界里,畫面的基本單元就被稱為“高斯”。此次發布的FreeTimeGS技術,名稱意味著在自由時間下運用高斯,就是讓原本靜態的三維高斯,在時間維度上動起來。

這項技術的強大之處在于,其前所未有的自由度和保真度。用戶能從任意一個視角、任意一個時間點來重新觀察當時的場景,獲得如同在游戲中自由探索般的沉浸體驗。

攻堅克難

讓不可能變為可能

從2020年起,浙江大學求是特聘教授周曉巍和彭思達研究員團隊就踏上了研發4D技術的征途。這條探索之路布滿荊棘,尤其在追求極致動態細節還原上,挑戰巨大。

“一開始,渲染畫面的質量上不去,導致看到的動態畫面不夠流暢清晰。”彭思達說道,最大的難題出現在處理高速運動的物體上,“一旦人物高速運動,尤其是頭發、飄帶這類纖細、高速、無規則抖動的物體,畫面就會‘崩潰’,出現模糊或斷層。”

為了攻克這一難關,團隊進行了海量的嘗試和優化。他們設計百余組對比試驗,反復測試、調整和優化核心算法模型,連續數月。“最瘋狂的時候,團隊成員每天工作十幾個小時,基本上就是睡在實驗室了。”彭思達回憶道。

最終,他們成功設計出較為理想的運動方程,突破了高速動態細節精準建模的瓶頸,實現了對復雜動態場景的高保真度、連貫性還原。

前不久,由周曉巍教授和彭思達研究員團隊技術呈現的4D場景畫面上傳網絡后,迅速引發廣泛關注。

正如網友所言,在傳統攝影技術中,要在限定時間內完整、多角度地記錄下整個場景的每一個細節,“幾乎是不可能的事情”,而團隊正致力于將這種“不可能”變為可能。

未來已來

新的記錄形態正在落地

目前,構建一個4D場景仍需依賴專門的拍攝設備,尚未融入人們的日常記錄。那么,4D技術距離真正走進大眾生活還有多遠?

“這就像照相機剛發明的時候,必須去照相館專門搭一個籠子去拍攝,隨著技術的進步,以后一定會越來越便捷。” 彭思達說道。

他透露,團隊接下來的研究重點就是大幅降低設備的復雜程度,致力于推動技術的實用化落地,讓專業級的4D捕捉能力,未來能夠集成到更小巧、更智能的設備中。

試想,未來在演唱會現場,觀眾通過VR頭顯,可以任意切換舞臺視角,仿佛置身于明星身邊,獲得前所未有的觀演體驗。

4D技術的價值遠不止于娛樂。彭思達強調,在專業領域,它將成為強大的變革性工具。

如:

在運動科學領域,可對運動員的細微動作進行毫米級的多角度精準分析;

在醫療領域,能完整高保真地記錄復雜手術過程用于教學與復盤;

在考古和歷史紀實領域,則可永久性、全方位地保存珍貴的現場動態信息。

記錄方式不斷升級,為人類留存記憶提供了更廣闊的想象空間。從更宏大的視角看,記錄方式的每一次躍升,都極大地拓展了留存記憶的可能性。而一個能夠自由穿梭時空、重溫記憶細節的未來,正隨著4D技術的發展而日益清晰。

來源: 浙江大學、潮新聞