1952年,新中國成立不到三年之時,第一次受邀參加奧運會。當中國奧運代表團幾經波折抵達赫爾辛基后,他們做的第一件事,便是在奧運村升起五星紅旗。這一珍貴的歷史時刻通過影像得以記錄、保存,成了見證我國開啟奧運之路的珍貴回憶。然而,囿于當時的技術條件,原始版本的影像只能以黑白形式留存。隨著人工智能(AI)技術的快速發展,在“2024中國·AI盛典”上,我們得以看到這一珍貴時刻的彩色影像,栩栩如生、生動再現,每個動作、每張笑臉,仿佛一下把我們拉回到了當時的場景。

讓歷史穿越時空

在《1952奧運》視頻中,當鮮艷的五星紅旗高高揚起,當年輕的笑臉清晰重現,AI技術讓這一振奮人心的偉大時刻,穿越時空再一次栩栩如生地展現在我們面前。

“很多珍貴經典影像受到當時拍攝條件、保存條件的限制,存在劃痕、霉斑、分辨率不足等問題,不符合當前觀影的質量要求。傳統人工+工具的修復方法一方面效率低下,另一方面質量達不到要求?!碧罩窳直硎?。

AI技術的快速發展為這一問題提供了新的“解”。

通過深度學習與智能算法,AI技術為高質量、高效率的經典影像修復提供了可能。結合畫質智能增強、色彩還原、音頻同步修復等手段,AI技術能夠助力經典影像煥然一新。

在中央廣播電視總臺音像資料館主導推進的“智能影像修復任務”中,陶竹林團隊與南京理工大學唐金輝團隊合作參與了多項經典影像修復工作,《1952奧運》視頻便是其中濃墨重彩的一筆。

“修復過程包括圖像修復、圖像上色、視頻增強等階段,最終實現了圖像和視頻質量的極大提升?!碧罩窳值牟┦垦芯可云G介紹道。

具體而言,在圖像修復階段,針對老舊黑白圖像中普遍存在的噪聲、劃痕及臟點問題,采用先進圖像復原技術完成了圖像的去噪、去劃痕和臟點處理,有效提升了圖像的清晰度和結構的完整性。

在圖像上色階段,基于圖像修復基礎,引入自動上色方法對圖像進行初步著色,并通過人工優化,修復色彩不準確、邊緣溢色等問題,最終實現真實感強、視覺效果自然的彩色圖像生成。

在視頻增強階段,首先基于上色后的首尾幀圖像,通過顏色傳播方法實現整段視頻的自動上色,確保顏色在時間維度上的連續性和一致性。隨后采用深度學習方法完成視頻的超分辨率重建,提升視頻整體清晰度,從而實現完整視頻的視覺增強。

“通過上述策略和方法,我們有效地在動態視頻場景中實現了顏色的連續追蹤與準確匹配,確保如旗幟飄動、人物行進等變化過程的色彩保持一致;同時,實現了特定區域的定向上色處理,滿足對重要物體或場景的個性化修復需求,帶來了更高的還原度與藝術表現力?!碧罩窳纸榻B道。

讓優秀文化鮮活留存

除再現重要歷史時刻,AI技術還能助力經典影視作品活力煥新。“四大名著”是我國文學史中的經典作品,也是世界寶貴的文化遺產之一。根據“四大名著”改編的經典影視作品不勝枚舉,從20世紀80年代一直跨越至今。

這些經典的影視作品成為一代又一代人的難忘記憶,也成為世界了解中國文化的重要窗口。然而,隨著拍攝技術的不斷精進,以及熒幕分辨率的逐漸提升,很多經典影像顯得“格格不入”,無法滿足當今高質量的觀影要求。

如何讓經典影像跟上時代的腳步,更好地實現文化傳承與發展?AI技術給出了答案。

“AI助力經典影像修復的具體步驟包括總結分析、模型搭建、數據訓練、實際修復等幾個階段”,翟艷介紹。

操作過程中,首先需要對影像中常見的退化問題進行系統性總結,包括圖像噪聲、劃痕、模糊和分辨率低等。接著,基于這些分析構建模擬真實退化過程的退化模型,為后續訓練提供有效的數據支撐。在此基礎上,調研當前主流圖像修復技術,優選基于擴散模型的圖像生成方法,并結合所構建的退化數據,對模型進行有針對性的重新訓練,從而更好地適應經典影像的修復需求。

“比如,圖像修復環節主要采用擴散模型去除噪聲和劃痕,并結合超分辨率重建技術提升圖像清晰度與細節表現力。在視頻修復方面,則引入結合運動特征的擴散模型,有效處理視頻中不同幀之間變化帶來的時序不一致問題,同時實現去噪與劃痕修復;在此基礎上,根據修復目標,進一步集成上色算法與分辨率增強模型,實現視頻在視覺效果與色彩層次上的整體提升。”陶竹林補充道。

團隊正在參與開展的“四大名著”修復工作便為經典影像的清晰重現提供了解決方案。

以《西游記》為例,為實現影像整體視覺質量的提升,團隊針對不同類型片段的結構特征,設計并實現了一套差異化的視頻修復策略。

具體而言,將影像拆分成以背景場景為主和以人物面部細節為主的視頻片段,采取差異化的修復策略,更好地滿足不同的修復需求。

對于以背景場景為主的視頻片段,重點關注幀間時序一致性,通過對連續幀之間的變化規律進行建模,實現畫面在運動狀態下的穩定還原,有效避免閃爍與結構漂移問題;而對于以人物面部細節為主的片段,則側重于提升圖像的紋理細節和真實感,使修復結果在視覺上更具表現力。

此外,“為了進一步改善整體修復效果,我們對視頻內容進行分段處理,并結合片段拼接與融合技術,有效解決了統一模型難以兼顧不同片段特征的問題,確保整段視頻在風格與質量上的一致性?!碧罩窳盅a充道。

在AI大模型技術快速發展的背景下,團隊還據此整理并建立了面向特定歷史影視作品的近景圖像數據集,為模型訓練提供了極具代表性的訓練樣本。

讓紅色基因得以傳承

經典影視作品還承載著傳承優秀文化,賡續紅色精神的重要使命,其中,20世紀60年代的經典電影作品《雷鋒》便是這樣一部激勵一代又一代人成長的杰出作品。

原版影片以黑白方式呈現,而經過AI修復后的彩色4K版影片,更好地還原了當時的場景與人物細節,目前已經在多個地方點映。

在修復過程中,團隊采取了簡單鏡頭與復雜鏡頭差異化的修復方案?!霸诓糠趾唵午R頭的處理中,針對自然景物、讀書看報等靜態場景,采用常規圖像上色算法即可實現較高質量的著色,實現邊緣過渡自然、無明顯色彩異常的穩定效果?!钡云G介紹道,“而針對復雜鏡頭,普通上色方法卻容易出現顏色漂移、邊界溢色等問題?!?/p>

對此,對于光線昏暗、室內結構復雜、人物較多或場景發生漸變的鏡頭,團隊創新提出對每一段片段提取關鍵幀進行精細化上色處理的方法,同時,結合幀間插值技術提升時序一致性,有效緩解了錯上色與漏色現象,實現了整體視覺效果的顯著提升。

修復過程中的另一個難點,則是如何處理人物快速運動或人物數量眾多等高動態鏡頭?!拔覀冊谠黾雨P鍵幀數量的基礎上,引入了人工修復機制,對易被忽略的細節區域(如快速移動的人物輪廓、遮擋區域)進行手動精修,確保色彩還原的準確性與視覺自然度?!碧罩窳纸榻B。

AI助力經典影像修復
仍存在諸多難點

“合理利用AI技術,不但可以讓大家重溫經典,接受愛國主義教育熏陶,還可以更好地傳承中華優秀文化,增強文化自信。”陶竹林表示。然而,盡管AI助力經典影像修復已經實現了顯著發展,但仍面臨諸多挑戰。

比如模型的泛化能力不足。當前模型大多依賴人工設計或理想化的退化模擬,難以全面覆蓋經典影像的真實退化情況,導致在實際應用中泛化能力不足。效率和精度的平衡問題同樣凸顯。對于高分辨率圖像的修復需要處理大量數據,對計算資源提出了很高的要求。此外,還面臨AI大模型快速發展的通用問題,數據獲取難度大。高質量的訓練數據集對于基于深度學習的方法尤為重要,但獲取大規模、標注精確的數據并非易事。

對此,陶竹林認為,影像修復領域未來將在作用機制、數據訓練、技術融合等方面實現進一步發展。就作用機制而言,深度學習應與傳統修復方法相結合,各自發揮優勢;同時,針對不同用戶需求和場景特點的個性化修復解決方案也尤為重要。就數據訓練而言,應引入大規模真實退化影像數據,進一步提升AI模型對于復雜退化的適應性和泛化能力。就技術融合而言,借助大數據與云計算,能夠更高效地處理大規模影像數據,從而實現修復效果的進一步提升。

采訪專家:陶竹林(中國傳媒大學人工智能系副教授)

撰文:記者 賈朔榮

編輯:段大衛

來源: 北京科技報