2024年2月16日，OpenAI在X（原Twitter）上發(fā)布了一條消息，隆重介紹了自己的新文本轉(zhuǎn)視頻模型——Sora。

這個模型可以生成最長60秒的視頻，并且在這個過程中，還能夠自己切換鏡頭，甚至給出特寫。下面這些，就是視頻提示詞譯文及Sora直接根據(jù)提示詞英文原文生成的“作品”。

一位時尚的女士走在亮著霓虹燈和廣告牌的東京街頭。她穿著黑色皮夾克、紅色長裙和黑色靴子，手提一只黑色包包。她戴著太陽鏡，涂著紅色口紅。她走路既自信又隨意。街道潮濕，地面上的水能夠像鏡面一樣反射色彩斑斕的燈光，路上有很多行人來來往往。

一段3D動畫，展現(xiàn)一種又小又圓的毛茸茸生物在一個充滿活力的、被魔法環(huán)繞的森林中探險。這種生物是兔子和松鼠的混合體，擁有柔軟的藍色皮毛和一條蓬松的帶有條紋的尾巴。它沿著一條閃閃發(fā)光的小溪跳躍，眼睛充滿了好奇。森林里充滿了魔法元素：有發(fā)光并能變換顏色的花朵，有紫色和銀色葉子的樹木，以及有類似螢火蟲的漂浮的光點。這個生物最終停下來與一群圍繞著蘑菇跳舞的小仙子玩耍。這個生物抬頭敬畏地看著一棵巨大發(fā)光樹木，這棵樹似乎是森林的心臟。

乍一看這些視頻，你可能會以為它們是專業(yè)拍攝團隊或者是動畫公司制作的視頻短片。在OpenAI的社區(qū)中，也不乏同樣感受的網(wǎng)友評論稱擔心Sora會搶走動畫師的飯碗。

圖片為機器翻譯后截取自：community.openai.com

還有一些人擔心這樣的技術(shù)會不會被用來偽造視頻，甚至被用來在法庭上作偽證。

圖片為機器翻譯后截取自：X

那Sora是如何生成這樣的視頻的？它真的無所不能，會搶走人類飯碗嗎？

Sora怎么生成視頻？

從2022年下半年開始，Midjourney、StableDiffusion之類的應用已經(jīng)可以根據(jù)文本提示詞生成對應的圖片了。在2023年9月，GPT4.0和DALLE3結(jié)合，也讓我們能夠用聊天化的方式生成、修改圖片。

AI生成視頻也不是什么新鮮事了。在這次的Sora發(fā)布之前，也已經(jīng)有一些視頻生成AI，比如Pika、Stablevideo、RunwayML等等。但與Sora相比，其他模型生成視頻的時長都比較短，而且在攝像機的運動、鏡頭切換等方面也要弱很多。

那么，Sora又是如何生成視頻的呢？

OpenAI發(fā)布了一份Sora的技術(shù)報告，在報告中提到“Sora是一個擴散模型”。

Sora是一個擴散模型，圖片來源：OpenAI官網(wǎng)

擴散模型本身很復雜，我們不去講具體的細節(jié)，僅僅通過一個簡單的例子，大致理解擴散模型的思路。

假如我們現(xiàn)在有一張狗狗的照片，我們可以一步步給這張照片增加噪點，讓它變得越來越模糊，最終會變成一堆雜亂的噪點。

添加噪聲與去除噪聲，圖片來源：參考資料[3]

假如把這個過程倒過來，對于一堆雜亂無章的噪點，我們同樣可以一步步去除噪點，把它還原成目標圖片，擴散模型的關(guān)鍵就是學會逆向去除噪點。

當然了，擴散模型不僅可以用來生成圖片，還可以用來生成視頻。比如，在Sora的技術(shù)報告中提到了，OpenAI對視頻數(shù)據(jù)進行了一些轉(zhuǎn)換處理，讓視頻數(shù)據(jù)可以直接用來訓練模型，從而讓Sora能夠直接根據(jù)提示詞生成視頻。

Sora對視頻數(shù)據(jù)進行轉(zhuǎn)換處理，圖片來源：OpenAI官網(wǎng)

Sora強大的視頻創(chuàng)作能力

按照OpenAI的說法，Sora“繼承”了OpenAI對文本的理解能力，能夠根據(jù)提示詞生成出高質(zhì)量的圖片和視頻，并且能夠?qū)σ曨l進行向前或者向后的拓展。比如，可以基于同一個視頻開頭繼續(xù)拓展，延伸出不一樣的結(jié)尾?；蛘呤菑牟煌拈_頭引入，最終匯聚到同一個結(jié)尾。

這三個視頻開頭最終都會走向同一個結(jié)尾，圖片截取自：OpenAI官網(wǎng)

另外，Sora不僅可以根據(jù)文本生成視頻，也可以直接輸入圖片或者視頻，對圖片和視頻進行編輯調(diào)整。

比如可以將這輛行駛在普通道路上的汽車變得更“賽博朋克”一些。

圖片截取自：OpenAI官網(wǎng)

另外，Sora也表現(xiàn)出了一些之前未曾想到的本領(lǐng)，比如它可以跟隨著對象移動鏡頭，并且在移動鏡頭轉(zhuǎn)換角度的時候，依然能保持周圍的景象的合理、完整。

“強大的Sora”仍有一些缺陷

雖然Sora展現(xiàn)出了強大的能力，但現(xiàn)階段它還不夠完美。

并不是每一次Sora都能生成出令人滿意的視頻?！堵槭±砉た萍荚u論（MITTechnologyReview）》主筆WillDouglasHeaven寫道：“Sora發(fā)布出來的視頻已經(jīng)是從大量的成果中挑選出的佼佼者了。”但即便是這些“經(jīng)過挑選的佼佼者”也不完美。

在Sora的技術(shù)報告中也承認，現(xiàn)階段Sora生成的視頻存在一些缺陷。比如，下面這個“考古工作者們挖掘出一個塑料椅”的視頻片段里，這個塑料椅顯然有點不遵守客觀的物理規(guī)律。

另外，下面這個玻璃杯破碎的過程也不那么“科學”——在杯子破裂之前，杯子里的液體就已經(jīng)流出來了。

所以，Sora還有很多需要完善的地方。但毫無疑問，目前Sora展現(xiàn)出來的能力已經(jīng)說明了，這是一條非常有前景的道路。

Sora安全嗎？

會取代人類嗎？

這幾天，Sora生成的視頻刷爆了許多人的朋友圈，人們除了感嘆Sora的厲害，同樣也展現(xiàn)出了擔憂，這些擔憂集中在兩個方面。

第一個擔憂是：Sora生成視頻的能力實在是太厲害了，如果這樣的技術(shù)被用來造假，豈不是太可怕了？未來我們怎么知道看到的視頻是真的還是假的？

而另一個擔憂主要來自視頻行業(yè)的從業(yè)者，如果Sora這樣的模型普及開來，視頻行業(yè)從業(yè)者是不是都要丟了飯碗？

先說說安全問題。其實，OpenAI也考慮到了Sora可能帶來的安全問題。目前，Sora僅對少數(shù)人開放，在確保它不會被用來做壞事之前，Sora是不會向大眾開放的。

那Sora是否會代替人類視頻工作者？

可以肯定的是，Sora的出現(xiàn)可能會威脅一些動畫素材的制作者。

比如，今年1月，《好萊塢報道》進行了一項針對300名娛樂行業(yè)領(lǐng)導者的調(diào)查，有四分之三的受訪者表示AI會減少未來的工作崗位，未來3年內(nèi)大約會有20多萬個職位受到影響。而Sora優(yōu)異的表現(xiàn)會加重這一影響。

但換一個角度想，每一次新興技術(shù)的出現(xiàn)在帶來威脅的同時也會帶來新的機會。

包括Sora在內(nèi)的視頻生成AI只是一個工具，視頻的創(chuàng)意來源還是需要人類提供。Sora或許能夠幫助人類更高效地生產(chǎn)視頻，同時，也讓每一個普通人都有機會制作自己的創(chuàng)意視頻。

參考文獻

[1]https://openai.com/research/video-generation-models-as-world-simulators

[2]https://openai.com/Sora[3]https://scholar.harvard.edu/binxuw/classes/machine-learning-scratch/materials/foundation-diffusion-generative-models

[4]https://www.hollywoodreporter.com/business/business-news/ai-hollywood-workers-job-cuts-1235811009/

本文為科普中國-星空計劃作品

出品｜中國科協(xié)科普部

監(jiān)制｜中國科學技術(shù)出版社有限公司、北京中科星河文化傳媒有限公司

作者丨小瑋 科普創(chuàng)作者

審核丨秦曾昌 北京航空航天大學自動化科學與電氣工程學院副教授

來源: 星空計劃

內(nèi)容資源由項目單位提供