一、奇點來臨了嗎？

大東：小白你在干嘛啊？

小白：我在看ChatGPT的文章，最近這玩意火出圈了。

大東：確實，ChatGPT對現代人的生活方式的改變堪稱具有里程碑意義。

小白：嗯，東哥，我主要是關注ChatGPT對網絡安全領域的影響，這與我的專業、學業乃至未來事業發展都有很強的關聯度。

大東：沒錯，ChatGPT可以在網絡安全領域有很多應用，比如輔助代碼審計、威脅分析等，還有可能生成網絡攻擊腳本、釣魚郵件等。

小白：確實，寫代碼一直被認為是一種高端的技術，程序員也一度被認為是高薪崗位的代名詞，但是ChatGPT的橫空出世，無異于降維打擊，讓很多從業人員暗暗滋生了危機感。

大東：其實事實也遠不至于這樣悲觀。隨著ChatGPT訓練模型的豐富和語料庫的豐富，的確可以在一定程度上替代人類，但是信息安全領域的工作崗位，有些工作是偏向于溝通性質的，過于理性的AI可能并不能給出能有人情味的答案，也無法滿足人文主義需求。

小白：嗯嗯，比如社會工程學，對吧。

大東：是的小白，其實每一次AI技術的突飛猛進，都會引起一番關于“奇點是否已經來臨”的大討論，但目前來看，人類的創意、靈感和感情是AI短時間內無法替代的。因此我們的當務之急并非販賣焦慮，而是要仔細分析ChatGPT對網絡安全行業發展會產生哪些影響。

小白：太好了東哥，洗耳恭聽。

二、ChatGPT 的“意識攻擊”

大東：其實關于ChatGPT，我想到了一個有意思的事。

小白：啥事？

大東：去年維基上“卡申銀礦”在中文版本中爆火的那件事，你有印象嗎？

小白：這個我知道，確實很有意思。是一位知乎用戶在為自己的小說尋找素材的時候，無意中檢索到了“卡申銀礦”這個詞匯，并將它分享到了一個歷史愛好者交流群中，結果有人對這個詞匯提出了質疑，并通過一系列的資料查詢后，發現俄羅斯歷史上根本沒有這么一座銀礦。隨著進一步地挖掘，終于挖出了名為“折毛”的用戶，她在中文版上編纂了幾百萬字的古俄羅斯歷史。

大東：嗯，哈哈，據說這位用戶為了使自己編纂的歷史更加可信，她還自行杜撰了地圖、人口變化圖、名人訪談等內容。

小白：但話說回來，這跟ChatGPT對網絡安全的影響有啥關系呢？

大東：你不覺得這個故事給我們帶來了一些啟示嗎？

小白：似懂非懂。

大東：ChatGPT與Wikipedia的信息輸入方式有相似之處，前者是開放數據+用戶修正投喂，不斷強化學習能力；而后者是每個用戶只要使用與其匹配的話語體系，就可以成功地創建百科。這件事就是鉆了這個“空子”，在看似科學嚴謹的Wikipedia里面一本正經地胡說八道。

小白：這樣看起來，確實如此。

大東：由此及彼地推演，我們不難看出，ChatGPT很容易被污染投喂，或者說遭受知識污染。

小白：可別把咱ChatGPT給喂壞了，孩子是無辜的呀。

大東：是的，更進一步可以假定AI智能體投喂污染ChatGPT。

小白：那可真的太過分了。

大東：引用“八個打”的說法，安全人員有時需要打地鼠、打蒼蠅，自然也會需要打游擊、打太極。比如通過使用來自社交媒體或其他來源的大量文本數據訓練模型，攻擊者可以使用ChatGPT生成極具可信度的網絡釣?電子郵件或消息，旨在誘騙受害者泄露敏感信息。

小白：插一句：熱心白上線了啊，“八個打”文章的上、下兩篇想回顧的讀者可以自行參閱。

大東：不錯啊小白。由于黑客和灰產有不同層級的目的，所以如果ChatGPT經常會有惡意投喂，可能會造成互聯網大范圍的知識體系級意識攻擊隱患。

小白：意識攻擊？

大東：沒錯，意識攻擊可能會有深度隱藏、潛移默化等特點，有毒的意識會擴散式污染互聯網體系，類似手機依賴癥。

小白：這太可怕了，看來AIGC是雙刃劍啊！

大東：是的，相關的安全研究刻不容緩。

三、AI攻擊恐成為主流

小白：東哥，我想起了我們2019年就寫過《換臉好玩，可不要貪“ZAO”哦》。

大東：其實ChatGPT對網絡安全行業演進的影響，遠不止這些。

小白：還有哪些呢？

大東：ChatGPT的底層邏輯是基于大模型的深度學習框架，ChatGPT是源于Transformer 的神經網絡架構提出。

小白：什么是大模型？

大東：這是指ChatGPT用的方法叫“大型語言模型”，中文習慣稱為“大模型”。大模型所包含的參數在千億級以上，是一種通用模型，能夠將大量的數據通過Transformer架構做機器學習。

小白：哦哦。

大東：而大模型的訓練，其實未來會形成產業鏈重塑，海量的應用數據輸入到ChatGPT中，而各類商業組織、個人用戶對AIGC依賴性會越來越強。那么，大模型將會等同于芯片、操作系統在ICT的基礎軟硬件地位，對于國家安全的重要性可想而知。

小白：看來，這是未來的卡脖子技術啊？那怎么能具備技術領跑地位呢？

大東：一方面，我們也要大力發展自己的大模型，同時大模型的技術迭代取決于算力網絡資源保障和類似于超級互聯網生態應用交互，譬如東數西算。

小白：那看來，算力網絡安全將至關重要啊。

大東：是的，這方面的安全挑戰需要提前考慮。

小白：那我們得趕快徹夜不眠研究；

大東：錯，這樣只是盲干。剛才我們講過，ChatGPT可以用于生成惡意攻擊代碼，未來攻擊代碼恐怕都會是AI自動生成、無窮變化、持續演進，原有的人工防護方法將面臨失效。

小白：那這怎么辦啊？

大東：我們應該研究如何使用AIGC提升安全防護的AI化能力。

小白：那以后不就成了AI之間打架了嗎？

大東：沒錯，ChatGPT會促進網絡攻防技術升維，未來利用AI實現網絡攻擊會成為主流攻擊形式。

四、小白內心說

小白：今天東哥從火出天際的ChatGPT開始講，一直講了ICT產業鏈重塑和未來網安領域的發展趨勢，使我大開眼界，作為一名網安專業的學生，油然生發出一種使命感，感覺自己就是未來的superhero，但是AI安全防護技術該怎么戰勝AI攻擊呢？是個新問題。

來源: 中科院之聲