小白： 大東，你看過那篇關于大模型安全性的研究嗎？據說，只需在訓練數(shù)據中加入0.001%的假數(shù)據，模型就會“中毒”，而且成本僅需5美元！這是真的嗎？

大東： 哈哈，確實有這么一回事。你說的是紐約大學（NYU）的一項研究吧？他們發(fā)現(xiàn)，向大模型的訓練數(shù)據中添加極少量的假數(shù)據，就能導致模型性能嚴重下降，甚至完全失效。

小白： 哇，這也太可怕了！我一直以為AI模型只要訓練得好，就能應對各種情況，沒想到它們竟然這么脆弱。

大東： 是的，這項研究引起了廣泛關注。它揭示了大模型在面對惡意數(shù)據時的脆弱性，提醒我們在使用和部署AI模型時，必須格外小心，確保訓練數(shù)據的質量和安全。

小白： 那么，具體來說，這項研究是怎么進行的？他們是如何證明大模型對假數(shù)據如此敏感的？

大東： 研究人員首先選擇了一個大型預訓練模型，然后在其訓練數(shù)據中隨機插入了0.001%的假數(shù)據。這些假數(shù)據并不需要復雜的設計，甚至可以是隨機生成的。結果發(fā)現(xiàn)，模型的性能出現(xiàn)了顯著下降，甚至在某些任務上完全失效。

小白： 這么少的假數(shù)據就能造成這么大的影響？這也太驚人了！

大東： 是的，這表明大模型對數(shù)據的質量極其敏感。即使是極少量的惡意數(shù)據，也能對模型的行為產生深遠影響。這種現(xiàn)象被稱為“數(shù)據中毒”（Data Poisoning）。

小白： 那么，這種“數(shù)據中毒”會帶來什么樣的危害呢？

大東： 首先，模型的性能會嚴重下降，導致其在實際應用中無法正常工作。其次，惡意攻擊者可以利用這種方法，故意向模型中注入錯誤信息，導致模型輸出錯誤或有害的結果。例如，在自動駕駛系統(tǒng)中，惡意數(shù)據可能導致車輛做出危險的決策，危及乘客和行人的安全。

小白： 哇，這聽起來太可怕了！那我們該如何防止這種情況發(fā)生呢？

大東： 目前，研究人員正在探索多種方法來防止“數(shù)據中毒”。一種方法是對訓練數(shù)據進行嚴格的驗證和清洗，確保其質量和真實性。另一種方法是開發(fā)更為魯棒的模型，使其能夠識別和抵御惡意數(shù)據的影響。此外，建立有效的監(jiān)控和反饋機制，及時發(fā)現(xiàn)和修正模型的異常行為，也是非常重要的。

小白：聽了這個事件，我突然想起了以前一些類似的AI安全問題。比如微軟的聊天機器人Tay被惡意引導，或者其他AI系統(tǒng)因為訓練數(shù)據偏見而引發(fā)的問題。你覺得這些事件有什么共同點？

大東：你提到的幾個例子正好說明了AI可能面臨的風險。Tay事件就是一個典型的AI被惡意數(shù)據污染的例子。Tay最初設計是為了與年輕人互動，但由于它被允許從用戶的對話中學習，惡意用戶故意教它不當言論，最終導致Tay變成了一個充滿歧視和攻擊性的機器人。微軟不得不在24小時內將其下線。這一事件反映了AI缺乏足夠的倫理判斷和監(jiān)管，容易受到惡意影響。

小白：哦，我記得那個新聞，Tay變得非常“暴躁”，最后微軟不得不緊急關閉。那時候大家也意識到AI是有可能被惡意利用的。

大東：沒錯，除了Tay之外，還有其他一些值得注意的例子。例如，在2018年，亞馬遜發(fā)現(xiàn)其基于AI的招聘工具存在性別偏見問題。由于訓練數(shù)據中男性候選人的比例較高，該系統(tǒng)學會了這種偏差，并傾向于給男性候選人更高的評分。這不僅對女性求職者不公平，也凸顯了AI系統(tǒng)中潛在的數(shù)據偏見問題。

小白：哇，這也太嚴重了。看來AI的風險不僅僅體現(xiàn)在它被濫用，還體現(xiàn)在它如何被訓練以及它學習到的東西上。

大東：確實如此。另一個例子是IBM Watson for Oncology。雖然這個項目旨在幫助醫(yī)生更好地治療癌癥患者，但后來被報道存在誤導性建議的問題。這主要是因為該系統(tǒng)的訓練數(shù)據來源于特定醫(yī)療機構，而這些數(shù)據并不具有普遍適用性。因此，Watson有時會給出不準確甚至是危險的治療建議。

小白：這聽起來真的很讓人擔心。不僅是關于公平性和數(shù)據偏見，還包括實際應用中的準確性問題。

大東：沒錯。還有一個案例涉及谷歌的照片標簽功能。在早期版本中，該功能錯誤地將黑人標記為“大猩猩”。這個問題部分源于訓練數(shù)據集中膚色較深的人群代表性不足。這不僅是一個技術問題，更引發(fā)了關于種族歧視和社會責任的廣泛討論。

小白：原來不僅僅是算法本身的問題，數(shù)據集的選擇和準備同樣重要。

大東：正是這樣。再比如，2016年蘋果公司的Face ID面部識別技術首次推出時，曾有報道稱一些亞洲用戶表示他們的手機難以識別他們的眼睛。這可能是由于訓練數(shù)據集中包含較少的亞洲面孔，從而導致識別精度下降。

小白：看來我們需要更加注重數(shù)據多樣性，以確保AI能夠適用于各種不同背景的人群。

大東：完全同意。此外，還有Deepfake技術的興起，通過AI生成逼真的虛假視頻或音頻內容，用于欺騙目的。這種技術不僅威脅個人隱私，也可能被用來制造虛假信息，破壞社會信任。

小白：這么多例子都表明，AI的發(fā)展需要更多的關注和技術上的改進，才能避免這些問題。

大東：沒錯，從這些事件中我們學到的是，AI的安全和有效性依賴于高質量的數(shù)據、健全的設計原則以及持續(xù)的監(jiān)控和調整。只有這樣，我們才能最大限度地發(fā)揮AI的潛力，同時最小化其潛在風險。通過不斷優(yōu)化我們的策略和技術手段，我們可以促進AI的健康發(fā)展，使之更好地服務于社會和人類。

小白： 這次的對話讓我對AI的安全性有了更加深刻的認識。從“數(shù)據中毒”漏洞可見，AI的風險已經不再是科幻小說中的情節(jié)，而是我們真實面臨的挑戰(zhàn)。AI本身并不“懂得”善惡，它只會根據輸入的數(shù)據做出響應。問題在于這些數(shù)據和設計，正是決定了它行為的根本。我相信，只要我們在前進的過程中，能保持對安全性、道德性和透明度的關注，AI一定能夠成為推動人類社會進步的強大引擎。

來源: CCF科普