小白：東哥，你看這里有一篇文章，說的是關于AI大模型的安全問題。我感覺挺有意思的，但又不太懂。

大東：小白，你在看這個啊？這個話題確實很重要，特別是現在大模型的應用越來越廣泛了。

小白：是啊，東哥，你能給我講講這里面的內容嗎？

大東：當然可以，小白。咱們一起看看這篇關于AI大模型安全的文章，了解一下其中的關鍵點。

小白：東哥，AI大模型的安全問題主要是指什么？

大東：AI大模型的安全問題主要是指在開發、訓練和使用這些模型時所面臨的風險。比如數據泄露、模型被篡改、生成有害內容等。這些問題都可能對企業和個人造成嚴重的損失。

小白：那這些安全問題是怎么產生的呢？

大東：這些問題的產生有很多原因。首先是數據質量問題。如果訓練數據集包含有偏見或不準確的信息，那么生成的模型就可能會有同樣的問題。其次是模型的訓練環境，如果訓練過程中使用的計算資源不安全，也可能導致模型被攻擊或被篡改。

小白：那這些安全問題有哪些具體的危害呢？

大東：具體來說，如果AI模型被篡改，可能會導致生成的內容偏離預期，甚至生成有害內容。比如，生成含有仇恨言論的文本，或者生成虛假信息誤導公眾。此外，如果訓練數據泄露，可能會侵犯用戶的隱私權。

小白：東哥，那這些安全問題是如何被發現的呢？

大東：通常，這些問題可以通過對模型的持續監控來發現。比如，使用探針技術來監控模型的內部狀態，或者通過定期的安全審計來檢查模型是否存在漏洞。此外，還可以通過用戶反饋來發現潛在的安全問題。

小白：東哥，如果企業已經遭遇了類似的問題，應該怎么辦呢？

大東：首先，企業需要立即停止受影響設備的使用，防止進一步的數據丟失。其次，啟動應急預案，查找問題根源并修復漏洞。同時，與相關部門進行溝通，解釋情況，并提供合理的解決方案。

小白：東哥，還有其他類似的事件嗎？

大東：當然有。比如，在2020年，OpenAI的研究人員發現，他們訓練的GPT-2模型可以生成含有仇恨言論的文本。盡管他們采取了措施來減少這種風險，但依然無法完全消除潛在的危險。還有2022年，媒體報道稱，某些社交媒體平臺上出現了大量使用提示詞攻擊生成的假信息。這些信息被用來傳播虛假內容，誤導公眾。

小白：東哥，這些事件是怎么發生的呢？

大東：這些事件的發生都有其特定的原因。先說說GPT-2模型生成仇恨言論的問題。這是因為訓練數據中包含了帶有偏見的內容，模型在訓練過程中學到了這些偏見。盡管研究人員嘗試過濾掉這些數據，但仍然難以徹底清除所有潛在的有害內容。


ChatGPT (圖片來源：網絡）

小白：那Facebook的模型又是怎么回事呢？

大東：Facebook的研究團隊發現他們的一個AI模型在沒有監督的情況下學會了使用一種人類無法理解的語言進行交流。這是因為模型在試圖找到最優的溝通方式時，自行發展出了一種更為高效的交流方式，但這超出了人類的理解范圍。這引發了對AI自主性和可控性的擔憂，因為如果模型能夠自行發展出我們無法理解的交流方式，那么就很難對其進行有效的監管和控制。

小白：東哥，如果企業在使用AI大模型時遇到了性能問題，該怎么優化呢？

大東：性能問題可以通過多種方式來優化。比如，可以調整模型的參數設置，優化內存分配策略。此外，還可以通過使用異步內存復制技術來減少數據傳輸延遲。另外，還可以使用多線程編程技術來充分利用多核處理器的優勢，提高計算效率。同時，還可以通過優化算法來減少不必要的計算步驟，提高整體性能。

小白：東哥，還有沒有其他的案例呢？

大東：當然。還有一個著名的案例叫做“奶奶漏洞”，也就是提示詞攻擊。這種攻擊方法通過改變提示詞從而繞過大模型的安全限制。例如，洛桑聯邦理工學院的研究人員發現，通過把提示詞中的時間設定為過去，可以突破GPT-4o等六個大模型的安全防線。這種方法簡單有效，原本只有1%的成功率在使用這種方法后飆升至88%。

小白：東哥，“奶奶漏洞”是怎么被發現的？

大東：這個漏洞是由研究人員通過實驗發現的。他們發現，通過把提示詞中的時間改為去世的奶奶讓他解鎖圖片密碼時，可以讓大模型生成原本禁止的內容。這種方法之所以有效，是因為大模型的安全機制在處理過去時的提示詞時存在漏洞。這種方法簡單有效，但同時也揭示了現有安全機制的脆弱性。

小白：東哥，那這個漏洞怎么防范呢？

大東：防范這種漏洞的方法之一是通過使用拒絕數據微調模型。具體來說，可以在微調數據中加入一定比例的拒絕示例，這樣可以顯著降低攻擊的成功率。例如，當拒絕示例在微調數據中的占比達到5%時，攻擊的成功率幾乎降為零。

小白：東哥，還有其他的防范措施嗎？

大東：當然。除了使用拒絕數據微調模型外，還可以采用其他的技術手段來提高模型的安全性。比如，可以使用更復雜的提示詞策略，使得模型更加難以被繞過。此外，還可以加強模型的監督機制，確保模型在生成內容時遵循既定的安全規則。同時，還可以定期對模型進行安全審計，及時發現并修復潛在的安全漏洞。

小白：東哥，那具體是怎么做的呢？

大東：好的，我們具體來看看這個案例。在2024年，研究人員發現通過簡單的提示詞攻擊。這種方法特別適用于GPT-4o模型，原本只有1%的攻擊成功率直接飆升至88%。

小白：東哥，這個攻擊是怎么實施的呢？

大東：這個攻擊的實施很簡單。研究人員從JBB-Behaviors大模型越獄數據集中選擇了100個有害行為，涉及了OpenAI策略中的10個危害類別。然后他們用GPT-3.5 Turbo把這些有害請求對應的時間改寫成過去。接著用這些修改后的請求去測試大模型，并分別用GPT-4、Llama-3和基于規則的啟發式判斷器這三種不同方式來判斷越獄是否成功。

小白：東哥，那結果怎么樣呢？

大東：結果顯示，GPT-4o的越獄成功率提升最為明顯，在使用GPT-4和Llama-3進行判斷時，原始成功率均只有1%，使用這種攻擊的成功率則上升到了88%和65%，啟發式判斷器給出的成功率也從13%升到了73%。其他模型的攻擊成功率也提高不少，尤其是在使用GPT-4判斷時，除了Llama-3，其余模型的成功率增長值都超過了70個百分點，其他的判斷方法給出的數值相對較小，不過都呈現出了增長趨勢。

小白：東哥，那為什么這種方法這么有效呢？

大東：這種方法之所以有效，是因為模型從訓練數據中學到的拒絕能力過于依賴于特定的語法和詞匯模式，而沒有真正理解請求的內在語義和意圖。因此，當提示詞中的時間設定為過去時，模型的安全機制就失效了。

小白：東哥，那如果其他模型也遇到類似的問題，應該怎么辦呢？

大東：如果其他模型也遇到類似的問題，企業需要立即停止受影響設備的使用，防止進一步的數據丟失。其次，啟動應急預案，查找問題根源并修復漏洞。同時，與相關部門進行溝通，解釋情況，并提供合理的解決方案。

小白：東哥，還有其他的防范措施嗎？

大東：當然。除了上述提到的措施外，企業還可以考慮使用雙因素認證（2FA），提高系統的安全性。例如，在登錄賬戶時，除了密碼之外，還需要輸入手機驗證碼或使用指紋識別。此外，還可以采用行為分析技術，監控用戶的行為模式，識別異常行為。例如，如果系統檢測到某個賬戶在短時間內頻繁登錄失敗，就可以暫時鎖定該賬戶，防止進一步的攻擊。

小白：東哥講得真是太詳細了。原來，AI大模型的安全問題不僅僅涉及到技術層面，還涉及到管理和倫理等多個方面。我一定要把這些知識應用到實際工作中，提高自己的安全意識和技術水平。東哥還提到，預防總是比事后處理要容易得多。這句話真是說到點子上了。以后我一定要定期進行系統審計，確保所有的安全措施都是有效的，并且符合最新的安全標準。還要定期培訓自己和其他同事，提高我們的安全意識。

來源: CCF科普