“阿爾法狗”有望與柯潔進行圍棋終極人機大戰，有關人工智能是否會威脅人類甚至取代人類的討論再度成為熱門話題。而開發“阿爾法狗”的深度思維公司發表最新論文說，他們正在研發可以關閉人工智能的“一鍵終止”開關，以預防科幻影片中機器人崛起、毀滅人類等類似情況的發生。

論文說，人工智能在真實世界的復雜環境中不斷學習，可能不會每時每刻都以最佳狀態工作，人類控制者需要一個“紅色大按鈕”來終止機器人等人工智能的危險行為，這個按鈕的核心就是讓人工智能在深度學習的過程中，永遠都無法學會去抵抗人類按下它的“一鍵終止”按鈕。

人工智能“一鍵終止”按鈕涉及機器學習中的強化學習過程。人工智能程序一直在判斷每一步可能的策略是否對預設目標最有利。但強化學習的微妙之處在于，人類程序員不可能總是判斷出人工智能程序認為是勝算最高的一步；人工智能可能發現一些“捷徑”，這些捷徑可能給人類帶來不想看到的結果。

以“機器人搬運工”為例，如果機器人負責在倉庫內分揀貨物以及將戶外貨物搬到倉庫內，按照人類程序員的設定，機器人會優先到戶外進行搬運。然而最近天氣反常，總是下雨，過多的戶外工作會損耗機器人的使用壽命，控制人員不斷發出讓機器人進屋的指令，次數多了，機器人就能學會并認為在倉庫內工作更具優先性，甚至可能抵制在戶外工作。

研究人員表示，“一鍵終止”按鈕的核心在于如何讓機器人認為這一次人類控制者終止自己的行動只是一次性的，將人類控制者的終止指令看做是無害中性的，人類的“關機”行為不會在人工智能的強化學習過程中產生任何印記。最終，研究人員會讓人工智能將“一鍵終止”開關的按下看做是自身策略的結果。

深度思維人工智能專家洛朗·奧叟和牛津大學人類未來研究所專家斯圖爾特·阿姆斯特朗在美國機器智能研究所網站上發表了這篇文章，并將于本月底在美國紐約地區舉行的“第３２屆人工智能不確定性大會”上就這篇論文發表演講。

阿姆斯特朗曾表示，人類語言如此微妙，很有可能被人工智能誤讀。一條“阻止人類繼續承受痛苦”的指令，可能會被人工智能解讀為“殺掉所有的人類”，而“保證人類安全”的指令也可能讓機器人把所有人禁閉起來。他認為，人類處在一場致力于打造安全人工智能機器的競賽中，必須爭分奪秒，以免為時過晚。

 

更多精彩！歡迎關注“科普中國-科技前沿大師談”官方微信（kjqydst）。

 

焦點科普：一鍵終止，如何讓人工智能更安全

圖文簡介

“阿爾法狗”有望與柯潔進行圍棋終極人機大戰，人工智能是否會取代人類的討論再度成為熱門話題。