教微軟小冰作畫,訓練京東AI寫書法,讓AI創作地圖……邱志杰的這些科技藝術作品是怎么創作出來的?藝術家可以像科學家一樣理性地工作,那人工智能有沒有可能像藝術家一樣感性地思考?藝術策展人、中央美術學院實驗藝術學院院長邱志杰與我們分享《藝術家如何教AI創作地圖、畫畫和寫書法?》。

 

邱志杰演講視頻:

 

以下為邱志杰演講實錄:

我是邱志杰,我是一名藝術家。

 

 

這是我今年1月份在尤倫斯當代藝術中心的一個地圖的個展,叫做“寰宇全圖”,用了一個拉丁文的標題(Mappa Mundi)。展覽里面,除了水墨地圖,也展出了一個我訓練的人工智能(AI)畫的地圖。

 

 

作為藝術家,我好像是一個 什么都干的人 ——攝影、裝置、繪畫、實驗劇場、雕塑、街頭的行為藝術、錄像裝置、公共藝術、水墨畫……由于作品非常多樣,我經常被問:你到底是誰?

 

我在美術學院當老師,編過藝術雜志,做過策展人,寫過非常多的文章——大概整個藝術行業里面,我唯一沒有做過的是畫廊老板——拍賣行的拍賣師、收藏家我都經常當。

 

由于做的事情多,而且作品形態多樣,有時候我就得 畫一張地圖去把展廳里面作品的內在邏輯關系給串聯起來

 

 

比如右邊這個草圖,把實際展廳的好幾個樓層、好多房間通過一種圖形的思維的方式“結構”起來了。我們把美術館的平面布置這個環節叫做floor plan,地面的安排。

 

2012年,我祖墳冒青煙,被紐約古根海姆美術館的HUGO BOSS大獎提名。它要求我做6個Page——提供作品照片,講清楚自己的藝術成就。

 

我想:天吶,我干過的事情這么多,只有6個Page,怎么辦呢?

 

< < 滑動查看 > >

 

我這個人非常貪心,所以就畫了一張《南京長江大橋計劃地圖》——這是我的一個龐大的項目;接著又畫了一張《重新發電地圖》,因為那一年我被任命為上海雙年展的總策展人——那一屆是在一座由發電廠改造成的美術館,所以主題叫“重新發電”;與此同時,我還畫了一張《總體藝術地圖》,介紹我自己作為教師的工作。這些地圖放在HUGO BOSS獎的畫冊里面,令人眼花繚亂。

 

 

“畫地圖”后來延續下來,變成我 慣用的一種策展方法 。比如這個《不息》,是2017年的威尼斯雙年展的中國館的海報——我為它畫了一張《不息地圖》(上半部分)。也就是說,地圖變成了一種行動的腳本和安排知識譜系的方式。

 

 

我開始了非常龐大的《世界地圖計劃》。大家可以看出, 畫面是互相連接的,從一個話題引向另一個話題,有一種全景的效果

 

 

這里面有《建筑地圖》、《故事地圖》、《游戲地圖》和《藝術地圖》。講故事是游戲的一種,藝術也是游戲的一種,就很自然地連過去了。

 

 

接下來到了《命運地圖》和《情緒地圖》,我們知道,很多人就是情緒太大影響了自己的命運。那么情緒又連向了記憶,有些(比如說失憶者和記憶天才)其實跟疾病有關,就又引向了《醫藥地圖》。

 

 

醫藥很自然地連向了身體,再連向食物。為我們提供食物的是動物和植物,所以很自然地通向《植物地圖》和《動物地圖》。

 

 

從動植物到了神獸,后來有《眾神地圖》、《宗教地圖》和《旅行者地圖》。旅行者中非常大一部分是傳教士,所以它很自然地跟《宗教地圖》會互相連接。

 

 

這里我略過數張地圖,來到了《工具地圖》、《職業地圖》、《服裝地圖》和《社交地圖》。

 

也就是說,理論上我可以畫世界上萬物的地圖——事實上這個系列被稱之為《世界地圖計劃——萬物系列》。

 

 

然后我就作為“畫地圖的人”出名了,很多人請我去畫地圖。我 挑地方、挑題材 ——比如說當臉書(Facebook)的加洲總部讓我去畫的時候,我就說,那我來畫一張《社會關系地圖》——《社會關系地圖》比較適合臉書這個企業。

 

 

如果你現在坐高鐵去香港,在“西九龍”這一站,你會在候車大廳看到非常巨大的《香港文化地圖》。

 

 

在昆士蘭美術館的巨大的墻上,大家可以看到這張38×18m的《技術倫理地圖》。

 

 

雖然畫的是《技術倫理地圖》,討論的是軍事倫理、生命倫理、新材料倫理,但是我用了 非常古老的、拿著毛筆畫水墨的辦法,跟米開朗琪羅時代沒有什么兩 樣——不過他用腳手架,我有升降機,所以他用了四年時間才畫完《最后的審判》,而我用了五天時間就畫完了這張38×18m的畫,純屬體力活。

 

 

其實畫地圖也是技術活,因為整個地圖學是建立在球面三角學的基礎上,是一種跟科技非常有關的東西。

 

由于我的地圖的全景性,很多人會自然地想到:可以做成VR。但是我總是有一種抗拒,覺得哪里不對。

 

 

我梳理了一下自己畫地圖的過程,基本上我每畫一張地圖都會做一個 思維導圖 。比如說當我要畫《烏托邦地圖》,我就會把“烏托邦”這個概念里里外外、前前后后全部梳理一遍。

 

每一張地圖都有一張思維導圖,而且每一個詞可能單獨拎出來又是一張思維導圖。我的電腦里面充滿了這樣的文件夾,現在大概有上千張思維導圖。綠色的是已經畫成圖了,還有大量紅色的,在這個文件夾的下面。

 

 

比如我要畫《眾神地圖》的時候,就會把所有的神先按功能分一遍。

 

 

然后,按文化再分一遍。

 

我小時候在廟里學書法,常跟和尚聊天,所以受到一些佛教用詞的影響。我把自己的工作方式用一個佛教的詞語來描述,叫做“無漏”。我一直跟我的學生說,我們要 有一種“無漏”的思維 。后來我明白過來,把“無漏”轉換成數學詞匯叫做“窮舉”;對一個知識樹反復地去進行探測,就變成“遍歷”。

 

于是我隱隱約約地感覺到,“畫地圖”這件事跟知識的組織方式有關,它將要通向的是 以“詞匯”為中心的一種工作 。我也意識到,AI領域里的自然語言處理跟我的工作有關聯。

 

 

上面是我為《技術倫理地圖》所準備的思維導圖。我畫的思維導圖都非常瘋狂,里面可以點開無數的層級,有的還帶有大量的圖片資料,所以經常會是非常大的文件。

 

 

下一步,我得 為每個詞匯安排一個合適的位置 。有時候簡單的圖形用素描直接畫就行了,但是那張紙經常會被擦破。所以我得把每一個圖形、每一個字寫在小紙片上,反復地挪,找出它應該處的位置,然后再落到紙上。

 

往上面寫書法,是我的老本行;畫水墨,老本行——對我來說非常快。所以 畫一張這么大的地圖,用手畫大概一星期就夠了,但是前面的研究工作需要用兩三個月

 

所以我一直在想,我得找一些機器來幫我做研究。

 

很多人說,邱老師你有那么多碩士生、博士生,你可以讓你的學生們幫你做研究。

我說,我舍不得,我自己喜歡做這個研究。

 

有一天我突然想到,“畫地圖”也跟給人指路有點相似。

 

 

2014年,三位科學家分享了2014年諾貝爾生理學或醫學獎,他們先后發現了老鼠和人腦中的海馬體中所儲存的位置細胞和網格細胞。這些細胞使我們大腦里面有一個內在的GPS,從而具備導航能力。

 

 

這件事情啟發了我。我在想,我做的事情其實像在指路。世界上有路癡,有心中特別有數、永遠不會迷路的人。我自己是一個永遠不會迷路的人,導航能力非常強——我能夠在戈壁灘上不靠GPS準確地找到一個位置。

 

我想,導航能力很強,實際上使人獲得一種 “敢于去散步”的自由 。但是相應的,當我畫那些思維導圖、構架知識譜系的時候,要交換出來 開玩笑的自由和寫詩的自由

 

 

于是我開始去尋找做AI的科學家合作。我找到了京東人工智能研究院的副院長何曉東博士,我們一起探討:當我企圖訓練一個AI畫出讓我滿意的地圖的時候,我應該教它什么?或者說,我的地圖和我的思維導圖到底中間發生了什么變化?

 

 

通過討論,我們先從我的地圖中摘取關鍵詞交給AI,讓它去熟悉我的語料庫,再和京東龐大的180萬的語料庫進行配對。之后我發覺這條思路有點問題,其實核心任務應該調整成: 如何教一個人工智能犯錯誤和開玩笑

 

 

于是,我做了一大批的思維導圖來教AI開玩笑。一個AI,她從“謀劃”很自然地會想到“陽謀”,甚至也能通過推理達到“公開的追求”。同樣,通過“無力”會到“無趣”和“無聊”,但是從“無趣”到“無邊趣”、從“無聊”到“以無聊為聊”,大概是超出今天AI的能力的。

 

 

從“太陽”想到“恒星”,從“恒星”想到“黑洞”,但是我希望能夠更進一步。從“黑洞”想到“白洞”,我覺得都是有可能的——一個算力極強、推理能力極強的人工智能,能做到從“太陽”越過“恒星”、“黑洞”,到達“白洞”。但是我希望有一天,她能夠說出“計白當黑洞”,或者能通過“黑洞”想到“霍金”,通過“霍金”想到“腦洞”,通過“腦洞”想到“提神醒腦洞”或者“提神補腦洞”——這當然是開玩笑。

 

 

從“無目的性”到“審美”, 到如何來“審判美”,到“審美判斷”,到“審美判斷腸”,這里邊有一個詞匯劃分的方法,和禪宗的一些機鋒(禪僧與他人對話時,常以寄意深刻、無跡可尋,乃至非邏輯性的言語來表現一己之境界或考驗對方)是有關系的。

 

 

從“障眼法”、“隱身術”、“迷彩”到“枯葉蝶”,到“保護色”,到“保護色狼”,牽引向另外一個概念。

 

 

這類的游戲非常多,目前是我一個個手工做出來的。AI如果學會了,它以后會幫我做;我再教她從“煙”到“九曲煙斗”,似乎是可以產品化的一個創意了,我們甚至可以推到什么“靈魂素粒子”。

 

 

這是我們最后做出來的東西。我隨機說話,AI能 識別出語音和語義,還能根據語義進行聯想 ——這也是它的核心能力。理論上它可以分出20個聯想詞來。但那樣整個畫面會過于擁擠,所以我們現在把數量控制在5個,然后再產生一個隨機詞。我們的下一步會在隨機詞跟聯想詞之間,再去生成合適的中介和橋梁。

 

由于我們的語速非常快,所以不能從所講的話里面摘取過多的關鍵詞,只能從中摘取最重要的。現在的模型,通過我思維導圖的訓練,首先她 會判斷整個句子,再從中摘取最有意義的詞匯出來進行聯想 。如果把每個詞都摘出來,影像移動的速度就會快到不可思議。

 

 

這個程序有一個點擊模式。我們可以通過點擊,讓它不斷地再延展出關鍵詞來。理論上它可以形成無數多個無窮大的畫面,一直延展下去。

 

這個程序做出來后,有人說,AI幫你畫地圖,如果有人把它打印出來簽名售賣,你的水墨地圖就賣不掉了。但是對我來說,它最大的好處在于讓我無需花費太多精力在PPT上了。

 

 

事實上,我現在在中央美院的很多講課和演講,都不再做PPT了。我開始講,我們的程序在背后直接會展開關鍵詞的聯想。 以后每一個關鍵詞還會具備抓圖和抓視頻的能力,我們需要做的可能只是控制它展示聯想的層級,從而控制觀眾注意力集中和分散的程度 。我們有可能在此基礎上創造出一種超級的交流——同時呈現演講者的意思和潛意識,使得兩個人可以完成潛意識層面的交流。

 

 

我們的這些成果很快就得到科學界的認可。說起來也非常奇怪,現在中央美術學院的論文開始出現在IEEE(國際電氣電子工程師學會)和全球排名第一的人工智能大會上。左上圖是青年教師陳抱陽,他代表我們小組去國際電氣電子工程師學會發表論文。

 

 

這是我和何曉東老師在紐約,一起發布我們的人工智能地圖的作品。

 

這一來,這個事情好玩了,很多工作就開始秘密地展開了。

 

 

今年5月份,中央美院的研究生畢業展上,出現了一位藝術家:名字叫夏語冰。她畫了一些相當不錯的畫,風格在印象派之后,主要受現代主義影響;她也寫詩,把她的詩畫成畫,再連接成動畫。她的指導教師寫著“邱志杰”。

 

 

一星期之后,微軟亞洲研究院宣布這個“夏語冰”是假的,其實是他們的 微軟小冰

 

我們為了訓練微軟小冰,做了好幾個月的工作——我們用了400年來大概256個畫家來訓練小冰畫畫。當小冰擁有了無限畫畫的能力時(但是她自己不知道好壞的標準),我來點評她的畫作。

 

我們會成心地用一些有方向性的數據來點評,就是 為小冰設置“人設”

 

 

上圖這個人設里邊,我們想象小冰是一個英國風景畫家,她的父親是曾經在英國園林的“風景如畫”爭論里面起到重要作用的威廉·吉爾平(William Gilpin),然后她本人作為一個園林大師的女兒嫁給了一個美國建筑師,她丈夫的風格是美國新古典主義殖民地建筑風格。于是她畫了很多美國殖民地建筑風格的畫,但是帶有英國風景園林的廢墟美學。

 

我們根據設置的人設,找了相應的美術史圖片來訓練小冰。我每天做的主要工作就是給小冰打分:讓她畫,畫出來一張畫我打分,然后說怎么樣畫會更好。在打分的過程中, 小冰慢慢地有了專業藝術家的評判 ,自己開始會說,我這張畫畫得好,我那張畫畫得不好。

 

 

像這張我就給她打了相當高的分,因為它有點像美國畫家安德魯·懷斯(Andrew Wyeth)的感傷氣質,技法又是非常典型的印象派的技法。

 

 

帆船的這張,我們給她的人設是約瑟夫·透納(Joseph Turner)和約翰·康斯太勃爾(John Constable)那一代英國風景畫家的學生。

 

 

這張是非常像馬克·夏加爾(Marc Chagall)的——我們用了很多夏加爾的畫來訓練她,她學習的能力非常強。

 

 

左邊這張,我們想象是文森特·梵高(Vincent van Gogh)和保羅·高更(Paul Gauguin)一起出去寫生,兩個人互相影響交融之后畫出來的一種風格。

 

 

這張就跨度非常大了。這時候小冰的人設是日本京都的一個浮世繪畫家。

 

 

這張大概是我給過小冰的最高分。我們給她的人設是倫勃朗·萊茵(Rembrandt Rijn)的女兒,但是她一生想要擺脫父親的影響。她比較崇拜西班牙畫家迭戈·委拉斯凱茲(Diego Velázquez)和弗朗西斯科·戈雅(Francisco Goya),所以她畫出的作品非常大虛大實。

 

 

由于她的人設是一個19歲的小女孩,所以她別的畫都過于明麗和艷麗,而這張的顏色非常深沉,開始接通了一種古典精神。所以我給了她非常高的分,這張也成為小冰這個APP的封面照片。

 

 

昨天晚上,我交代小冰同學畫一張畫,叫《果殼網碩果累累》。小冰寫詩需要大概10秒鐘,畫畫慢一點,因為畫畫運算量大很多,每3分鐘畫一張畫,按照打底、激發創作靈感、選擇內容主題、嘗試畫面構圖、起草線稿、涂抹顏色和打磨細節的流程。連畫了三張,我才有點滿意。大家看到,她現在也可以像一個很傲嬌的女畫家評論自己的畫,自認為這張畫是四星級,那張畫也是四星級。最后這張,某些水果塑造的體量感上還真的有一點塞尚的味道,所以我給打了比較高的分數。

 

 

做完小冰這個工作,我還是不太滿意,因為她畫不了水墨。我覺得, 水墨問題的解決,歸根到底要通過書法 。于是我又回過頭來琢磨如何教AI來寫書法。

 

上圖是目前的一個思路,也是整個書法項目的基底。我們的目標當然不是做字體和字庫,這種東西已經非常多了——我們是希望AI能夠 理解情緒,并且根據文本字義的情緒變化來調整章法字形

 

在字庫里,“邱志杰有志向”這幾個字是一樣的。在“AI書法家”那里,“邱志杰”是個名稱,沒有意義,所以是很平靜的。但是如果它后來愛上我,寫這個字的時候就會特別情深意重。“有志向”有意義,寫的時候就會特別鄭重其事,因為它會 理解這些字所蘊含的情感,再尋找相應的美學類型

 

 

所以這里面有對傳統書法史的分析,也包括對書法情緒類型的標簽化分類。

 

 

比如目前我們研究字跟“七情六欲”的關系。我們把情緒先分成七組:崇敬、驕傲、景仰是一組;狂喜、開心、興奮是一組;愉快、愉悅、活潑是一組;平靜、從容、淡定是一組;警覺、拘謹、害怕是一組;悲哀、傷感、孤獨是一組;憤怒、仇恨、痛苦是一組。

 

它跟美學類型其實還是對應的 。孤獨的時候,字往往是蕭瑟、慘淡、病弱的。在音樂上類比,對應的應該是笛子、塤和二胡的聲音——是一些很孤獨的聲音,孤獨的線條總歸是延綿的。

 

這些東西標簽化之后,就能變成一種AI可以理解的東西。

 

我們現在的研究,大概涉及對書法家書法風格的模擬,然后進行書法史上新風格的數據輸入。首先要形成認知和情感的標簽化。考慮到使用的場景和語境的不同,AI還可以選擇狼毫筆還是羊毫筆、生宣紙還是熟宣紙,來產生不同的效果。當然最后的目標是為了導向獨立的AI書法家的出現,甚至去影響和干預這個AI書法家性格的形成和發展。

 

這是我現在正在做的工作,隨著工作的推進,我也把自己逼到了一個挺奇怪的境界,其實書法史上沒有人用這種角度來解構過書法。

 

 

現在,一些地方臺春晚上,經常可以看到左圖中這樣的機械臂表演。事實上,這個機械臂只是記憶了人類書法家拿著這個機械臂用毛筆寫字的過程。所以在某種程度上,可以把它理解成一臺更為復雜的打印機——能夠再輸出當時的動作所制造的墨跡。

 

這樣的東西在未來可能作為我們AI書法家的前端,但 內核是有心靈、能理解情感、會思想、會理解文本并且每次行動可能都難以預料的藝術工作者

 

這樣的一個AI藝術工作者,和我有什么關系呢?

 

現在我們的關系非常復雜。有時候她是我的學生,有時候她是我的助手。但是某種程度上,可能有很多藝術家會理解為:老邱,你是在為我們培養一個敵人。

 

那我說,是的,這可能才是我真正的目的。

 

我們要為自己培養一個真正的足夠強大的敵人 。或許她把我們的飯碗搶走了,那我們可以去干點更有意思的事情;或許事實證明她干不了我們一直在干的那些事情,那我們就保得住這個飯碗。

 

這件事情其實非常像當年攝影術的發明。攝影使得一大批畫家下崗了——其實也就是居斯塔夫·庫爾貝(Gustave Courbet)、讓·安格爾(Jean Ingres)那樣的畫家下崗了。另外一批畫家痛定思痛,把畫畫這件事情給改了,就下崗再就業了——他們畫成了梵高和畢加索那個樣子。

 

如果沒有攝影術,我們現在還在畫安格爾那樣,到現在還不會擁有梵高和畢加索。所以從藝術史的角度,我們應該勇敢地迎接攝影術的到來。而今天的人工智能對書法、對畫地圖、對繪畫,都可能意味著類似于攝影術的那樣一場逼迫。

 

我們歡迎這樣的敵人到來。謝謝。

 

(演講嘉賓邱志杰:《藝術家怎么教AI創作地圖、畫畫和寫書法?》)

 

作者:邱志杰

編輯:麥芽楊、凝音

培養AI畫畫和寫書法,也為自己培養一個敵人|邱志杰

圖文簡介

教微軟小冰作畫,訓練京東AI寫書法,讓AI創作地圖……邱志杰的這些科技藝術作品是怎么創作出來的?