40年前，優(yōu)化理論處于一片混沌，各種復(fù)雜算法讓人莫衷一是。40年后，當(dāng)時(shí)正處于年富力強(qiáng)階段的2位俄裔數(shù)學(xué)家——阿爾卡迪?涅米羅夫斯基博士與尤里?涅斯捷羅夫博士引發(fā)了“一階算法革命”，他們的發(fā)展內(nèi)點(diǎn)法理論，提出自協(xié)調(diào)性，將數(shù)百個(gè)具有復(fù)雜證明和彼此間無(wú)關(guān)聯(lián)的復(fù)雜算法，描述成一個(gè)簡(jiǎn)單而優(yōu)雅的統(tǒng)一框架。其系列研究工作極具洞察力并富有成效，為解決各類(lèi)問(wèn)題提供了一系列基準(zhǔn)速率和實(shí)現(xiàn)這些速率的優(yōu)化算法，使得優(yōu)化算法得以應(yīng)用于現(xiàn)代應(yīng)用中的大規(guī)模問(wèn)題，并推動(dòng)了新計(jì)算平臺(tái)的發(fā)展，以支持這些算法。

正因?yàn)槿绱耍?023年世界頂尖科學(xué)家協(xié)會(huì)獎(jiǎng)“智能科學(xué)或數(shù)學(xué)獎(jiǎng)”授予這2位俄裔數(shù)學(xué)家。在11月5日舉行的“世界頂尖科學(xué)家科學(xué)圓桌π：智能科學(xué)或數(shù)學(xué)前沿”上，2位獲獎(jiǎng)得主與業(yè)內(nèi)大咖圍桌論劍，共話凸優(yōu)化理論對(duì)世界的影響、算法將如何持續(xù)進(jìn)階優(yōu)化更高效。

它為人工智能提供了模型和方法

優(yōu)化理論是過(guò)去幾十年對(duì)數(shù)學(xué)以外的領(lǐng)域產(chǎn)生最重大影響的學(xué)科，在控制系統(tǒng)、經(jīng)濟(jì)學(xué)、機(jī)器學(xué)習(xí)、航空航天、5G網(wǎng)絡(luò)動(dòng)態(tài)調(diào)整、云調(diào)度和金融等領(lǐng)域得到廣泛應(yīng)用，為這些領(lǐng)域所需的實(shí)用算法設(shè)計(jì)和實(shí)際應(yīng)用等提供了概念基礎(chǔ)和原理依據(jù)。

阿爾卡迪?涅米羅夫斯基表示：“優(yōu)化理論本身是可以用于更廣的數(shù)據(jù)來(lái)源，并且有助于科學(xué)家找到最佳解決方案，是有別于線性運(yùn)算的一種方式。”尤里進(jìn)一步解釋說(shuō)，“就像一個(gè)人做決定，他需要先獲取非常多的信息來(lái)支撐一樣，優(yōu)化理論在各應(yīng)用場(chǎng)景中，可以讓研究者減少主觀判斷，增加客觀信息的輸入，更好地幫助他們做出最優(yōu)決策。”

除此之外，優(yōu)化理論也是多樣化的，每個(gè)應(yīng)用領(lǐng)域都有可能演變出新的方法論，來(lái)支撐和設(shè)置優(yōu)化理論的機(jī)制。與此同時(shí)，優(yōu)化理論也能夠作為一種建議方式，幫助應(yīng)用領(lǐng)域去開(kāi)發(fā)新的理論。

在如今熱門(mén)的AI領(lǐng)域中，大部分機(jī)器學(xué)習(xí)和深度學(xué)習(xí)解決的問(wèn)題都是優(yōu)化理論問(wèn)題。對(duì)于尤里?涅斯捷羅夫來(lái)說(shuō)，優(yōu)化理論是可以在“學(xué)科與AI之間如何搭建橋梁”的問(wèn)題中為研究者提供解決方案的。同時(shí)，“優(yōu)化理論也能夠幫助我們預(yù)測(cè)，是否有不同的方式可以推動(dòng)算力的發(fā)展，這也能夠?yàn)锳I效率的提升做出巨大貢獻(xiàn)。”阿爾卡迪?涅米羅夫斯基說(shuō)。

隨著計(jì)算機(jī)、大數(shù)據(jù)等新興科技領(lǐng)域的發(fā)展，優(yōu)化理論的發(fā)展也有了新的助力和挑戰(zhàn)。如何更好地引用優(yōu)化理論、了解它到底如何設(shè)置參數(shù)、怎樣發(fā)揮它的最大能力、如何更好地支持其他科技領(lǐng)域的發(fā)展，成為優(yōu)化理論接下來(lái)的發(fā)展命題。

應(yīng)用數(shù)學(xué)加持算力提升

作為應(yīng)用數(shù)學(xué)領(lǐng)域的一個(gè)重要科學(xué)問(wèn)題，優(yōu)化理論的地位相當(dāng)于人的脊背一樣的，支撐著整個(gè)算法模型的學(xué)習(xí)過(guò)程。算力的提升有助于算法模型更快的做出決策，縮短過(guò)程時(shí)間，而這需要收集更多的數(shù)據(jù)和更精準(zhǔn)的數(shù)學(xué)運(yùn)算作為支撐才能實(shí)現(xiàn)。

“我們必須確保這些算法呈現(xiàn)的方式是具有可實(shí)踐性的。”阿爾卡迪?涅米羅夫斯基解釋道，針對(duì)不同的方法是有不同優(yōu)化途徑的，這與自然環(huán)境下的優(yōu)勝劣汰是一樣的道理。畢竟理論和實(shí)際應(yīng)用是有差別的，所以需要去思考如何才能夠彌補(bǔ)差距，得到一個(gè)最優(yōu)解。

數(shù)學(xué)的復(fù)雜度往往是來(lái)自于其結(jié)構(gòu)本身，而不是物理或其他學(xué)科的限制。因此，數(shù)學(xué)家應(yīng)是更加謹(jǐn)慎的。用尤里?涅斯捷羅夫的話來(lái)說(shuō)，“即使只擁有一半運(yùn)算能力的資源，也要讓算法朝著你要的目標(biāo)方向發(fā)展。”

而優(yōu)化理論的運(yùn)算目標(biāo)更像是個(gè)“合唱團(tuán)”，需要在不同情況下都能同時(shí)做函數(shù)運(yùn)算。同時(shí)做的運(yùn)算越多，得到的結(jié)果可能就會(huì)越好；而這并不完全是優(yōu)化領(lǐng)域要去解決的問(wèn)題，更多的是對(duì)函數(shù)算法的要求。通過(guò)應(yīng)用數(shù)學(xué)推出更好的算法，才有可能為眾多科學(xué)領(lǐng)域賦能，減輕算法壓力。

“我們希望能夠做出一個(gè)優(yōu)化后的解決方法，這些方法可以自適應(yīng)，進(jìn)行自我調(diào)節(jié)，并且可以根據(jù)不同問(wèn)題的難度等級(jí)去改變它的解決方案。”尤里?涅斯捷羅夫表示，希望自己的研究可以更好地促進(jìn)應(yīng)用數(shù)學(xué)行業(yè)的發(fā)展，為青年學(xué)生提供指導(dǎo)。

專注研究比思考意義更重要

40年來(lái)，尤里?涅斯捷羅夫一直是凸優(yōu)化領(lǐng)域的全球領(lǐng)軍人物。他的首批重要成果與快速梯度法（FGM）有關(guān)，這些成果如今越來(lái)越重要，在機(jī)器學(xué)習(xí)和人工智能領(lǐng)域得到越來(lái)越多的應(yīng)用。其后，他與阿爾卡迪?涅米羅夫斯基合作，在凸優(yōu)化的多項(xiàng)式時(shí)間算法的內(nèi)點(diǎn)法理論方面獲得了根本性的突破。

由于是純理論性研究，有些人會(huì)質(zhì)疑這項(xiàng)研究是否真的有用。而面對(duì)質(zhì)疑，他們卻始終專注于自己的研究。“人生是無(wú)法預(yù)測(cè)的，我們一開(kāi)始做一個(gè)課題的時(shí)候是不知道它是否有意義的，只有做出成果來(lái)讓它充滿意義。”阿爾卡迪?涅米羅夫斯基表示，“我認(rèn)為到今天為止沒(méi)有任何研究是無(wú)用的，只要在不斷的花費(fèi)時(shí)間去深入一個(gè)領(lǐng)域，一定都是有意義的。”

“我在優(yōu)化領(lǐng)域工作了45年，做的越多，就愈發(fā)覺(jué)得未知的內(nèi)容越多。”尤里?涅斯捷羅夫感慨道，希望自己能夠以一個(gè)應(yīng)用數(shù)學(xué)博士導(dǎo)師的身份，為這個(gè)領(lǐng)域做出更大的貢獻(xiàn)，他也呼吁數(shù)學(xué)家們應(yīng)該齊聚一堂為其他領(lǐng)域做拓展。

而事實(shí)也正如尤里所說(shuō)的一樣，他們的研究貢獻(xiàn)不僅促進(jìn)了運(yùn)籌學(xué)、圖像處理、信號(hào)處理、工程和金融等領(lǐng)域的研究發(fā)展，還影響了計(jì)算機(jī)、數(shù)學(xué)、工程和決策科學(xué)等多學(xué)科的研究進(jìn)展，受到了美國(guó)、中國(guó)、法國(guó)、德國(guó)和英國(guó)等國(guó)科學(xué)家的關(guān)注。

有學(xué)者透露，美國(guó)太空探索技術(shù)公司（SpaceX）的火箭著陸回收之所以成功率大增，就是因?yàn)榭刂瞥绦蛑械耐箖?yōu)化算法經(jīng)過(guò)了大量提升。

來(lái)源: 上海科技報(bào)社

內(nèi)容資源由項(xiàng)目單位提供