AI正在端側發揮著越來越重要的作用，它將進一步改變人們現有的行為邏輯，為用戶的生活生產帶來深刻的變革。生成式AI的熱潮意味著用戶向探索更加多樣化、個性化的數字世界邁出了重要一步。

近兩年光景，由ChatGPT和Stable Diffusion等生成式AI模型引領涌現出了全新的企業級和消費級用例，在實用性、生產力和娛樂性方面帶來了增強體驗。毫無疑問，AI即未來。

最好的科技是讓人感覺不到存在，但AI已經從幕后走向臺前。經過十數年的發展，眾多廠商的努力讓AI從邊緣小透明變成了深度參與終端運行的強大一環。在AI發展的關鍵節點，高通提出了“混合AI是AI的未來”這一論斷，在混合AI方向不斷發力，推動混合AI取得新突破。

混合AI是什么

高通認為，混合式AI是傳統基于云端的AI與端側AI的結合，云端和終端共同處理AI計算，借助端側的即時感知、即時處理優勢填補云端AI在延遲方面的短板，同時云端的超高算力也能對端側AI性能不足的情況進行強有力的補充。

未來AI將在云端、邊緣云和終端側協同運行，構建混合AI架構。利用5G在云端算力和終端應用的關鍵橋梁作用，實現混合AI系統中的計算和處理能力以最有效的方式分布，讓AI更強大、更高效、更優化。

正如高通公司全球高級副總裁錢堃在世界互聯網大會數字文明尼山對話上提到的，“能夠實現終端和云端協同工作的混合AI架構將構筑AI的未來，是推動人工智能走進千家萬戶、惠及百業千行的關鍵所在。”

全棧式AI優化賦能終端側AI應用

再強大的AI算力都需要開發者利用，形成用戶可以實際使用的應用或服務。上游廠商、開發者、OEM與用戶共同構成了AI應用的生態閉環。作為行業領導者的高通不僅擁有軟硬件優勢，還能夠從底層為開發者和眾多OEM廠商提供工具、配套設施和解決方案，讓AI開發的活力充分涌動。

目前，高通為應用、神經網絡模型、算法、軟件和硬件進行全棧AI研究和優化。高通AI軟件棧旨在幫助開發者實現一次開發，即可跨高通所有硬件運行AI負載。高通 AI 軟件棧全面支持主流AI 框架，同時它還集成了推理軟件開發包(SDK)，包括面向 Android、Linux 和Windows 的不同版本。高通開發者庫和服務支持最新編程語言、虛擬平臺和編譯器。

在更底層，高通的系統軟件集成了基礎的實時操作系統(RTOS)、系統接口和驅動程序。我們還支持廣泛的操作系統(包括Android、Windows、Linux和QNX)，以及用于部署和監控的基礎設施。

高通AI軟件棧還集成了Qualcomm? AI Studio，支持從模型設計到優化、部署和分析的完整工作流。這一工具相當于為開發者搭建了一個官方的“工具箱”，在這個工具箱界面內，開發者可以自由選擇需要的工具，極大地降低開發難度，有助于縮短開發時間、提高開發效率，同時還支持開發者實時查看模型開發進度。

高通所推崇的混合AI解決方案是一個全棧優化的整體解決方案。高通為應用、神經網絡模型、算法、軟件和硬件進行了全棧AI研究和優化。異構計算方法利用硬件(比如 CPU、GPU和AI加速器)和軟件(比如高通AI軟件棧)來加速終端側AI。

從算法和模型開發到軟件和模型效率、從量化編譯到硬件加速，高通的全棧式AI優化如同齒輪般精密嚙合，形成了如今我們看到的樣子。

堅實一步 10億參數模型已可在移動端應用

在本屆世界互聯網大會上，高通展示了基于Android終端的超10億參數模型的生成式AI模型。關注圖片生成式AI的朋友們對Stable Diffusion一定不陌生。

這是一個非常出色的從文本到圖像的生成式AI模型，能夠基于任何文本輸入，在數十秒內創作出逼真圖像。由于這一模型的參數超過10億，因此現階段主要在云端運行。

高通采用全棧AI優化的方式，通過量化、編譯和硬件加速進行優化，使Stable Diffusion能在搭載第二代驍龍8移動平臺的手機上運行，在15秒內執行20步推理，生成一張512×512像素的圖像。

高通表示，這是在智能手機上最快的推理速度，其運算時延足以媲美云端，且用戶文本輸入完全不受限制。目前，高通也已經將Stable Diffusion這一生成式AI用例擴展到搭載驍龍計算平臺的PC產品上。

另一款ControlNet圖像生成圖像模型是一項語言-視覺模型(LVM)，它的參數量級更是達到了15億，能夠通過調整輸入圖像和輸入文本描述，更精準地控制生成圖像。

在這項演示中，ControlNet能夠在終端側實現高效交互運行，通過一套跨模型架構、AI軟件和神經網絡硬件加速器的全棧式AI優化，12秒內便可完成16步推理，生成AI圖像，無需訪問任何云端，便能提供高效、有趣、可靠且私密的交互式用戶體驗。高通AI模型增效工具包、高通AI軟件棧和高通AI引擎在此過程中發揮了關鍵作用。

隨著強大的生成式AI模型不斷縮小以及終端側處理能力的持續提升，混合AI的潛力將會進一步增長。驍龍移動平臺能夠支持超過10億參數的生成式AI模型，而在不久的將來我們就能看到高通在移動端部署的100億參數的大語言模型，這在此前的移動端是難以想象的。

混合AI策略適用于幾乎所有生成式AI應用和終端領域，包括手機、筆記本電腦、XR頭顯、汽車和物聯網。這一策略對推動生成式AI規模化擴展、滿足全球企業與消費者需求至關重要。

加速推動終端側AI落地 高通領導力優勢明顯

端側是高通關注的重點，也是AI惠及用戶的落腳之處。在倡導終端側AI落地方面，高通具有十足的實力與發言權。

高通在AI方面的研發已經超過15年。就移動端來說，早在2007年高通就在驍龍平臺上推出了首個Hexagon處理器，2015年的驍龍820處理器則集成了首個專門面向移動平臺的高通AI引擎，支持圖像、音頻和傳感器的運算。驍龍855則集成了張量加速器(Tensor Accelerator)，專門處理運行過程中的AI運算任務。

高通明確地洞察了AI在移動端的應用前景。生成式AI必然是趨勢，而高通已經能夠提供在邊緣側終端上低功耗運行生成式AI所需的處理性能，例如大語言模型(LLM)等。

目前生成式AI正處于快速迭代并廣泛采用的階段，就不能像目前這樣僅在云端進行推理，還必須在終端側進行大量AI處理。同時高通也明白，端側的算力并不能完全承擔生成式AI的運算。

此外，正如前文所提到的高通已經在移動端運行超過10億參數的AI運算，在終端側AI推理方面，通過AI 硬件加速和高通AI軟件棧這樣的簡化開發的軟件解決方案，高通將在未來幾個月具備在終端側運行超過100億參數的模型，這將進一步提升AI在終端側運算能力的上限，也意味著可以用于更加復雜的AI運算，幫助用戶解決更多實際問題。

高通的AI加速架構靈活、穩健，能夠應對生成式AI模型架構的潛在變化。隨著大語言模型和其他生成式AI模型持續演進，高通AI軟件棧和技術將隨之不斷發展。加之為開發者所提供的AI架構與全棧AI套件，無論何時開發者都有能夠輕松開發混合AI應用。

在推進混合AI發展的路上，高通部署的邊緣側終端規模十分龐大，具備其他方案提供商所不具備的規模優勢。驍龍平臺在移動平臺AI基準測試中處于領先地位，高通的AI能力已經賦能包括手機、汽車、XR、PC和物聯網等一系列廣泛產品，搭載驍龍和高通平臺的已上市用戶終端數量已達到數十億臺。

前文所提到的AI加速解決方案以及各類關鍵IP創新和技術能能夠進行穩定迭代，并且支持跨細分領域快速普及相關功能并下沉到主流和入門級產品。

寫在最后

混合AI之風勁吹，而引領混合AI發展的領軍角色，高通已經站在了高屋建瓴的位置。可以預見的是，生成式AI用例將持續演進并成為未來的主流。而隨著生成式AI的不斷迭代，其對算力的需求也將進一步水漲船高，因此對于云端和基礎設施需求也將不斷增加。

高通過十數年的布局，以深厚的技術積累、廣泛的合作伙伴與完備的生態為混合AI搭建了舞臺，憑借終端側AI的先進能力，混合AI架構將在高通的引導下規模化擴展，滿足企業和消費者的需求。

而高通的混合AI在成本、能耗、性能、隱私、安全和個性化等多方面都具備明顯優勢。高通期待通過未來云端和終端的協同工作，依托強大、高效且高度優化的AI能力，打造下一代全新的用戶體驗。

投稿單位：重慶天極網絡有限公司

審核專家：李志高

聲明：除原創內容及特別說明之外，部分圖片來源網絡，非商業用途，僅作為科普傳播素材，版權歸原作者所有，若有侵權，請聯系刪除。

來源: 重慶市科學技術協會