美譽度品牌管理
作者 | jojo
編輯 | jonyle

今年科技圈最火熱的話題，非生成式AI莫屬，而生成式AI發(fā)展迭代的速度之快，也令人驚嘆。

從GPT-3.5到GPT-4.0，從多模態(tài)交互融入到插件的支持，而曾經(jīng)只能跑在云端的AI大模型，也開始在智能終端設(shè)備中落地。

沒錯，今天擁有數(shù)十億、上百億參數(shù)的AI大模型已經(jīng)可以直接在你的手機上運行了。注意，是完全本地化運行，只依賴手機本身的算力。

這聽起來似乎還有些遙遠(yuǎn)，但就在上周召開的上海WAIC上，我們已經(jīng)看到搭載高通第二代驍龍8芯片的安卓手機直接運行參數(shù)規(guī)模超過10億的Stable Diffusion，且只需要15秒左右就可以出圖，而參數(shù)規(guī)模超過15億的ControlNet也成功在手機終端上實現(xiàn)了本地化運行。

▲搭載驍龍芯片的手機運行Stable Diffusion，15秒左右出圖，來源：高通

在WAIC上，我們還能看到各類生成式AI應(yīng)用已經(jīng)可以被越來越多的普通消費者通過身邊的智能設(shè)備接觸到。

AI正迎來大爆發(fā)時期，就像此前電視、互聯(lián)網(wǎng)和智能手機的問世，而這種爆發(fā)對算力以及計算架構(gòu)都提出了新的需求。AI訓(xùn)練和推理的成本顯著提升，計算架構(gòu)需要不斷演進(jìn)并滿足生成式AI日益增長的處理和性能需求。

在移動芯片巨頭高通看來，未來生成式AI的發(fā)展必然會是云端與終端側(cè)的“混合”模式。

在這樣的大背景下，以智能手機為代表的各類智能終端產(chǎn)品很快就會迎來AI體驗的變革，生成式AI無疑將席卷整個智能硬件賽道。

如何實現(xiàn)大模型在端側(cè)的落地？如何實現(xiàn)端側(cè)和云端的高效協(xié)同？如何設(shè)計出更高效的“混合AI”架構(gòu)？面向生成式AI革新終端體驗的大趨勢，從芯片到軟件到算法再到生態(tài)，高通已經(jīng)提前布局，成為端側(cè)AI體驗變革的核心推動者之一。面向生成式AI的未來，高通已經(jīng)提前給出了自己的答案。

一、“混合AI”未來已至，手機跑大模型成為現(xiàn)實

生成式AI在終端側(cè)的落地，與我們每一個人的生活密切相關(guān)，一項技術(shù)從實驗室中走到商用，再到面向消費市場大范圍落地，必然需要有一個落地的平臺，各類智能終端設(shè)備無疑扮演著這樣的角色。

從去年底到今年年中，短短不到一年，生成式AI及相關(guān)產(chǎn)品應(yīng)用如雨后春筍般成長。據(jù)統(tǒng)計，目前已有3000多個可用的生成式AI應(yīng)用和特性出現(xiàn)。

但這些應(yīng)用受限于背后大模型的復(fù)雜度和龐大規(guī)模，絕大部分都只能在云端運行，前不久ChatGPT推出了iOS版本，但該應(yīng)用的任務(wù)處理仍然是基于云端的。

究其原因，AI大模型的推理成本會隨著日活用戶數(shù)量及其使用頻率的增長而顯著增加。云端推理的高成本，讓生成式AI的規(guī)模化擴(kuò)展陷入瓶頸。

在這樣的大趨勢下，高通日前發(fā)布了《混合AI是AI的未來》技術(shù)白皮書，提出了混合AI架構(gòu)的概念。“混合”，就意味著云端要和手機、PC、XR頭顯、汽車這些終端設(shè)備協(xié)同工作，而不是單打獨斗。

在今年WAIC上，高通公司高級副總裁兼AI負(fù)責(zé)人Ziad Asghar就提到，為實現(xiàn)生成式AI的規(guī)?；瘮U(kuò)展，AI處理的重心正在向邊緣轉(zhuǎn)移。

▲高通技術(shù)公司產(chǎn)品管理高級副總裁兼AI負(fù)責(zé)人Ziad-Asghar，來源：高通

因此AI能否真正在終端側(cè)應(yīng)用落地，并與云端進(jìn)行高效協(xié)同，就顯得至關(guān)重要。

從此次WAIC上的一系列演示和獲獎成果來看，高通在AI落地智能終端方面顯然是走得更快的一家科技巨頭，尤其是在其強項的智能手機賽道中，高通已經(jīng)展示了多個“全球首次”。

可以說，手機跑大模型，已經(jīng)逐漸走入現(xiàn)實。

Stable Diffusion是我們很熟悉的一個文本到圖像生成式AI模型，其參數(shù)超過10億，而在WAIC上，一部搭載高通第二代驍龍8移動平臺的智能手機已經(jīng)可以直接本地運行Stable Diffusion，并且在15秒內(nèi)生成一張512×512像素的圖像。

從現(xiàn)場實際演示來看，其時延已經(jīng)可以做到和云端相當(dāng)，且由于是完全本地化運行，用戶輸入的文本也完全不受限制。

據(jù)了解，這背后，高通采用了全棧AI優(yōu)化的方式，通過量化、編譯和硬件加速進(jìn)行優(yōu)化，最終實現(xiàn)了這一用例。值得一提的是，高通已經(jīng)這一能力擴(kuò)展到了搭載驍龍芯片的PC產(chǎn)品上。

除此之外，高通還演示了ControlNet這一圖像到圖像生成式AI模型在智能手機上的運行，該模型的參數(shù)量更是達(dá)到了15億。

在演示中，ControlNet通過跨模型架構(gòu)、AI軟件和神經(jīng)網(wǎng)絡(luò)硬件加速器的全棧式AI優(yōu)化，在12秒的時間內(nèi)完成了16步推理，最終完成了AI圖像生成，整個過程不需要訪問任何云端。

▲在手機上本地化運行15億參數(shù)的圖像到圖像模型ControlNet，來源：高通

一方面，高通在WAIC上的展示讓我們看到生成式AI落地終端，已經(jīng)成為現(xiàn)實，另一方面，我們也能看到高通在終端AI領(lǐng)域的實力。因為目前高通是全球唯一一個能夠?qū)崿F(xiàn)在智能手機本地運行大模型的廠商。

高通Ziad Asghar在大會上還做了進(jìn)一步展望，他說，未來擁有100億或更大規(guī)模參數(shù)的生成式AI模型也會在終端上運行，推動生成式AI的普及。

二、背靠數(shù)十億終端，從軟硬件到生態(tài)，構(gòu)建全棧式AI能力

WAIC上的一系列成果，讓我們看到了高通在終端AI領(lǐng)域已經(jīng)走在了行業(yè)前列，而在這背后，高通已經(jīng)在終端AI相關(guān)硬件、軟件、生態(tài)等方面儲備了諸多產(chǎn)品和技術(shù)，形成了自己的全棧式AI能力，這也是高通在AI時代核心的秘密武器之一。

在前文提到的各種智能手機運行AI大模型的案例中，我們經(jīng)?？吹健叭珬Ｊ紸I”這個詞，高通的這項能力也是其對于AI產(chǎn)業(yè)的核心價值所在。

首先在硬件層面，芯片層的AI運算處理能力是AI落地終端的必要條件，目前高通AI引擎是高通在硬件領(lǐng)域的殺手锏之一。

就在此次WAIC上，第二代驍龍8移動平臺中的高通AI引擎獲得了2023世界人工智能大會SAIL獎（卓越人工智能引領(lǐng)者獎），這也側(cè)面證明了高通在AI硬件技術(shù)方面的能力。

▲第二代驍龍8移動平臺的高通AI引擎榮獲SAIL獎，來源：高通

根據(jù)高通官方實驗數(shù)據(jù)，搭載高通AI引擎的智能手機，其解決方案的能效與競品相比大約有2倍左右的優(yōu)勢，以更低功耗提供過硬的終端側(cè)AI性能是高通AI引擎的一大強項。

▲第二代驍龍8的AI能效與競品相比較，來源：高通

具體來看，高通AI引擎采用了異構(gòu)計算架構(gòu)，其中的Hexagon處理器、Adreno GPU和Kryo CPU這三個模塊都對終端側(cè)運行AI應(yīng)用進(jìn)行了針對性優(yōu)化。

Hexagon處理器使用了專用的供電系統(tǒng)，按照工作負(fù)載適配功率，從而提升系統(tǒng)能效比。此外，Hexagon處理器支持微切片推理和INT4硬件加速，可以在AI處理方面實現(xiàn)更高性能、更低的能耗和內(nèi)存占用。

目前生成式AI領(lǐng)域大量應(yīng)用到Transformer模型，而Hexagon處理器可以對Transformer進(jìn)行加速，提升生成式AI中一些關(guān)鍵機制的推理速度，根據(jù)高通實驗數(shù)據(jù)，在使用MobileBERT的特定用例中，AI性能可以提升4.35倍。

正如前文所說，既然是“全棧”，就要軟硬技術(shù)都過關(guān)。

在軟件能力方面，高通AI軟件棧可以說是高通所有相關(guān)AI軟件產(chǎn)品的“集大成”方案， 借助高通AI軟件棧，開發(fā)者只需要創(chuàng)建一次AI模型，就可以實現(xiàn)跨不同產(chǎn)品的部署。

▲高通AI軟件棧，來源：高通

此外，高通AI軟件棧支持TensorFlow、PyTorch、ONNX和Keras等主流AI框架以及對應(yīng)的runtime，集成了面向Android、Linux和Windows不同版本的高通神經(jīng)網(wǎng)絡(luò)處理SDK。

值得注意的是，高通一直專注于AI模型效率研究，從而提升AI模型運行的能效和性能，這對于生成式AI的應(yīng)用和擴(kuò)展是至關(guān)重要的。

高通通過量化、壓縮、條件計算、神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索和編譯，在不犧牲太多精度的前提下對AI模型進(jìn)行了縮減。在量化方面，高通將FP32模型量化壓縮到INT4模型，實現(xiàn)了64倍內(nèi)存和計算能效提升。

在生成式AI領(lǐng)域，像常見的GPT、Bloom以及LLaMA這樣基于Transformer的大語言模型通常會受到內(nèi)存的限制，根據(jù)高通實驗數(shù)據(jù)，借助量化感知訓(xùn)練以及更加深入的量化研究，不少生成式 AI 模型可以量化至INT4模型，與INT8相比，性能提升約為90%，能效提升在60%左右。

我們表面上看到的是數(shù)十億參數(shù)的大模型輕松地跑在了手機上，但實際上這背后高通在提升AI模型效率方面的研究發(fā)揮著關(guān)鍵作用。

高通全球副總裁兼高通AI研究負(fù)責(zé)人侯紀(jì)磊博士在WAIC上特別提到，能效是高通AI解決方案的核心優(yōu)勢之一，以極低功耗提供出色的終端側(cè)AI性能，賦能AI用例，是他們要做的。

▲高通技術(shù)公司全球副總裁兼高通AI研究負(fù)責(zé)人侯紀(jì)磊博士，來源：高通

最后，在硬件、軟件之外，高通在全球化規(guī)模以及生態(tài)建設(shè)方面的優(yōu)勢也成為其推動生成式AI落地終端的關(guān)鍵動力。

目前搭載高通AI引擎產(chǎn)品出貨量已經(jīng)超過20億個，根據(jù)市研機構(gòu)Counterpoint數(shù)據(jù)統(tǒng)計，搭載驍龍和高通平臺的已上市用戶終端數(shù)量規(guī)模在數(shù)十億臺。市研機構(gòu)TechInsights預(yù)測，未來高通會以超過40%的市場份額保持AI智能手機處理器出貨量第一，超過蘋果公司的25%以及聯(lián)發(fā)科的24%。

此外，搭載驍龍平臺的已發(fā)布XR終端已經(jīng)超過65款，其中Meta、PICO等頭部廠商的旗艦產(chǎn)品均采用的是高通芯片。

可以看到，高通的AI能力已經(jīng)深入數(shù)十億邊緣終端設(shè)備，形成跨智能手機、汽車、XR、PC以及企業(yè)級AI等現(xiàn)有市場和新興領(lǐng)域的終端AI生態(tài)系統(tǒng)。

憑借在軟硬件技術(shù)實力、全球化規(guī)模和生態(tài)系統(tǒng)賦能方面的優(yōu)勢，高通正在推動生成式AI加速落地終端。

正如侯紀(jì)磊博士在WAIC上所說到的，憑借一系列基礎(chǔ)研究，以及跨AI應(yīng)用、模型、硬件與軟件的全棧終端側(cè)AI優(yōu)化，高通一直處于終端側(cè)AI解決方案的前沿。

三、深耕AI研究十五年，推動技術(shù)從實驗室走到消費者手中

科技產(chǎn)業(yè)發(fā)展的每個時代，都有行業(yè)的引領(lǐng)者，通過技術(shù)創(chuàng)新帶動行業(yè)的發(fā)展，例如PC時代的微軟、英特爾、智能手機時代的蘋果，而在生成式AI的新浪潮中，各路玩家仍在尋找自己的定位，產(chǎn)業(yè)格局仍充滿變量。

能夠把握住生成式AI的浪潮，精準(zhǔn)利用優(yōu)勢產(chǎn)品和技術(shù)切入賽道，對于每家科技公司來說都不是一件容易的事。在WAIC展示的各類生成式AI落地智能手機的用例背后，高通其實在AI前沿技術(shù)研究領(lǐng)域已經(jīng)深耕多年，甚至在生成式AI領(lǐng)域，也已提前多年進(jìn)行了前瞻性探索。這些研究對于推動AI與移動通信產(chǎn)業(yè)的融合發(fā)展發(fā)揮著關(guān)鍵作用。

從2007年高通驍龍平臺搭載首個Hexagon處理器至今，高通深耕AI研發(fā)已超過15年。

▲高通近15年來AI研究重要節(jié)點，來源：高通

從2015年的驍龍820集成了首個專門面向移動平臺的高通AI引擎，到2019年驍龍865開始擴(kuò)展終端側(cè)AI用例，多年來高通一直在推動終端側(cè)AI技術(shù)的迭代，讓感知、推理和行為等核心能力在終端上落地。

此外，多年來高通的重要AI研究也在影響著行業(yè)，推動高能效AI的研究和發(fā)展，加速AI在終端側(cè)的落地應(yīng)用。

從高通歷年發(fā)布的AI研究論文來看，高通在計算機視覺、無線和射頻傳感、能源效率、機器學(xué)習(xí)、音視頻和語言處理、數(shù)據(jù)壓縮模型生成、個性化與聯(lián)邦學(xué)習(xí)、強化學(xué)習(xí)、AI編譯器和算法等AI前沿基礎(chǔ)理論研究領(lǐng)域均有不少研究成果發(fā)布。

▲高通AI研究主要涉及領(lǐng)域，來源：高通

比如在今年的CVPR上，高通展示了全球首個在移動設(shè)備上通過神經(jīng)編解碼器對1080P視頻進(jìn)行編碼和解碼的演示。根據(jù)實際演示視頻，在搭載高通芯片的智能手機上，神經(jīng)編解碼器進(jìn)行視頻解碼的速度已經(jīng)達(dá)到了35FPS左右。

▲在手機上進(jìn)行的1080P神經(jīng)網(wǎng)絡(luò)視頻編碼，來源：高通

與此同時，高通在前沿算法和模型開發(fā)領(lǐng)域一直持續(xù)迭代自己的技術(shù)，比如具備自主學(xué)習(xí)能力的FrameExit模型、應(yīng)用在移動終端上的量化技術(shù)和創(chuàng)新的編譯器棧等。

高通利用INT4模型在終端側(cè)實現(xiàn)了全球首個實時超級分辨率任務(wù)處理，與INT8相比，INT4模型的性能和能效提高了1.5倍到2倍。

可以說，十五年來高通在AI領(lǐng)域的深厚積累，已經(jīng)成為今天他們發(fā)力生成式AI、推進(jìn)混合AI發(fā)展的關(guān)鍵技術(shù)底蘊。

高通的身影一直活躍在AI技術(shù)前沿研究領(lǐng)域，一面連接學(xué)術(shù)界、產(chǎn)業(yè)界，推動著技術(shù)的發(fā)展，一面連接消費者，完善技術(shù)落地產(chǎn)品的體驗，高通無疑已經(jīng)成為“混合AI時代”加速生成式AI落地終端的核心推動者。

結(jié)語：生成式AI加速落地終端，AI產(chǎn)業(yè)涌現(xiàn)新變量

今天，生成式AI對各行各業(yè)產(chǎn)生深刻影響，幾乎所有科技公司，都已卷入生成式AI的浪潮。

終端AI應(yīng)用的深度廣度都在加速擴(kuò)張，云端和終端協(xié)同工作的混合AI將成為生成式AI體驗的底層保障。百億甚至千億規(guī)模參數(shù)大模型落地終端，也將在不久的將來成為現(xiàn)實。

在未來端云結(jié)合的混合AI時代，能夠提供全套解決方案的玩家必然會成為產(chǎn)業(yè)關(guān)注的焦點， 作為底層技術(shù)和生態(tài)構(gòu)建者的高通，正成為產(chǎn)業(yè)中不可或缺的一環(huán)。端側(cè)AI的應(yīng)用正在迎來一次“進(jìn)化”，而高通正在為這次革命按下加速鍵。