【天極網(wǎng)筆記本頻道】繼《混合AI是AI的未來》白皮書之后，高通近日再度發(fā)布了一部有關(guān)AI的白皮書——《通過NPU和異構(gòu)計算開啟終端側(cè)生成式AI》。前者詳細闡述了高通對于未來AI發(fā)展的預(yù)測——終端側(cè)AI和混合AI開啟生成式AI的未來，并展示了高通在推動混合AI規(guī)模化方面的優(yōu)勢;后者則為我們進一步打開了視野——高通敏銳地判斷生成式AI變革已經(jīng)到來，研發(fā)專為生成式AI定制的計算架構(gòu)是必然。基于異構(gòu)計算理念，高通Hexagon?NPU與高通AI引擎的價值更加顯現(xiàn)。

此前，高通在二月舉行的巴塞羅那世界移動通信大會(MWC)上發(fā)布了公司AI領(lǐng)域的最新進展。包括但不限于全新高通AI?Hub、AI前沿研究突破以及AI賦能的商用終端展示。從MWC?2024全新AI白皮書的發(fā)布我們不難看出，身處行業(yè)上游的高通不僅僅在為開發(fā)者賦能，同時也在推動技術(shù)落地、向下游滲透，并且變革由驍龍和高通平臺支持的廣泛終端品類上的用戶體驗。

我們?yōu)槭裁葱枰狽PU和異構(gòu)計算

生成式AI進入端側(cè)已經(jīng)是大勢所趨，而我們首先需要明確的一點是，生成式AI多樣化的計算需求需要不同的處理器來滿足。在端側(cè)的具體使用場景中，CPU和GPU都會負擔(dān)一部分AI運算。其中CPU主要應(yīng)對順序控制和即時性運算，適用于需要低時延的應(yīng)用場景;GPU擅長面向高精度格式的并行數(shù)據(jù)流處理，比如對畫質(zhì)要求非常高的圖像以及視頻處理;而NPU則更擅長與AI運算直接關(guān)聯(lián)的標量、向量和張量數(shù)學(xué)運算，可用于核心AI工作負載。正所謂“專業(yè)的人做專業(yè)的事”，不同的AI運算運行在適合的芯片上時才能夠最大化效率。優(yōu)秀的NPU設(shè)計能夠為處理這些AI工作負載做出正確的設(shè)計選擇，這與AI行業(yè)方向保持高度一致。

當(dāng)下，要滿足生成式AI的多樣化要求和計算需求，整合不同的處理器的算力是必然。高通的NPU并非是獨立存在的，而是與CPU、GPU共同構(gòu)成了異構(gòu)計算體系。高通AI引擎包括高通Hexagon?NPU，它是高通AI引擎中的關(guān)鍵處理器，通過定制設(shè)計NPU以及控制指令集架構(gòu)(ISA)，高通能夠快速進行設(shè)計演進和擴展，解決瓶頸問題并優(yōu)化性能。

此外，高通AI引擎還包括高通Adreno?GPU、高通?Kryo或高通?Oryon?CPU、高通傳感器中樞和內(nèi)存子系統(tǒng)。這些處理器為實現(xiàn)協(xié)同工作而設(shè)計，能夠在終端側(cè)快速且高效地運行AI應(yīng)用。在四大核心模塊的通力協(xié)作下，高通異構(gòu)計算能夠?qū)崿F(xiàn)最佳應(yīng)用性能、能效和電池續(xù)航，實現(xiàn)生成式AI終端性能的最大化。

優(yōu)勢明顯?高通NPU以質(zhì)取勝

從2007年起，高通就開始在NPU方面進行研發(fā)嘗試并持續(xù)投入。2015年，驍龍820集成了首個高通AI引擎;2018年，高通在驍龍855中為Hexagon?NPU增加了Hexagon張量加速器。2020年，高通對Hexagon?NPU進行了架構(gòu)變革融合，AI加速器架構(gòu)為高通未來的NPU架構(gòu)打下了堅實的基礎(chǔ)。2023年，第三代驍龍8的微切片推理進一步升級，在降低內(nèi)存帶寬占用;Hexagon?張量加速器增加了獨立的電源傳輸軌道，大共享內(nèi)存的帶寬也增加了一倍?；谝陨咸嵘虸NT4硬件加速，Hexagon?NPU成為了面向終端側(cè)生成式AI大模型推理的領(lǐng)先處理器。

目前，Hexagon?NPU可以實現(xiàn)在終端側(cè)運行高達100億參數(shù)的模型，在首個token的生成速度和每秒生成token速率方面業(yè)界領(lǐng)先。MWC?2024期間，高通展示了在第三代驍龍8移動平臺上運行的首個大語言和視覺助理大模型(LLaVA)，能夠基于圖像輸入解答用戶的相關(guān)問題。

除了手機端，高通在AI?PC方面的建樹同樣矚目。高通在去年底發(fā)布了專為AI?PC打造的驍龍X?Elite平臺，它能支持在終端側(cè)運行超過130億參數(shù)的生成式AI模型，AI處理速度是競品的4.5倍。基于驍龍X?Elite，高通也展示了全球首個在終端側(cè)運行的超過70億參數(shù)的大型多模態(tài)語言模型(LMM)，可接受文本和音頻輸入(如音樂、交通環(huán)境音頻等)，并基于音頻內(nèi)容生成多輪對話。該模型經(jīng)過優(yōu)化，能夠?qū)崿F(xiàn)出色的性能和能效，并完全在終端側(cè)運行，充分發(fā)揮驍龍X?Elite的強大能力。

從專業(yè)技術(shù)的角度來看，我們可以通過TOPS、也就是Tera?Operations?Per?Second進行算力表示，1TOPS代表處理器每秒鐘可進行一萬億次(1012)操作。但是具體到實際使用的場景中，NPU性能比較“難以感知”，AI性能也是一個比較不太好量化的數(shù)據(jù)，消費者很難對不同設(shè)備的AI性能進行同等條件下的測試。

我們現(xiàn)在能夠見到的對AI算力進行量化的軟件以魯大師AIMark和AITuTu測試為代表。首先來看第三代驍龍8和三款A(yù)ndroid以及iOS平臺競品的對比。在安兔兔AITuTu基準測試中，第三代驍龍8能夠達到競品B的6.3倍。而在魯大師AIMark?V4.3基準測試中，第三代驍龍8能夠領(lǐng)先競品6-8倍。在MLCommon?MLPerf推理的不同子項中，例如圖像分類、語言理解以及超級分辨率等項目中，第三代驍龍8都保持領(lǐng)先。

在PC端AI性能方面，驍龍X?Elite與其他X86架構(gòu)競品同樣優(yōu)勢明顯，在面向Windows的UL?Procyon?AI推理基準測試中，驍龍X?Elite在ResNet-50、DeeplabV3等測試中都保持著大幅領(lǐng)先，基準測試總分相較于X86架構(gòu)競品最大領(lǐng)先可達8.6倍。可以說，無論是在手機端還是PC端，驍龍平臺在AI方面都具備突出的領(lǐng)先優(yōu)勢。在被稱作“AI?PC”元年的2024年，搭載驍龍X?Elite的產(chǎn)品值得期待。

開發(fā)者獲益?高通打造專業(yè)工具庫

“工欲善其事，必先利其器?！鄙硖幮袠I(yè)上游的高通非常清楚，AI行業(yè)的發(fā)展離不了開發(fā)者的支持。開發(fā)者是行業(yè)生態(tài)的根基，如果沒有針對開發(fā)者的相關(guān)工具應(yīng)用，想要激發(fā)開發(fā)者的創(chuàng)作興趣、快速完善行業(yè)生態(tài)只是空想。

全新的高通AI?Hub正是高通為開發(fā)者準備的“利器”。剛剛于MWC?2024上推出的高通AI?Hub包含預(yù)優(yōu)化AI模型庫，支持在搭載驍龍和高通平臺的終端上進行無縫部署。

該模型庫為開發(fā)者提供了超過75個主流的AI和生成式AI模型，比如Whisper、ControlNet、Stable?Diffusion和Baichuan-7B，可在不同執(zhí)行環(huán)境(runtime)中打包，在不同形態(tài)終端中實現(xiàn)出色的終端側(cè)AI性能、降低內(nèi)存占用并提升能效。高通針對所有模型進行了優(yōu)化，使它們可以充分利用高通AI引擎內(nèi)所有核心(NPU、CPU和GPU)的硬件加速能力，大幅提升推理速度。

值得一提的是AI模型庫能夠自動處理從源框架到主流執(zhí)行環(huán)境的模型轉(zhuǎn)換，直接與高通AI引擎Direct?SDK協(xié)同工作，并且應(yīng)用硬件感知優(yōu)化。開發(fā)者可將這些模型無縫集成進應(yīng)用程序，縮短產(chǎn)品上市時間，發(fā)揮終端側(cè)AI部署的即時性、可靠性、隱私、個性化和成本優(yōu)勢。

此前高通也已經(jīng)推出了高通AI軟件棧(AI?Stack)。從智能手機到PC、物聯(lián)網(wǎng)終端、汽車，這一軟件棧橫跨高通所有不同產(chǎn)品線，對于開發(fā)者來說，只需開發(fā)一次就能將應(yīng)用規(guī)?；瘮U展到不同類型的終端。高通AI軟件棧不僅支持主流AI框架(如TensorFlow、PyTorch、ONNX和Keras)和runtime(如TensorFlow?Lite、TensorFlow?Lite?Micro、ExecuTorch和?ONNXruntime)，還集成了面向Android、Linux和Windows不同系統(tǒng)的用于推理的高通神經(jīng)網(wǎng)絡(luò)處理SDK。此外，對于采用不同操作系統(tǒng)的跨平臺產(chǎn)品，高通AI軟件棧也都進行了支持，甚至連部署和監(jiān)控的基礎(chǔ)設(shè)施也沒有落下。

寫在最后

終端側(cè)AI是大勢所趨。很顯而易見的是，終端側(cè)AI在成本和能效方面具備突出優(yōu)勢。生成式AI應(yīng)用的擴展下，AI模型的規(guī)模也會越來越大，用戶規(guī)模同樣會不斷增加，云端處理的成本問題會限制生成式AI的發(fā)展，而用戶在終端側(cè)獲取這些模型幾乎不需要費用。在可持續(xù)性方面，大規(guī)模用戶訪問云端模型將產(chǎn)生大量的能耗。運行GPU、散熱所消耗的能源將是天文數(shù)字。而在終端側(cè)運行大模型的能效優(yōu)勢就很明顯了，高通的Hexagon?NPU以及異構(gòu)計算體系能夠支持在終端側(cè)以最高效的方式運行AI模型，讓消費者在端側(cè)感受到AI帶來的便利。

AI生態(tài)的構(gòu)建并非朝夕所能成。通過多年布局，高通從底層到生態(tài)一磚一瓦構(gòu)建了異構(gòu)計算架構(gòu)，它不僅帶來了Hexagon?NPU，為智能手機、PC等眾多平臺推出了第三代驍龍8、驍龍X?Elite等頂尖算力支持，同時為開發(fā)者設(shè)計了包括高通AI軟件棧(Qualcomm?AI?Stack)和AI?Hub在內(nèi)的眾多開發(fā)套件和工具庫，助力開發(fā)者的同時也是在加速生態(tài)完善，最終使最廣大消費者獲益。

現(xiàn)階段，雖然AI終端市場的發(fā)展還處在初期階段，但高通已經(jīng)通過AI為不同產(chǎn)品和解決方案帶來了顯著的改進，AI對消費者的重要性也在不斷增加，未來無論教育、醫(yī)學(xué)還是養(yǎng)老等各個領(lǐng)域，AI的作用將愈發(fā)凸顯。高通勢必將繼續(xù)完善AI計算架構(gòu)，推出更強大的計算平臺，并且加速端側(cè)生成式AI滲透并變革全球用戶工作生活的方式，讓所有人都能享受到生成式AI帶來的便利。