作者｜周雅

今天的技術(shù)時代有幾分像是20多年前的.com世界。在互聯(lián)網(wǎng)出現(xiàn)時，有聲音高喊“每一臺計算機都將連接到互聯(lián)網(wǎng)”，而現(xiàn)在，同樣的聲音出現(xiàn)在個人電腦(PC)身上，只不過關(guān)鍵詞是AI。

從去年起，幾乎所有PC巨頭，包括聯(lián)想、戴爾、惠普、微軟等突然齊刷刷地推出或即將推出 AI PC 產(chǎn)品；業(yè)內(nèi)的討論聲音也多，比如英偉達CEO黃仁勛就曾表示“PC產(chǎn)業(yè)正在迎來再生，下個10年AI PC將取代傳統(tǒng)PC”，戴爾商用電腦與軟件副總裁Meghana Patwardhan更是直言——“未來每一臺PC將進化成AI PC”。

不過話說回來，究竟啥是AI PC？

01 漫談AI PC

AI PC顧名思義，是集成了AI的個人電腦。留意到此前IDC《AI PC產(chǎn)業(yè)(中國)白皮書》指出，AI PC是一個“混合體”，在硬件上集成了混合AI算力單元，且能夠本地運行“個人大模型”、創(chuàng)建個性化的本地知識庫，實現(xiàn)自然語言交互。

區(qū)別于現(xiàn)有的通用PC，AI PC將為用戶帶來四大價值：

1、通用場景下的個性化服務(wù)。AI PC 能夠針對工作、學(xué)習(xí)、生活等場景，提供個性化創(chuàng)作服務(wù)、私人秘書服務(wù)、設(shè)備管家服務(wù)在內(nèi)的個性化服務(wù)。
2、提供即時、可靠的服務(wù)響應(yīng)。2023年IDC針對用戶AIGC平臺使用體驗的調(diào)研中，“響應(yīng)速度慢”“反饋時間長”是用戶主要的負面反饋。AI PC 以本地推理為主，邊緣和云端推理為輔，能夠在混合算力、混合模型之間智能、合理的調(diào)配任務(wù)，有效縮減響應(yīng)時間。
3、更低的大模型使用成本。正因為本地推理輔以云端推理，一定程度降低了個人用戶使用AI大模型服務(wù)的成本。
4、可信、安全的個人數(shù)據(jù)和隱私保障等。

乍一看，或許看不出端倪，如果一言以蔽之，AI PC可以更好地支撐大語言模型和生成式AI應(yīng)用，帶來更懂你、智能化、個性化的體驗，或許也就讓PC回歸了它的名字，成為真正服務(wù)于每個人的“個人電腦”。

新概念最終是為新應(yīng)用的落地而生的。而提及生成式AI應(yīng)用，高通技術(shù)公司產(chǎn)品管理高級副總裁Ziad Asghar近期在媒體溝通會中，援引高通最新發(fā)布的《通過NPU和異構(gòu)計算開啟終端側(cè)生成式AI》白皮書中總結(jié)，生成式AI應(yīng)用可分為三類：

1、按需型：由用戶觸發(fā)，需要立即響應(yīng)。這包括照片/視頻拍攝、圖像生成/編輯、代碼生成、錄音轉(zhuǎn)錄/摘要和文本（電子郵件、文檔等）創(chuàng)作/摘要。比如用戶在PC上生成會議摘要，或在開車時用語音查詢最近的加油站。
2、持續(xù)型：運行時間較長。這包括語音識別、游戲和視頻的超級分辨率、視頻通話的音頻/視頻處理以及實時翻譯。比如用手機進行實時對話翻譯，或在 PC上玩游戲時逐幀運行超級分辨率。
3、泛在型：在后臺持續(xù)運行。這包括始終開啟的預(yù)測性AI助手、基于情境感知的AI 個性化和高級文本自動填充。比如手機根據(jù)對話內(nèi)容自動建議用戶要開會、PC根據(jù)用戶的答題情況實時調(diào)整學(xué)習(xí)資料。

不過，就像大模型需要數(shù)據(jù)中心的并發(fā)算力。這些生成式AI應(yīng)用，也面臨算力設(shè)施層面的兩大關(guān)鍵挑戰(zhàn)。

第一，由于終端的功耗和散熱受限，通用CPU 和 GPU，難以滿足這些生成式AI應(yīng)用嚴苛且多樣化的計算需求。
第二，這些生成式AI應(yīng)用在不斷演進而多樣化，如果在單一的硬件上部署，不符合常理。

對此，「NPU和異構(gòu)計算」成為硬件廠商專門應(yīng)對終端側(cè)生成式AI挑戰(zhàn)的關(guān)鍵。

02 CPU、GPU、NPU，傻傻分不清？

眾所周知，傳統(tǒng)的PC通常有兩個處理單元：

1、CPU(Central Processing Unit)，中央處理單元：是一塊超大規(guī)模的集成電路，主要邏輯架構(gòu)包括控制單元(Control)，運算單元(ALU)，高速緩沖存儲器(Cache)，以及實現(xiàn)它們之間聯(lián)系的數(shù)據(jù)(Data)、控制及狀態(tài)的總線(Bus)。簡單說，就是計算單元、控制單元和存儲單元。

CPU遵循的是馮•諾依曼架構(gòu)，其核心是存儲程序/數(shù)據(jù)、串行順序執(zhí)行。因此CPU的架構(gòu)中需要大量的空間去放置存儲單元和控制單元，相比之下計算單元ALU只占據(jù)了很小的一部分，所以CPU在進行大規(guī)模并行計算方面受到限制，相對而言更擅長于處理邏輯控制。

CPU無法做到大量數(shù)據(jù)并行計算的能力，但GPU可以。

2、GPU(Graphics Processing Unit)，圖形處理單元：是一種由大量運算單元組成的大規(guī)模并行計算架構(gòu)，早先由CPU中分出來專門用于處理圖像并行計算數(shù)據(jù)，專為同時處理多重并行計算任務(wù)而設(shè)計。

與CPU相比，CPU芯片空間的不到20%是ALU，而GPU芯片空間的80%以上是ALU。即GPU擁有更多的ALU用于數(shù)據(jù)并行處理。

因此，GPU的優(yōu)勢也很多，包括：多線程，提供了多核并行計算的基礎(chǔ)結(jié)構(gòu)，且核心數(shù)非常多，可以支撐大量數(shù)據(jù)的并行計算，處理神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)遠遠高效于CPU；擁有更高的訪存速度；以及更高的浮點運算能力。因此，GPU比CPU更適合深度學(xué)習(xí)中的大量訓(xùn)練數(shù)據(jù)、大量矩陣、卷積運算。

這里需要提及的是，GPU雖然在并行計算能力上盡顯優(yōu)勢，但并不能單獨工作，需要CPU的協(xié)同處理，對于神經(jīng)網(wǎng)絡(luò)模型的構(gòu)建和數(shù)據(jù)流的傳遞還是在CPU上進行。

但是，GPU也有天生缺陷，那就是功耗高，體積大，價格貴。性能越高的GPU體積越大，功耗越高，價格也昂貴，對于一些小型設(shè)備、移動設(shè)備來說將無法使用。

正所謂古語有云：工欲善其事必先利其器。一塊石頭，是通用的工具，即便可以用來做很多事，但如果把它精心打磨，讓它變成鋒利的工具，是不是就可以用來切割東西了呢？

因此，一種體積小、功耗低、計算性能高、計算效率高的ASIC專用芯片NPU，就是那塊打磨過的石頭。

NPU(Neural Processing Unit)，名為“神經(jīng)處理單元”。它針對于矩陣運算進行了專門的優(yōu)化設(shè)計，解決了傳統(tǒng)芯片在神經(jīng)網(wǎng)絡(luò)運算時效率低下的問題。

按照字面意思去理解，神經(jīng)網(wǎng)絡(luò)就是你大腦里的神經(jīng)元組成的網(wǎng)絡(luò)，錯綜復(fù)雜的神經(jīng)網(wǎng)絡(luò)滿滿都是人類智慧。而NPU就是在模仿人類大腦的神經(jīng)網(wǎng)絡(luò)，使之具備智能。

怎么模仿呢？NPU工作原理是在電路層模擬人類神經(jīng)元和突觸，并且用深度學(xué)習(xí)指令集直接處理大規(guī)模的神經(jīng)元和突觸，一條指令完成一組神經(jīng)元的處理。相比于CPU和GPU，NPU通過突出權(quán)重實現(xiàn)存儲和計算一體化，從而提高運行效率。

總結(jié)而言，NPU專為實現(xiàn)“以低功耗加速AI推理”而生，因為它是模仿生物神經(jīng)網(wǎng)絡(luò)而構(gòu)建的，CPU、GPU處理器需要用數(shù)千條指令完成的神經(jīng)元處理，NPU只要一條或幾條就能完成，因此在深度學(xué)習(xí)的處理效率方面優(yōu)勢明顯。

尤其是面對當(dāng)下極其多變的生成式AI需求，以及面對端側(cè)AI的趨勢，NPU更是非常在行。

Ziad Asghar指出，在上述所提及的“持續(xù)型”應(yīng)用中，需要以低功耗實現(xiàn)持續(xù)穩(wěn)定的高峰值性能，NPU可以發(fā)揮最大優(yōu)勢。在基于大語言模型（LLM）和大視覺模型（LVM）的不同用例，例如Stable Diffusion或其他擴散模型中，NPU的每瓦特性能表現(xiàn)十分出色。

03 NPU的前世今生：此N非彼N

不過，NPU這個名字不是現(xiàn)在才有。只是，伴隨著AI應(yīng)用趨勢的演變，NPU的內(nèi)涵也發(fā)生了一系列變化。我們現(xiàn)在說的，是被重新定義的NPU。

約十年前，那些早期的NPU主要面向音頻和語音AI設(shè)計，用于簡單的CNN，且主要需要標量和向量數(shù)學(xué)運算。

從2016年至2022年期間，隨著AI在拍照和視頻應(yīng)用中大受歡迎，出現(xiàn)了基于Transformer、RNN、長短期記憶網(wǎng)絡(luò)(LSTM)、以及更高維度的CNN等更復(fù)雜的全新模型。這些工作負載需要大量張量數(shù)學(xué)運算，因此NPU增加了張量加速器和卷積加速，不僅能夠顯著提高性能，且可以降低內(nèi)存帶寬占用和能耗。

也因此，智能手機 SoC自多年前，就開始利用NPU 改善日常用戶體驗，包括影像、音頻、連接性能、安全等等。

到了2023年的大模型時期，除計算需求之外，必須在性能、功耗、效率、可編程性和面積之間進行權(quán)衡取舍，而一個專用的定制化設(shè)計NPU能夠做出正確的選擇。

NPU的演進

比如，高通驍龍X Elite上集成的Hexagon NPU算力達到45TOPS，在PC上運行70億參數(shù)的Llama 2模型時，處理速度則達到了30 Tokens/s；此外，驍龍8 Gen 3得益于Hexagon NPU，可以支持包括 Meta、Llama 2在內(nèi)的多種生成式 AI 大模型，能夠在終端側(cè)運行超過100億參數(shù)的大模型，用戶無需再完全依賴云端。

但隨著AI時代持續(xù)演進，模型越來越復(fù)雜，參數(shù)規(guī)模也在不斷攀升，從10億、到百億、甚至到千億參數(shù)，多模態(tài)趨勢日益增強，生成式AI應(yīng)用也需要同時調(diào)用更多模型，種種跡象表明，雖然我們夸了那么多次NPU，但處理器僅靠NPU扛大旗，當(dāng)然并不現(xiàn)實。

所以，大家把焦點統(tǒng)統(tǒng)放在了同一個方向——異構(gòu)計算。

04 異構(gòu)計算扛大旗

“算力是AI PC各項功能得以實現(xiàn)的前提，終端異構(gòu)混合(CPU+NPU+GPU)算力是AI規(guī)?；涞氐谋厝灰?。”《AI PC產(chǎn)業(yè)(中國)白皮書》指出，異構(gòu)混合計算，利用不同類型的指令集和體系架構(gòu)的計算單元組成本地計算系統(tǒng)，可以通過CPU、NPU、GPU等計算設(shè)備的組合應(yīng)用，充分發(fā)揮各硬件性能，對于不同的AI工作負載，提供靈活的解決方案。

如前文提到的三種生成式AI類型——按需型、持續(xù)型、泛在型。按需型應(yīng)用的關(guān)鍵性能指標是時延，因為用戶不想等待，這些應(yīng)用使用小模型時，CPU通常是正確的選擇；當(dāng)模型變大（比如數(shù)十億參數(shù)）時，GPU 和NPU 往往更合適；而電池續(xù)航和能效對于持續(xù)和泛在型應(yīng)用至關(guān)重要，因此NPU是最佳選擇。

“選擇合適的處理器處理相關(guān)任務(wù)至關(guān)重要，但同時也要關(guān)注SoC整體的工作負載情況。”Ziad Asghar舉例說道，如果用戶正在玩一款重負載游戲，此時GPU會被完全占用；如果用戶正在瀏覽多個網(wǎng)頁，CPU可能會占用過高，此時NPU作為真正的AI專用引擎就會體現(xiàn)出非常大的優(yōu)勢，能夠確保我們在AI用例中獲得出色體驗。

就像在工具箱中選工具一樣，選擇合適的處理器取決于很多因素

那么異構(gòu)計算如何扛起終端側(cè)AI和生成式AI的大旗呢？我們不妨以芯片廠商高通的做法以作解釋。

集千萬能力于一顆處理器身上，讓不同的計算單元各司其職，一直是芯片廠商高通堅持且擅長做的事。

具體而言，高通AI引擎包含多個硬件和軟件組件，以加速驍龍和高通平臺上的終端側(cè)Al。在集成硬件方面，高通AI引擎擁有領(lǐng)先的異構(gòu)計算架構(gòu)，包括Hexagon NPU、Adreno GPU、高通Kryo或高通 Oryon CPU、高通傳感器中樞、內(nèi)存子系統(tǒng)，所有硬件都經(jīng)過精心設(shè)計以實現(xiàn)協(xié)同工作，在終端側(cè)快速高效地運行Al應(yīng)用。

那么它是如何工作的呢？

舉個例子，你要讓PC上的“虛擬助手”為你制定一個旅游規(guī)劃。

— 你需要做的：對虛擬助手說，幫我制定一個去毛里求斯為期一周的旅游規(guī)劃。

— 你看見AI助手做的：給到航班行程建議，并與用戶進行語音對話調(diào)整行程，最后通過某個插件創(chuàng)建完整航班日程。

— 實際上AI做的：

· 首先，你對虛擬助手所說的話，會通過自動語音識別(ASR)模型Whisper轉(zhuǎn)化為文本，Whisper是OpenAI發(fā)布的一個約2.4億參數(shù)的模型。該模型主要在高通傳感器中樞上運行。
· 然后，AI助手利用Llama 2或百川大模型，基于文本內(nèi)容生成文本回復(fù)。該模型在Hexagon NPU上運行。
· 再然后，需要通過在CPU上運行的開源TTS(Text to Speech)模型，將文本轉(zhuǎn)化為語音。
· 與此同時，虛擬助手渲染必須與語音輸出同步，才能實現(xiàn)足夠真實的用戶交互界面。使用融合變形動畫（Blendshape）技術(shù)讓語音與虛擬化身的嘴型匹配，實現(xiàn)音話同步。這一傳統(tǒng) AI工作負載在 NPU 上運行。
· 再同時，通過虛幻引擎MetaHuman 進行虛擬助手渲染，這部分渲染工作在Adreno GPU上完成。
· 最后，通過驍龍調(diào)制解調(diào)器技術(shù)進行網(wǎng)絡(luò)連接，使用 Skyscanner插件完成訂票操作。
誠然，一顆處理器的內(nèi)部，其實是多個處理單元互相打配合，才能真正完全釋放AI引擎性能。但是高通認為，這還不夠。

因為任何一個AI終端，無論是AI PC、還是AI手機、或是物聯(lián)網(wǎng)，只有軟硬件結(jié)合，才能創(chuàng)造最佳體驗。當(dāng)硬件性能準備好了，如何讓軟件也跟上步伐呢？

于是，高通AI Hub誕生了。這是高通在MWC2024期間推出的一個全面的模型優(yōu)化庫，為開發(fā)者提供超過75個主流模型，如Stable Diffusion、ControlNet、Baichuan-7B等。這些模型全部經(jīng)過優(yōu)化，可以充分利用高通AI引擎內(nèi)所有核心的硬件加速能力，實現(xiàn)4倍推理速度提升。

對于開發(fā)者而言，既能快速將大模型無縫集成到應(yīng)用程序中，縮短產(chǎn)品上市時間。同時，這些優(yōu)化后的模型也同步上線到GitHub、Hugging Face，開發(fā)者可在搭載高通和驍龍平臺的云托管終端上，自行運行模型。

更重要的是，高通在所有的硬件AI能力之上，還打造了高通AI軟件棧(Qualcomm AI Stack)，支持目前所有的主流AI框架(如TensorFlow、PyTorch、ONNX和Keras)，且還支持所有主流的AI runtime(如DirectML、TFLite、ONNX Runtime、ExecuTorch)，以及支持不同的編譯器、數(shù)學(xué)庫等AI工具。開發(fā)者可通過高通 AI 引擎 Direct 軟件開發(fā)包(SDK)直接進行耦合，加快開發(fā)進程。此外，高通AI軟件棧集成用于推理的高通神經(jīng)網(wǎng)絡(luò)處理SDK，包括面向Android、Linux和Windows的不同版本。

圖為高通AI軟件棧

綜上而言，面向AI大模型和生成式AI浪潮，終端側(cè)正在經(jīng)歷一場全新的進化，無論是手機、PC、汽車或更多終端，或許未來不用專門談AI，卻處處都是AI。

而這個所謂的未來其實已來。根據(jù)IDC預(yù)計，2024年中國AI PC新機出貨占比將超過50%，有望迎來發(fā)展元年。波士頓咨詢更是預(yù)測，到2028年AI PC將占PC市場的80%。

“過去互聯(lián)網(wǎng)剛出現(xiàn)時，只有少數(shù)人能夠利用PC上網(wǎng)，而智能手機的出現(xiàn)讓數(shù)十億人都能連網(wǎng)，終端側(cè)生成式AI的發(fā)展也將如此，它將讓所有人充分利用生成式AI，改變工作、生活體驗，變革各行各業(yè)。”Ziad Asghar在采訪中如是說。