在我們使用ChatGPT、Claude或文心一言這樣的大語言模型時，你是否注意到它們在生成文本時有時會有點"卡頓"？這種延遲不是因為這些AI不夠聰明，而是因為它們生成文本的方式存在內(nèi)在瓶頸。2025年5月，來自中國科學院深圳先進技術(shù)研究院、中國科學院大學、新加坡科技設(shè)計大學、新南威爾士大學和Ritzz-AI的研究團隊聯(lián)合發(fā)表了一項名為"CLaSp：用于自我推測解碼的上下文層跳過"的研究，旨在解決這一問題。論文發(fā)表于arXiv預印本平臺，編號為2505.24196v1。

想象一下，當你使用ChatGPT時，AI需要一個一個地生成單詞，就像一個人一次只能寫一個字一樣。這種方式雖然確保了文本質(zhì)量，但速度較慢。研究人員發(fā)現(xiàn)，如果AI能夠"猜測"接下來的幾個單詞，然后一次性驗證這些猜測，就能大大提高生成速度。這就是所謂的"推測解碼"技術(shù)。

傳統(tǒng)的推測解碼需要兩個模型：一個負責"猜測"（草稿模型），另一個負責"驗證"（驗證模型）。問題在于，為每個大語言模型專門訓練一個匹配的草稿模型既費時又費力。這就像為每個廚師配備一個專門的助手，而且這個助手必須完全了解廚師的烹飪風格才能有效協(xié)助。

CLaSp提出了一個聰明的解決方案：不需要額外的助手，而是讓廚師（大語言模型）自己"偷懶"，在某些步驟中跳過一些烹飪程序，從而加快整個過程。更專業(yè)地說，CLaSp讓AI在生成草稿文本時略過原始模型中的一些中間層計算，然后在驗證階段使用完整模型。關(guān)鍵創(chuàng)新在于，CLaSp能夠根據(jù)當前生成的文本內(nèi)容實時調(diào)整哪些層可以被跳過，就像廚師根據(jù)當前烹飪的菜肴自動決定哪些步驟可以簡化一樣。

這種方法不需要額外訓練，可以即插即用，適用于各種大語言模型。研究團隊在LLaMA3系列模型上進行了測試，發(fā)現(xiàn)CLaSp能夠?qū)⑽谋旧伤俣忍岣?.3到1.7倍，而且不會改變生成文本的質(zhì)量。這意味著用戶能夠獲得更快的AI響應(yīng)，同時保持回答的準確性和連貫性。

一、推測解碼：加速AI文本生成的關(guān)鍵技術(shù)

首先，我們需要理解為什么大語言模型生成文本會有延遲。想象一下一個自動售票機，每次只能處理一個人的票務(wù)。如果有100個人排隊，那么第100個人必須等待前面99個人都完成才能買到票。大語言模型也是如此，它們采用"自回歸"方式生成文本，即一次只能生成一個單詞（或稱為"標記"），然后基于已生成的內(nèi)容繼續(xù)生成下一個。

這種方式導致了一個問題：即使擁有強大的計算資源，大部分GPU（圖形處理單元，AI的計算引擎）在處理過程中也處于"閑置"狀態(tài)，因為它們在等待前一個單詞生成完畢。就像一個多車道高速公路上只有一輛車在行駛，其他車道完全空著，這是對資源的巨大浪費。

推測解碼技術(shù)借鑒了計算機系統(tǒng)中的"推測執(zhí)行"概念，它允許AI"預測"接下來可能出現(xiàn)的多個單詞，然后一次性驗證這些預測。想象一個餐廳服務(wù)員不等你點完所有菜就預先猜測你可能想點的幾道菜，然后一次性確認——如果猜對了，就節(jié)省了來回多次確認的時間。

傳統(tǒng)的推測解碼需要兩個模型：一個輕量級的"草稿模型"快速生成候選單詞，一個完整的"驗證模型"檢查這些單詞是否正確。如果驗證通過，那么這些單詞就被接受；如果驗證失敗，則從失敗點重新開始生成。

這種方法的挑戰(zhàn)在于找到或訓練一個與驗證模型行為一致的草稿模型。對于開源模型（如LLaMA系列），可以專門訓練匹配的草稿模型。但對于那些專業(yè)或閉源的模型，找到合適的草稿模型變得異常困難。

二、CLaSp：動態(tài)層跳過的創(chuàng)新方法

CLaSp提出了一個巧妙的解決方案：不需要額外的模型，而是讓原始模型自己充當"草稿模型"，方法是跳過部分中間計算層。這就像一個熟練的廚師在準備簡單菜肴時，可以跳過一些不必要的準備步驟，直接進入關(guān)鍵烹飪環(huán)節(jié)。

傳統(tǒng)的自我推測解碼方法（Self-SD）也采用了類似的層跳過策略，但它們依賴于耗時的貝葉斯優(yōu)化過程來預先確定一組固定的層跳過配置。這就像廚師需要提前嚴格規(guī)定每道菜都跳過哪些步驟，無法根據(jù)實際烹飪過程進行調(diào)整。而實際上，不同的菜肴（或在AI中，不同的生成內(nèi)容）可能需要不同的簡化策略。

CLaSp的關(guān)鍵創(chuàng)新在于它能夠在生成過程中動態(tài)調(diào)整跳過哪些層。想象一個廚師在烹飪過程中，根據(jù)當前做的菜肴和進展情況，實時決定哪些步驟可以簡化，哪些步驟必須仔細執(zhí)行。具體來說，CLaSp使用動態(tài)規(guī)劃算法，通過利用上一次驗證階段的完整隱藏狀態(tài)作為目標，優(yōu)化層跳過過程。

這種方法帶來了兩個主要挑戰(zhàn)：一是如何確定哪些層應(yīng)該被跳過，二是如何減少層優(yōu)化引入的額外延遲。為解決這些問題，研究團隊設(shè)計了一個近似動態(tài)規(guī)劃算法，并實現(xiàn)了序列并行化以提高效率。

對于第一個挑戰(zhàn)，CLaSp利用了一個重要觀察：transformer模型的嵌入在不同層之間變化緩慢。這就像烹飪過程中，某些步驟對最終菜肴的影響較小，可以被簡化或跳過。基于這一觀察，CLaSp在驗證階段后，使用上一個被接受的標記的完整隱藏狀態(tài)作為"地面真相"，預測并調(diào)整下一輪草稿階段的最佳層跳過策略。

對于第二個挑戰(zhàn)，CLaSp采用了兩種優(yōu)化策略：序列并行化和降低優(yōu)化頻率。序列并行化允許在單個前向傳遞中處理多個狀態(tài)，而降低優(yōu)化頻率則基于"稀疏持久性"觀察——相鄰標記所需的層跳過策略通常非常相似，因此不需要在每個驗證步驟后都更新策略。

三、CLaSp的工作流程：三步走的加速方案

CLaSp的工作流程可以分為三個階段：草稿生成、驗證和層優(yōu)化。

第一階段是草稿生成。在這一階段，模型跳過預先確定的一些中間層，快速生成一系列候選標記。想象一個作家在創(chuàng)作初稿時，不過多關(guān)注語法和措辭的精確性，而是快速將想法轉(zhuǎn)化為文字。

第二階段是驗證。在這一階段，完整模型對草稿階段生成的標記進行驗證。它在單個前向傳遞中預測每個草稿標記的概率分布，并評估它們是否與完整模型的預測一致。一旦某個草稿標記被拒絕，完整模型的預測將覆蓋該標記，并從該點重新開始草稿生成。這就像編輯審查初稿，發(fā)現(xiàn)問題后修正并繼續(xù)向前。

第三階段是層優(yōu)化。使用最后一個被接受的標記的隱藏狀態(tài)作為優(yōu)化目標，CLaSp更新最佳層跳過策略，指導下一輪草稿生成。這就像作家根據(jù)編輯的反饋，調(diào)整自己的寫作策略以提高初稿質(zhì)量。

CLaSp的動態(tài)規(guī)劃算法是其核心創(chuàng)新。該算法定義了一個轉(zhuǎn)移方程，用于計算在前i個transformer層中跳過j層的情況下，所得隱藏狀態(tài)與最優(yōu)隱藏狀態(tài)之間的最大余弦相似度。通過維護一個狀態(tài)矩陣，算法能夠高效地找到近似最優(yōu)的層跳過策略。

盡管動態(tài)規(guī)劃通常要求滿足"無后效性"（當前決策只依賴于當前狀態(tài)，而非歷史狀態(tài)），但研究團隊發(fā)現(xiàn)，由于transformer模型的嵌入在層間變化緩慢的特性，CLaSp的近似算法表現(xiàn)接近于暴力搜索的最優(yōu)解，遠優(yōu)于隨機選擇層的效果。

為了進一步提高效率，CLaSp實現(xiàn)了序列并行化，利用GPU并行計算的能力。當計算狀態(tài)(i,j)時，只需要(i-1,·)的狀態(tài)，這使得對于相同i值的不同j值的計算可以獨立進行。此外，研究團隊設(shè)計了一個專門的掩碼矩陣，允許將這些狀態(tài)作為序列并行化，而無需重復KV緩存，顯著提高了內(nèi)存效率。

四、實驗結(jié)果：速度與質(zhì)量的完美平衡

研究團隊在LLaMA3系列模型上使用Spec-Bench評估了CLaSp的性能。Spec-Bench是一個綜合性推測解碼評估基準，涵蓋了多種不同場景的數(shù)據(jù)集，包括多輪對話、翻譯、摘要、問答、數(shù)學推理和檢索增強生成等任務(wù)。

實驗結(jié)果表明，CLaSp在不同模型和任務(wù)上始終如一地實現(xiàn)了1.3到1.7倍的加速，同時保持了生成文本的原始分布不變。與現(xiàn)有的訓練自由層跳過方法（如Self-SD和SWIFT）相比，CLaSp展現(xiàn)出更優(yōu)的性能，尤其是在處理數(shù)據(jù)量有限的情況下。

CLaSp的效率主要歸功于其有效利用模型層稀疏性的能力。在實驗中，通過跳過50%到60%的層，CLaSp能夠同時保持高平均接受長度和接受率，從而實現(xiàn)更高的加速比。一般來說，更長的接受長度會導致更高的加速比。不過，研究團隊也觀察到，在某些情況下，盡管接受長度較長，但加速比依然較低，這是因為生成額外的標記增加了時間消耗，降低了接受率和整體加速比。

CLaSp在較大模型（如LLaMA3-70B）上的性能優(yōu)勢更為明顯，相比于較小模型（如LLaMA2-13B和LLaMA3-8B）。這表明CLaSp能夠更好地利用較大模型中存在的更大層稀疏性，提高適應(yīng)性和效率。

研究團隊還分析了三個關(guān)鍵超參數(shù)對加速效果的影響：跳過層數(shù)、層優(yōu)化間隔和草稿退出閾值。

對于跳過層數(shù)，研究團隊發(fā)現(xiàn)，對于由80層組成的LLaMA3-70B模型，隨著跳過層數(shù)的增加，加速比逐漸上升，在跳過44層時達到最優(yōu)值1.64倍。超過這一點，更長的平均接受長度帶來的好處被生成高質(zhì)量草稿的增加成本所抵消，導致加速比下降。

對于層優(yōu)化間隔，延長優(yōu)化間隔可以減少動態(tài)規(guī)劃引入的額外延遲，同時對平均接受長度的影響較小。實驗表明，隨著優(yōu)化間隔的增加，加速比先上升后下降，在間隔為128時開始明顯下降，這是由于平均接受長度的顯著下降對整體加速比產(chǎn)生了負面影響。

對于草稿退出閾值，研究團隊發(fā)現(xiàn)調(diào)整閾值在0.7左右時能獲得最高加速比。即使在較高閾值下，加速比仍然保持較高水平，這表明該參數(shù)對于實現(xiàn)加速效果具有較強的魯棒性。

五、CLaSp的擴展性與未來展望

為了評估CLaSp的可擴展性，研究團隊在不同規(guī)模的模型上進行了測試，包括LLaMA2-13B和LLaMA3.1-405B，以及LLaMA3-8B和LLaMA3-70B。對于LLaMA2-13B，模型部署在單個A800 GPU上使用FP16精度；對于LLaMA3.1-405B，則使用INT8量化在8個A800 GPU上部署。

實驗結(jié)果表明，隨著模型規(guī)模的增加，在各種任務(wù)上的加速比都有所提高。具體來說，在MT-bench上，加速比從LLaMA3-8B的1.24倍提高到LLaMA3.1-405B的1.73倍；在GSM8K基準測試上，加速比從1.26倍提高到1.81倍；在Natural Questions基準測試上，加速比從1.27倍提高到1.82倍。這些結(jié)果表明，更大的模型展現(xiàn)出更強的層稀疏性，使CLaSp能夠更有效地發(fā)揮其能力并實現(xiàn)更大的加速。

總的來說，CLaSp的出色表現(xiàn)證明了它作為一種即插即用解決方案的有效性，為各種大語言模型提供了一種通用的推理加速方法。它不需要額外的訓練或復雜的模塊，只需要簡單地調(diào)整現(xiàn)有模型的計算流程，就能顯著提高推理速度，同時保持生成質(zhì)量。

未來的研究方向可能包括進一步探索如何更好地利用大語言模型的層稀疏性，以在更大規(guī)模的模型中進一步降低推理延遲。此外，CLaSp與其他推測解碼創(chuàng)新的結(jié)合也是一個有潛力的研究方向，可能帶來更顯著的加速效果。

CLaSp的研究不僅為大語言模型的推理加速提供了一種實用的解決方案，也為我們理解大型神經(jīng)網(wǎng)絡(luò)的內(nèi)部工作機制提供了新的視角。它揭示了大語言模型中存在的層冗余現(xiàn)象，以及如何利用這種冗余來提高計算效率。這些發(fā)現(xiàn)對于未來設(shè)計更高效的神經(jīng)網(wǎng)絡(luò)架構(gòu)具有重要啟示。