當(dāng)我們使用大語(yǔ)言模型(LLM)時(shí)，是否曾因生成速度太慢而感到不耐煩？加利福尼亞大學(xué)洛杉磯分校(UCLA)的研究團(tuán)隊(duì)正面臨著這一挑戰(zhàn)。2025年5月31日，由Daniel Israel、Guy Van den Broeck和Aditya Grover組成的UCLA計(jì)算機(jī)科學(xué)系研究團(tuán)隊(duì)在arXiv上發(fā)表了題為《Accelerating Diffusion LLMs via Adaptive Parallel Decoding》的研究論文(arXiv:2506.00413v1)，提出了一種名為"自適應(yīng)并行解碼"(APD)的新方法，旨在大幅提升擴(kuò)散大語(yǔ)言模型的生成速度。

現(xiàn)今的大語(yǔ)言模型面臨著一個(gè)根本性的瓶頸：生成速度。主流的自回歸模型采用一次生成一個(gè)詞的順序解碼方式，這種方法雖然質(zhì)量高，但速度慢。想象一下你在寫一封信，但每次只能寫一個(gè)字，然后等待幾秒鐘才能寫下一個(gè)——這基本上就是自回歸模型的工作方式。而擴(kuò)散大語(yǔ)言模型(dLLM)理論上允許同時(shí)生成多個(gè)詞，就像你可以一次性寫下整句話那樣，應(yīng)該能顯著提高速度。

然而，實(shí)際情況卻不盡人意。研究團(tuán)隊(duì)發(fā)現(xiàn)，開源的擴(kuò)散模型如Dream和Llada在沒(méi)有額外改進(jìn)的情況下，無(wú)法同時(shí)兼顧速度和質(zhì)量。如果嘗試一次性生成多個(gè)詞(并行生成)，生成質(zhì)量就會(huì)大幅下降；如果堅(jiān)持高質(zhì)量生成，則不得不降低并行度，一次只生成一個(gè)詞，速度優(yōu)勢(shì)蕩然無(wú)存。這就像是擁有了一輛跑車，卻只能以自行車的速度行駛，否則就會(huì)偏離道路。

為什么會(huì)出現(xiàn)這種情況呢？簡(jiǎn)單來(lái)說(shuō)，當(dāng)并行生成多個(gè)詞時(shí)，模型只能獲取每個(gè)位置的"孤立"概率分布，而無(wú)法考慮詞與詞之間的關(guān)聯(lián)性。這就像是幾個(gè)人各自單獨(dú)創(chuàng)作一個(gè)句子，然后強(qiáng)行把它們拼在一起——結(jié)果通常不會(huì)連貫。

針對(duì)這一問(wèn)題，UCLA團(tuán)隊(duì)提出了自適應(yīng)并行解碼(APD)方法。這種方法不是固定一次生成多少個(gè)詞，而是動(dòng)態(tài)調(diào)整并行生成的詞數(shù)。它的核心思想是：當(dāng)模型有信心能正確預(yù)測(cè)連續(xù)多個(gè)詞時(shí)，就一次性生成這些詞；當(dāng)預(yù)測(cè)不確定時(shí)，就退回到逐個(gè)生成的方式。這就像是一個(gè)老練的作家，在寫熟悉的內(nèi)容時(shí)可以一氣呵成寫下整段文字，而遇到需要深思熟慮的部分時(shí)，則會(huì)放慢速度，字斟句酌。

研究團(tuán)隊(duì)的創(chuàng)新不僅體現(xiàn)在理論上，還包括一系列實(shí)用的技術(shù)改進(jìn)，如引入鍵值緩存(KV caching)和限制掩碼輸入大小。這些優(yōu)化大大提高了模型的計(jì)算效率。他們還引入了三個(gè)可調(diào)參數(shù)，讓用戶能夠根據(jù)需求靈活地在速度和質(zhì)量之間找到平衡點(diǎn)。

實(shí)驗(yàn)結(jié)果令人振奮。在GSM8K等基準(zhǔn)測(cè)試中，使用APD的擴(kuò)散模型能夠以接近原質(zhì)量的表現(xiàn)，將生成速度提高近6倍。更令人驚訝的是，優(yōu)化后的Dream 7B模型甚至比自回歸的Qwen 7B和Qwen 0.5B模型更快，同時(shí)保持了較高的準(zhǔn)確率。這就像是一輛既能高速行駛又能保持穩(wěn)定的新型汽車，徹底改變了我們對(duì)擴(kuò)散模型速度與質(zhì)量不可兼得的認(rèn)知。

這項(xiàng)研究不僅對(duì)擴(kuò)散大語(yǔ)言模型的實(shí)用性有重大意義，也為未來(lái)的模型設(shè)計(jì)提供了新的思路。隨著這些技術(shù)的應(yīng)用，我們可能很快就能享受到更快、更流暢的AI文本生成體驗(yàn)。

一、擴(kuò)散大語(yǔ)言模型的速度困境

當(dāng)今的大語(yǔ)言模型世界中，自回歸模型如同一個(gè)一絲不茍的書法家，一筆一畫地完成作品。雖然結(jié)果精美，但過(guò)程緩慢。這種逐詞生成的方式成為了實(shí)時(shí)應(yīng)用的主要障礙，特別是隨著模型規(guī)模不斷擴(kuò)大，這個(gè)問(wèn)題變得更加突出。

擴(kuò)散大語(yǔ)言模型(dLLM)本應(yīng)像一個(gè)能同時(shí)控制多支畫筆的魔術(shù)師，理論上可以并行生成多個(gè)詞，大幅提升速度。這些模型受到圖像生成領(lǐng)域成功經(jīng)驗(yàn)的啟發(fā)，應(yīng)該能夠打破順序生成的限制。然而，UCLA研究團(tuán)隊(duì)通過(guò)實(shí)驗(yàn)發(fā)現(xiàn)，現(xiàn)實(shí)與理論存在顯著差距。

他們對(duì)兩個(gè)開源擴(kuò)散模型Dream和Llada進(jìn)行了詳細(xì)測(cè)試。結(jié)果顯示，這些模型要達(dá)到最佳質(zhì)量，必須采用"一次一詞"的生成方式（每個(gè)時(shí)間步生成一個(gè)詞）。任何嘗試?yán)貌⑿心芰Φ呐Χ紩?huì)導(dǎo)致質(zhì)量下降。具體來(lái)說(shuō)，在GSM8K數(shù)學(xué)推理任務(wù)上，當(dāng)使用從左到右的順序生成時(shí)，Dream 7B模型能達(dá)到83.2%的準(zhǔn)確率，但吞吐量只有每秒10.1個(gè)詞。相比之下，自回歸的Qwen2.5 7B模型不僅準(zhǔn)確率達(dá)到85.4%，吞吐量還高達(dá)每秒38.6個(gè)詞。

這種狀況就像擁有一臺(tái)設(shè)計(jì)時(shí)速200公里的跑車，但實(shí)際上只能以50公里的速度行駛，否則就會(huì)偏離道路或引擎過(guò)熱。問(wèn)題的核心在于，當(dāng)并行預(yù)測(cè)多個(gè)詞時(shí)，模型只能獲取每個(gè)位置的邊緣概率分布，而忽略了詞與詞之間的依賴關(guān)系。這就像幾個(gè)廚師各自準(zhǔn)備一道菜而不知道其他人在做什么，最終拼湊成的菜單可能毫無(wú)協(xié)調(diào)性。

為了量化這種質(zhì)量與速度的權(quán)衡關(guān)系，研究團(tuán)隊(duì)進(jìn)行了一系列實(shí)驗(yàn)，固定每次迭代并行生成的詞數(shù)(K)。實(shí)驗(yàn)表明，隨著K值的增加，生成速度確實(shí)提高了，但準(zhǔn)確率呈現(xiàn)斷崖式下降。例如，當(dāng)K=7時(shí)，Dream 7B的GSM8K準(zhǔn)確率從約80%降至不足20%，這種犧牲顯然是不可接受的。

這一困境引發(fā)了一個(gè)關(guān)鍵問(wèn)題：是否存在一種方法，能夠智能地決定何時(shí)并行生成多個(gè)詞，何時(shí)退回到逐個(gè)生成，從而在保持質(zhì)量的同時(shí)提高速度？這正是UCLA團(tuán)隊(duì)提出的自適應(yīng)并行解碼(APD)方法要解決的核心問(wèn)題。

二、自適應(yīng)并行解碼：突破速度與質(zhì)量的平衡點(diǎn)

自適應(yīng)并行解碼(APD)的核心思想可以用一個(gè)熟練鋼琴家的例子來(lái)理解。當(dāng)演奏簡(jiǎn)單、熟悉的曲目時(shí)，鋼琴家能夠流暢快速地彈奏；而遇到復(fù)雜段落時(shí)，則會(huì)放慢速度，確保每個(gè)音符的精準(zhǔn)。APD就是讓語(yǔ)言模型像這樣"知道"何時(shí)可以加速，何時(shí)需要謹(jǐn)慎。

具體來(lái)說(shuō)，APD首先將擴(kuò)散模型的生成順序固定為從左到右，這看似是退回到自回歸模型的做法，但研究者發(fā)現(xiàn)這種方式不僅能保持生成質(zhì)量，有時(shí)甚至能提高質(zhì)量。這就像是讓一個(gè)本可以四處張望的人專注于向前看，反而讓他避免了分心，能更好地預(yù)測(cè)前方的路況。

接下來(lái)，APD引入了一個(gè)小型的輔助自回歸模型。這個(gè)小模型就像是主模型的"參謀"，幫助判斷哪些并行生成的詞可以被接受。研究團(tuán)隊(duì)設(shè)計(jì)了一個(gè)巧妙的機(jī)制：將擴(kuò)散模型的邊緣概率與小型自回歸模型的聯(lián)合概率進(jìn)行乘法混合，形成一個(gè)目標(biāo)分布。這種混合使用了一個(gè)可調(diào)參數(shù)R，當(dāng)R值較高時(shí)，系統(tǒng)更信任擴(kuò)散模型；當(dāng)R值較低時(shí)，則更依賴輔助自回歸模型的判斷。

為什么要使用小型輔助模型呢？因?yàn)樾∧Ｐ碗m然精確度不如大模型，但能夠快速并行計(jì)算序列的聯(lián)合概率，幫助大模型做出更好的決策。這有點(diǎn)像登山時(shí)，經(jīng)驗(yàn)豐富的向?qū)Вㄐ∧Ｐ停╇m然力氣不如年輕的登山者（大模型），但能夠更快地判斷哪條路徑安全可行。

值得注意的是，APD與目前流行的推測(cè)解碼（speculative decoding）方法有著本質(zhì)區(qū)別。推測(cè)解碼是用小模型生成初步內(nèi)容，再由大模型驗(yàn)證；而APD則是用大模型生成內(nèi)容，小模型幫助判斷質(zhì)量。這就像是推測(cè)解碼中，學(xué)徒（小模型）先畫草圖，大師（大模型）再修改完善；而在APD中，大師直接作畫，學(xué)徒只是在旁邊提供建議，幫助大師決定何時(shí)可以一氣呵成畫完某個(gè)部分。

UCLA團(tuán)隊(duì)還對(duì)算法實(shí)現(xiàn)進(jìn)行了多項(xiàng)優(yōu)化。例如，他們引入了鍵值緩存（KV caching）技術(shù)，這一技術(shù)通常用于自回歸模型，能夠避免重復(fù)計(jì)算，大大提高效率。想象一下，如果你在解一道復(fù)雜的數(shù)學(xué)題，已經(jīng)計(jì)算過(guò)的中間結(jié)果可以記錄下來(lái)，下次用到時(shí)直接查表，而不是重新計(jì)算，這就是KV緩存的作用。

另一個(gè)重要優(yōu)化是限制掩碼輸入的大小。由于擴(kuò)散模型是從左到右自回歸生成，輸入中會(huì)包含大塊連續(xù)的[MASK]標(biāo)記作為后綴。研究者設(shè)置了一個(gè)最大長(zhǎng)度M參數(shù)，限制這個(gè)后綴的大小。這一簡(jiǎn)單改變能顯著提高計(jì)算速度，因?yàn)樽⒁饬τ?jì)算的復(fù)雜度與序列長(zhǎng)度的平方成正比。減小輸入大小就像是減少了廚師需要關(guān)注的食材數(shù)量，自然能加快烹飪速度。

最終，APD提供了三個(gè)可調(diào)參數(shù)：乘法混合權(quán)重R、重新計(jì)算KV窗口大小W和最大掩碼前瞻長(zhǎng)度M。這些參數(shù)給用戶提供了在速度和質(zhì)量之間進(jìn)行靈活權(quán)衡的能力，就像是一輛汽車的不同駕駛模式，可以根據(jù)需要在經(jīng)濟(jì)模式和運(yùn)動(dòng)模式之間切換。

三、實(shí)驗(yàn)驗(yàn)證：速度與質(zhì)量的最佳平衡

為了驗(yàn)證自適應(yīng)并行解碼的效果，UCLA研究團(tuán)隊(duì)進(jìn)行了一系列詳細(xì)實(shí)驗(yàn)。他們選擇了Dream 7B Instruct作為擴(kuò)散模型，Qwen2.5 0.5B作為輔助自回歸模型。這兩個(gè)模型都在數(shù)學(xué)、科學(xué)和推理基準(zhǔn)測(cè)試上表現(xiàn)出色，而且它們共享相同的分詞器，這使得它們能夠更好地協(xié)同工作。

研究團(tuán)隊(duì)首先分析了混合權(quán)重參數(shù)R對(duì)性能的影響。在GSM8K數(shù)學(xué)推理任務(wù)上，當(dāng)R值較小時(shí)（如0.1-0.5），模型每次迭代接受的詞數(shù)較少，但維持了較高的準(zhǔn)確率。隨著R值增加，并行生成的詞數(shù)顯著提升，但準(zhǔn)確率開始下降。有趣的是，當(dāng)R=0.6時(shí)，模型平均每次迭代能接受約5.75個(gè)詞，同時(shí)保持接近80%的GSM8K準(zhǔn)確率。這意味著模型速度提升了近6倍，而質(zhì)量只有微小降低。

相比之下，如果簡(jiǎn)單地固定每次迭代生成K個(gè)詞，當(dāng)K=5時(shí)，GSM8K準(zhǔn)確率會(huì)降至約40%，這一差距充分說(shuō)明了自適應(yīng)方法的優(yōu)勢(shì)。APD就像是一個(gè)懂得何時(shí)加速、何時(shí)放慢的老練司機(jī)，能夠在彎道前適當(dāng)減速，直道上全速前進(jìn)，整體行程既快速又安全。

研究者還探索了重新計(jì)算KV窗口大小W的影響。他們發(fā)現(xiàn)，即使將W值從無(wú)限（即每次都重新計(jì)算所有鍵值）降至16，準(zhǔn)確率也只有很小的下降，但吞吐量能提高約50%。這表明擴(kuò)散模型在自回歸生成時(shí)，遠(yuǎn)距離的詞對(duì)當(dāng)前生成的影響較小，可以通過(guò)緩存來(lái)提高效率。

最大掩碼前瞻長(zhǎng)度M的實(shí)驗(yàn)也顯示了明顯的速度-質(zhì)量權(quán)衡。當(dāng)M值從無(wú)限減小到16時(shí)，吞吐量顯著提升，但準(zhǔn)確率開始下降。有趣的是，這種下降不僅是因?yàn)橛?jì)算質(zhì)量降低，還因?yàn)樯砷L(zhǎng)度縮短。研究表明，較長(zhǎng)的"思考時(shí)間"（即生成更多詞）通常能提高推理能力，因此過(guò)度限制M值可能會(huì)傷害模型在復(fù)雜推理任務(wù)上的表現(xiàn)。

將這三個(gè)參數(shù)組合在一起，研究團(tuán)隊(duì)繪制了一個(gè)"帕累托前沿"圖，展示了不同配置下的速度-質(zhì)量權(quán)衡。令人驚訝的是，使用APD的Dream 7B在某些配置下，不僅比其基線版本（K=1）快得多，甚至超過(guò)了自回歸的Qwen 7B和Qwen 0.5B的速度。在保持相當(dāng)質(zhì)量的同時(shí)，APD配置的Dream能夠達(dá)到每秒59個(gè)詞的吞吐量，而Qwen 7B只有每秒38個(gè)詞。

這一成果令人振奮，因?yàn)樗砻鹘?jīng)過(guò)優(yōu)化的擴(kuò)散模型可以在速度和質(zhì)量的"帕累托前沿"上占據(jù)有利位置——也就是說(shuō)，沒(méi)有其他模型能在兩個(gè)維度上同時(shí)超越它。這就像是發(fā)現(xiàn)了一種既經(jīng)濟(jì)又性能出色的新型發(fā)動(dòng)機(jī)，可能徹底改變?nèi)藗儗?duì)擴(kuò)散模型的認(rèn)知。

除了標(biāo)準(zhǔn)基準(zhǔn)測(cè)試，研究團(tuán)隊(duì)還在開放式任務(wù)上進(jìn)行了測(cè)試。例如，在生成有說(shuō)服力的論證時(shí)，使用R=0.7的APD配置，Dream 7B能夠平均每次迭代并行生成約3個(gè)詞，大大提高了生成速度，同時(shí)保持了輸出質(zhì)量。

四、技術(shù)創(chuàng)新與實(shí)用意義

自適應(yīng)并行解碼的核心創(chuàng)新在于它解決了一個(gè)看似矛盾的問(wèn)題：如何在不犧牲質(zhì)量的前提下提高擴(kuò)散模型的速度。這個(gè)問(wèn)題在技術(shù)上相當(dāng)棘手，因?yàn)閭鹘y(tǒng)的并行加速方法往往會(huì)導(dǎo)致質(zhì)量大幅下降。

研究團(tuán)隊(duì)的第一個(gè)關(guān)鍵創(chuàng)新是將問(wèn)題重新定義為動(dòng)態(tài)確定最優(yōu)并行長(zhǎng)度。不同于固定每次迭代生成K個(gè)詞，APD讓模型自己"決定"何時(shí)可以并行生成多個(gè)詞，何時(shí)應(yīng)該謹(jǐn)慎地一個(gè)一個(gè)生成。這就像是熟練的音樂(lè)家能夠根據(jù)樂(lè)曲的難度自動(dòng)調(diào)整演奏速度，而不是機(jī)械地按照固定節(jié)拍演奏。

第二個(gè)創(chuàng)新是引入了一個(gè)乘法混合目標(biāo)分布，結(jié)合了擴(kuò)散模型的邊緣概率和輔助自回歸模型的聯(lián)合概率。這種混合方式滿足了兩個(gè)重要特性：當(dāng)擴(kuò)散模型對(duì)某個(gè)詞有100%的確定性時(shí)，該詞應(yīng)該被接受；當(dāng)輔助模型認(rèn)為某個(gè)序列有100%的可能性時(shí)，也應(yīng)該被接受。這種設(shè)計(jì)使得系統(tǒng)能夠在保持高質(zhì)量的同時(shí)最大化并行度。

第三個(gè)創(chuàng)新是使用通用耦合（universal coupling）技術(shù)進(jìn)行采樣。這種技術(shù)使用相同的隨機(jī)源從兩個(gè)不同的分布中采樣，并比較結(jié)果來(lái)決定接受多少個(gè)詞。這一方法避免了傳統(tǒng)拒絕采樣需要重新計(jì)算條件分布的問(wèn)題，使得并行采樣變得可行。

從實(shí)用角度看，APD為擴(kuò)散大語(yǔ)言模型的應(yīng)用打開了新的可能性。以前，盡管擴(kuò)散模型在理論上具有并行生成的潛力，但由于速度限制，它們?cè)趯?shí)際應(yīng)用中難以與自回歸模型競(jìng)爭(zhēng)。現(xiàn)在，通過(guò)APD，擴(kuò)散模型不僅能保持高質(zhì)量，還能達(dá)到甚至超過(guò)自回歸模型的速度。

這種突破特別適用于對(duì)實(shí)時(shí)性有要求的應(yīng)用場(chǎng)景，如即時(shí)通訊助手、實(shí)時(shí)翻譯系統(tǒng)或交互式教育工具。例如，在客服聊天機(jī)器人中，快速響應(yīng)對(duì)用戶體驗(yàn)至關(guān)重要；在實(shí)時(shí)翻譯中，延遲越低，對(duì)話越自然流暢；在教育應(yīng)用中，快速的反饋能保持學(xué)生的注意力和參與度。

此外，APD的三個(gè)可調(diào)參數(shù)（R、W和M）為不同應(yīng)用場(chǎng)景提供了靈活的配置選項(xiàng)。對(duì)于需要高準(zhǔn)確性的任務(wù)（如醫(yī)療診斷輔助），可以選擇較低的R值和較大的M值；對(duì)于對(duì)速度要求較高的任務(wù)（如社交媒體內(nèi)容生成），則可以增加R值，減小M值，以獲得更高的吞吐量。

值得一提的是，APD方法不需要重新訓(xùn)練模型，可以直接應(yīng)用于現(xiàn)有的擴(kuò)散模型。這意味著現(xiàn)有的Dream和Llada等模型可以立即受益于這一技術(shù)，無(wú)需額外的計(jì)算資源投入。這就像是通過(guò)軟件更新就能提升汽車性能，而不需要更換發(fā)動(dòng)機(jī)。

五、未來(lái)展望與局限性

盡管自適應(yīng)并行解碼取得了顯著成果，研究團(tuán)隊(duì)也坦誠(chéng)地指出了它的局限性。首先，APD提供的是一種權(quán)衡，而非免費(fèi)的午餐。提高吞吐量仍然會(huì)導(dǎo)致一定程度的質(zhì)量下降，盡管這種下降遠(yuǎn)小于簡(jiǎn)單并行方法。其次，APD并不能提高基礎(chǔ)擴(kuò)散模型本身的能力——如果Dream 7B在某個(gè)領(lǐng)域表現(xiàn)不佳，使用APD也無(wú)法改變這一點(diǎn)。

未來(lái)的研究方向可能包括進(jìn)一步優(yōu)化混合分布的設(shè)計(jì)、探索更復(fù)雜的動(dòng)態(tài)調(diào)整策略，以及將APD與其他加速技術(shù)（如量化）結(jié)合。特別是量化技術(shù)已被證明能提供強(qiáng)大的速度-質(zhì)量權(quán)衡，將其與APD結(jié)合可能帶來(lái)更顯著的性能提升。

另一個(gè)有趣的方向是探索APD在不同類型任務(wù)上的表現(xiàn)差異。研究已經(jīng)表明，在數(shù)學(xué)推理等高度結(jié)構(gòu)化的任務(wù)上，APD能獲得高并行度；而在開放式生成任務(wù)上，并行度較低。理解這種差異的原因，可能有助于設(shè)計(jì)針對(duì)特定任務(wù)優(yōu)化的解碼策略。

此外，將APD的思想擴(kuò)展到其他模型架構(gòu)也是一個(gè)潛在方向。雖然當(dāng)前研究聚焦于擴(kuò)散模型，但類似的自適應(yīng)并行思想可能適用于其他非自回歸模型，甚至是混合架構(gòu)模型。

最后，隨著模型規(guī)模不斷增長(zhǎng)，生成速度將成為更加關(guān)鍵的瓶頸。研究表明，通過(guò)增加推理時(shí)計(jì)算資源（所謂的"test-time scaling"）和強(qiáng)化推理能力，可以進(jìn)一步提高大語(yǔ)言模型的性能。這些趨勢(shì)使得APD這類加速技術(shù)的重要性將進(jìn)一步提升。

總的來(lái)說(shuō)，UCLA研究團(tuán)隊(duì)的這項(xiàng)工作代表了一個(gè)重要的技術(shù)突破，為解決大語(yǔ)言模型生成速度的瓶頸問(wèn)題提供了新的思路。通過(guò)智能地調(diào)整并行生成的詞數(shù)，APD成功地在速度和質(zhì)量之間找到了更優(yōu)的平衡點(diǎn)，為擴(kuò)散大語(yǔ)言模型的實(shí)際應(yīng)用鋪平了道路。

研究團(tuán)隊(duì)表示，這項(xiàng)工作部分受到了美國(guó)國(guó)防高級(jí)研究計(jì)劃局(DARPA)的ANSR、CODORD和SAFRON項(xiàng)目以及美國(guó)國(guó)家科學(xué)基金會(huì)(NSF)的資助，同時(shí)也得到了Adobe Research、Cisco Research和Amazon的支持。對(duì)于有興趣了解更多技術(shù)細(xì)節(jié)的讀者，可以通過(guò)arXiv訪問(wèn)完整論文(arXiv:2506.00413v1)。