這項(xiàng)由中國人民大學(xué)高瓴人工智能學(xué)院的聶晟、朱豐琪、游澤斌等研究者與螞蟻集團(tuán)聯(lián)合完成的突破性研究發(fā)表于2025年2月，論文標(biāo)題為《Large Language Diffusion Models》。有興趣深入了解技術(shù)細(xì)節(jié)的讀者可以通過arXiv:2502.09992訪問完整論文，或訪問項(xiàng)目主頁https://ml-gsai.github.io/LLaDA-demo/獲取更多資源。

當(dāng)我們談?wù)揂I語言模型時(shí)，絕大多數(shù)人想到的都是ChatGPT、GPT-4這樣的系統(tǒng)。它們有一個(gè)共同特點(diǎn)：就像人類說話一樣，一個(gè)詞接一個(gè)詞地生成文本。這種方式被稱為"自回歸模型"，就好比你在寫作文時(shí)，必須按照從左到右的順序，一個(gè)字一個(gè)字地往下寫，每個(gè)新字都基于前面已經(jīng)寫好的內(nèi)容。

然而，中國科學(xué)家們提出了一個(gè)大膽的問題：AI生成語言真的只能像人類說話那樣按順序進(jìn)行嗎？能不能讓AI像畫家作畫一樣，先勾勒出大致輪廓，然后逐步填充細(xì)節(jié)？這就是擴(kuò)散模型的核心思想。

擴(kuò)散模型原本在圖像生成領(lǐng)域大放異彩。想象一下，如果你要畫一幅畫，傳統(tǒng)方法是從左上角開始，一筆一筆按順序畫完。而擴(kuò)散模型的方法更像是先在整張畫布上隨機(jī)撒滿顏料斑點(diǎn)，然后通過一系列"去噪"過程，逐步將這些斑點(diǎn)調(diào)整成一幅完整的畫作。每一步調(diào)整都會讓畫面更加清晰，最終呈現(xiàn)出想要的圖像。

研究團(tuán)隊(duì)面臨的挑戰(zhàn)是：這種原本用于圖像的技術(shù)能否成功應(yīng)用到文本生成上？畢竟，文字和圖像在本質(zhì)上有很大差異。文字是離散的符號，而圖像是連續(xù)的像素點(diǎn)。為了解決這個(gè)問題，他們開發(fā)了一個(gè)名為LLaDA（Large Language Diffusion with mAsking）的創(chuàng)新系統(tǒng)。

LLaDA的工作原理可以用"填空游戲"來比喻。設(shè)想你有一段完整的文章，但其中的某些詞被隨機(jī)遮掩了。LLaDA的任務(wù)就是根據(jù)沒有被遮掩的詞語，猜出被遮掩的部分應(yīng)該是什么。在訓(xùn)練過程中，系統(tǒng)會接觸到大量這樣的"填空題"，逐漸學(xué)會理解語言的規(guī)律和邏輯。

與傳統(tǒng)的按順序生成不同，LLaDA可以同時(shí)考慮文本的前后文信息。這就像一個(gè)經(jīng)驗(yàn)豐富的填字游戲高手，不僅看橫向的線索，還會參考縱向的提示，從多個(gè)角度綜合判斷答案。這種雙向理解能力讓LLaDA在處理某些特殊任務(wù)時(shí)表現(xiàn)出色，特別是那些需要"逆向思維"的任務(wù)。

研究團(tuán)隊(duì)進(jìn)行了一項(xiàng)有趣的實(shí)驗(yàn)來證明這一點(diǎn)。他們讓不同的AI系統(tǒng)完成古詩詞接龍任務(wù)，包括正向接龍（給出上句猜下句）和逆向接龍（給出下句猜上句）。結(jié)果顯示，包括GPT-4o在內(nèi)的傳統(tǒng)模型在逆向任務(wù)上表現(xiàn)糟糕，這被稱為"逆向詛咒"現(xiàn)象。而LLaDA在正向和逆向任務(wù)上都保持了穩(wěn)定的表現(xiàn)水平。

為了驗(yàn)證LLaDA的實(shí)際能力，研究團(tuán)隊(duì)將其擴(kuò)展到了80億參數(shù)的規(guī)模，并在2.3萬億個(gè)文本片段上進(jìn)行訓(xùn)練。這個(gè)訓(xùn)練規(guī)模相當(dāng)于讓一個(gè)人不間斷閱讀數(shù)千年的文字內(nèi)容。整個(gè)訓(xùn)練過程消耗了13萬小時(shí)的H800 GPU計(jì)算時(shí)間，相當(dāng)于一臺超級計(jì)算機(jī)連續(xù)工作15年。

在多項(xiàng)標(biāo)準(zhǔn)測試中，LLaDA 8B展現(xiàn)出了與主流大型語言模型相媲美的性能。在數(shù)學(xué)推理任務(wù)GSM8K上，它甚至超越了同等規(guī)模的LLaMA3模型。在中文理解任務(wù)上，LLaDA也表現(xiàn)出了明顯優(yōu)勢。這些結(jié)果證明了擴(kuò)散模型在語言生成領(lǐng)域的巨大潛力。

研究團(tuán)隊(duì)還開發(fā)了一套完整的訓(xùn)練和優(yōu)化流程。首先是預(yù)訓(xùn)練階段，LLaDA學(xué)會了基礎(chǔ)的語言理解和生成能力。然后是監(jiān)督微調(diào)階段，通過450萬對話數(shù)據(jù)讓模型學(xué)會與人類進(jìn)行自然對話。經(jīng)過這兩個(gè)階段的訓(xùn)練，LLaDA不僅能夠完成各種語言理解任務(wù)，還能進(jìn)行多輪對話，展現(xiàn)出了類似ChatGPT的交互能力。

在技術(shù)實(shí)現(xiàn)上，LLaDA采用了與主流語言模型類似的Transformer架構(gòu)，但去掉了單向注意力機(jī)制的限制。這讓模型能夠同時(shí)關(guān)注文本的前后信息，形成更全面的理解。為了優(yōu)化性能，研究團(tuán)隊(duì)還設(shè)計(jì)了多種采樣策略，包括基于置信度的重新遮掩方法和半自回歸生成方式。

這項(xiàng)研究的意義不僅在于技術(shù)創(chuàng)新，更在于它挑戰(zhàn)了一個(gè)長期以來的固有觀念：語言AI必須按照人類說話的方式工作。LLaDA證明了，通過不同的生成機(jī)制，AI同樣可以達(dá)到甚至超越傳統(tǒng)方法的效果。這為未來的AI語言模型發(fā)展開辟了新的道路。

當(dāng)然，LLaDA也有其局限性。相比傳統(tǒng)的自回歸模型，它在推理時(shí)需要更多的計(jì)算步驟，生成速度相對較慢。此外，由于這是一個(gè)相對新穎的技術(shù)路徑，在某些專業(yè)領(lǐng)域的表現(xiàn)還需要進(jìn)一步優(yōu)化。

展望未來，擴(kuò)散模型在語言生成領(lǐng)域還有很大的發(fā)展空間。研究團(tuán)隊(duì)提到了幾個(gè)重要的改進(jìn)方向：進(jìn)一步擴(kuò)大模型規(guī)模、優(yōu)化訓(xùn)練效率、增強(qiáng)多模態(tài)能力，以及探索更高效的推理方法。隨著這些技術(shù)的不斷完善，我們有理由相信，基于擴(kuò)散模型的語言AI將在不久的將來成為ChatGPT等傳統(tǒng)模型的有力競爭者。

說到底，LLaDA的出現(xiàn)告訴我們，在AI發(fā)展的道路上，并不存在唯一正確的技術(shù)路線。通過創(chuàng)新的思維和大膽的嘗試，科學(xué)家們總能找到新的突破點(diǎn)。這項(xiàng)來自中國研究團(tuán)隊(duì)的工作，不僅在技術(shù)上取得了重要進(jìn)展，更重要的是為整個(gè)AI社區(qū)提供了新的思路和可能性。對于關(guān)注AI發(fā)展的讀者，這項(xiàng)研究值得持續(xù)關(guān)注，因?yàn)樗芸赡艽砹宋磥碚Z言AI的一個(gè)重要發(fā)展方向。

Q&A

Q1：LLaDA與ChatGPT這樣的傳統(tǒng)語言模型有什么根本區(qū)別？

A：最根本的區(qū)別在于生成方式。ChatGPT等傳統(tǒng)模型像人說話一樣按順序生成文本，必須從左到右一個(gè)詞一個(gè)詞地輸出。而LLaDA使用擴(kuò)散模型，更像畫家作畫，可以同時(shí)考慮整個(gè)文本的前后信息，通過多輪"填空"逐步完善內(nèi)容。這讓LLaDA能夠更好地處理需要逆向思維的任務(wù)，比如根據(jù)詩詞下句推測上句。

Q2：LLaDA在哪些方面表現(xiàn)比傳統(tǒng)模型更好？

A：LLaDA最突出的優(yōu)勢是雙向理解能力和逆向推理能力。在古詩詞逆向接龍任務(wù)中，LLaDA表現(xiàn)穩(wěn)定，而GPT-4o等傳統(tǒng)模型則出現(xiàn)明顯性能下降。此外，LLaDA在數(shù)學(xué)推理和中文理解任務(wù)上也表現(xiàn)出色，在某些測試中甚至超越了同等規(guī)模的LLaMA3模型。它還能進(jìn)行自然的多輪對話，具備與ChatGPT相似的交互能力。

Q3：普通用戶什么時(shí)候能使用到LLaDA技術(shù)？

A：目前LLaDA還處于研究階段，研究團(tuán)隊(duì)已經(jīng)在項(xiàng)目主頁https://ml-gsai.github.io/LLaDA-demo/提供了演示版本。不過要真正普及到普通用戶還需要時(shí)間，主要原因是擴(kuò)散模型在生成時(shí)需要更多計(jì)算步驟，速度相對較慢。隨著技術(shù)優(yōu)化和硬件提升，預(yù)計(jì)未來幾年內(nèi)基于擴(kuò)散模型的語言AI產(chǎn)品會逐步面向消費(fèi)者市場推出。