這項(xiàng)由普林斯頓大學(xué)的王銀杰、楊凌以及芝加哥大學(xué)的研究人員共同完成的突破性研究發(fā)表于2025年9月。研究團(tuán)隊(duì)開(kāi)發(fā)了一種名為T(mén)raceRL的全新訓(xùn)練方法，能讓AI語(yǔ)言模型在生成文本時(shí)變得更加聰明和高效。有興趣深入了解的讀者可以通過(guò)https://github.com/Gen-Verse/dLLM-RL訪問(wèn)完整的研究代碼和模型。

就像教導(dǎo)學(xué)生解題一樣，傳統(tǒng)的AI訓(xùn)練方法往往忽略了"解題過(guò)程"的重要性，只關(guān)注最終答案是否正確。而這項(xiàng)研究就像一位經(jīng)驗(yàn)豐富的老師，不僅看重答案，更注重學(xué)生是如何一步步思考和推理的。通過(guò)這種方式，研究團(tuán)隊(duì)訓(xùn)練出了一系列名為T(mén)raDo的AI模型，盡管它們的規(guī)模比其他同類(lèi)模型要小，但在復(fù)雜數(shù)學(xué)推理任務(wù)上的表現(xiàn)卻令人刮目相看。

這項(xiàng)研究的核心創(chuàng)新在于，它不再把AI的學(xué)習(xí)過(guò)程當(dāng)作一個(gè)黑盒子，而是像跟蹤學(xué)生做題的每一步一樣，仔細(xì)觀察和指導(dǎo)AI在生成答案時(shí)的每一個(gè)思維步驟。這種方法就像給AI配了一位貼身家教，能夠?qū)崟r(shí)糾正它的思維軌跡，讓它學(xué)會(huì)更好的推理模式。

一、重新定義AI的學(xué)習(xí)方式

要理解這項(xiàng)研究的重要性，我們可以把傳統(tǒng)的AI訓(xùn)練比作教孩子背誦標(biāo)準(zhǔn)答案。傳統(tǒng)方法就像給學(xué)生一道數(shù)學(xué)題，然后直接告訴他答案是什么，而不管他是怎么得出這個(gè)答案的。這樣的教學(xué)方式雖然能讓學(xué)生在考試中得到正確答案，但遇到稍微變化的題目時(shí)就容易出錯(cuò)。

擴(kuò)散語(yǔ)言模型是一種新興的AI技術(shù)，它的工作原理就像拼圖游戲一樣。普通的AI模型像是按順序一個(gè)字一個(gè)字地寫(xiě)作文，而擴(kuò)散模型則像是先在紙上隨機(jī)撒一些字母，然后通過(guò)多輪修改和完善，最終形成一篇完整的文章。這種方法的好處是可以同時(shí)處理多個(gè)部分，大大提高了生成速度，就像多個(gè)人同時(shí)拼不同區(qū)域的拼圖一樣。

然而，現(xiàn)有的訓(xùn)練方法存在一個(gè)根本問(wèn)題：它們?cè)谟?xùn)練時(shí)使用的策略與實(shí)際使用時(shí)的策略不匹配。這就像在練習(xí)時(shí)用一種方法解題，但考試時(shí)卻要用另一種方法，自然會(huì)影響表現(xiàn)。研究團(tuán)隊(duì)發(fā)現(xiàn)，這種不匹配導(dǎo)致了AI模型在復(fù)雜推理任務(wù)上表現(xiàn)不佳。

為了解決這個(gè)問(wèn)題，研究團(tuán)隊(duì)設(shè)計(jì)了TraceRL方法。這個(gè)方法的核心思想是讓AI在訓(xùn)練過(guò)程中就按照它實(shí)際使用時(shí)的方式進(jìn)行學(xué)習(xí)。就像讓學(xué)生在練習(xí)時(shí)就使用考試時(shí)要用的解題方法，這樣才能確保知識(shí)的有效轉(zhuǎn)移。

二、TraceRL：追蹤AI的思維軌跡

TraceRL方法的精妙之處在于它不再把AI的輸出看作一個(gè)整體，而是將其分解為一系列連續(xù)的思維步驟。就像觀察一位畫(huà)家作畫(huà)的過(guò)程，我們不僅要看最終的作品，更要關(guān)注他是如何一筆一劃完成整幅畫(huà)的。

在傳統(tǒng)的訓(xùn)練方法中，AI就像一個(gè)被蒙住眼睛的學(xué)生，隨機(jī)地在試卷上涂改，然后根據(jù)最終結(jié)果來(lái)判斷對(duì)錯(cuò)。而TraceRL則像是給這個(gè)學(xué)生摘下眼罩，讓他能夠清楚地看到自己的每一步操作，并根據(jù)每一步的質(zhì)量來(lái)調(diào)整學(xué)習(xí)策略。

這種方法的實(shí)現(xiàn)過(guò)程可以比作訓(xùn)練一位廚師。傳統(tǒng)方法只告訴廚師"這道菜做得好"或"做得不好"，而TraceRL則會(huì)詳細(xì)指出"切菜這一步做得很好，調(diào)味這一步需要改進(jìn)，火候這一步掌握得恰到好處"。通過(guò)這種細(xì)致入微的指導(dǎo)，廚師能夠更精確地掌握每一個(gè)環(huán)節(jié)的技巧。

為了進(jìn)一步提升訓(xùn)練效果，研究團(tuán)隊(duì)還引入了一個(gè)名為"擴(kuò)散價(jià)值模型"的輔助工具。這個(gè)模型就像一位經(jīng)驗(yàn)豐富的評(píng)委，能夠預(yù)測(cè)AI在執(zhí)行每一步操作后可能獲得的最終分?jǐn)?shù)。有了這樣的預(yù)測(cè)，AI就能夠在每一步都做出更明智的選擇，就像棋手在下每一步棋時(shí)都會(huì)考慮到后續(xù)可能的變化一樣。

這種方法還有一個(gè)巧妙的設(shè)計(jì)：為了提高訓(xùn)練效率，研究團(tuán)隊(duì)引入了"收縮參數(shù)"的概念。這就像把幾個(gè)小步驟合并成一個(gè)大步驟來(lái)處理，既保持了訓(xùn)練的精確性，又大大提升了訓(xùn)練速度。

三、TraDo模型：小身材大智慧

通過(guò)TraceRL方法訓(xùn)練出的TraDo系列模型展現(xiàn)出了令人印象深刻的能力。這些模型就像班級(jí)里的優(yōu)等生，雖然體型（參數(shù)規(guī)模）比其他同學(xué)要小，但在解決復(fù)雜問(wèn)題時(shí)卻表現(xiàn)得更加出色。

TraDo-4B模型雖然只有40億個(gè)參數(shù)，但在數(shù)學(xué)推理任務(wù)上的表現(xiàn)卻超越了許多擁有70億參數(shù)的大型模型。這就像一位身材嬌小的體操運(yùn)動(dòng)員，雖然看起來(lái)不如其他選手高大威猛，但在技巧和靈活性上卻遠(yuǎn)勝一籌。在MATH500這個(gè)被認(rèn)為是數(shù)學(xué)推理能力"金標(biāo)準(zhǔn)"的測(cè)試中，TraDo-4B達(dá)到了75.6%的準(zhǔn)確率，而著名的Qwen2.5-7B模型的準(zhǔn)確率為74.0%。

更令人驚嘆的是TraDo-8B模型的表現(xiàn)。在同樣的數(shù)學(xué)推理測(cè)試中，它比Qwen2.5-7B模型的表現(xiàn)提升了6.1%，比Llama3.1-8B模型的表現(xiàn)提升了驚人的51.3%。這種提升就像讓一個(gè)原本及格的學(xué)生突然變成了班級(jí)第一名，其進(jìn)步幅度之大令人難以置信。

研究團(tuán)隊(duì)還開(kāi)發(fā)出了第一個(gè)具備長(zhǎng)篇推理能力的擴(kuò)散語(yǔ)言模型TraDo-8B-Thinking。這個(gè)模型就像一位能夠進(jìn)行深度思考的哲學(xué)家，不僅能給出正確答案，還能詳細(xì)解釋自己的推理過(guò)程。在處理復(fù)雜數(shù)學(xué)問(wèn)題時(shí)，這個(gè)模型能夠生成平均長(zhǎng)度達(dá)到5872個(gè)字符的詳細(xì)解答過(guò)程，相比之下，普通模型的回答通常只有幾百個(gè)字符。

這種能力的價(jià)值不僅體現(xiàn)在準(zhǔn)確性上，更重要的是它的可解釋性。就像一位優(yōu)秀的老師不僅能給出正確答案，還能清楚地解釋解題思路，讓學(xué)生真正理解問(wèn)題的本質(zhì)。這對(duì)于需要高可信度AI系統(tǒng)的應(yīng)用場(chǎng)景來(lái)說(shuō)具有重要意義。

四、訓(xùn)練過(guò)程的精妙設(shè)計(jì)

TraceRL的訓(xùn)練過(guò)程就像精心設(shè)計(jì)的音樂(lè)課程。傳統(tǒng)的訓(xùn)練方法就像讓學(xué)生反復(fù)練習(xí)一首曲子的最后幾個(gè)音符，而忽略了整首曲子的演奏過(guò)程。TraceRL則像一位細(xì)致的音樂(lè)老師，會(huì)關(guān)注學(xué)生演奏每一個(gè)段落的表現(xiàn)，并針對(duì)性地進(jìn)行指導(dǎo)。

在具體實(shí)現(xiàn)上，研究團(tuán)隊(duì)設(shè)計(jì)了一套巧妙的獎(jiǎng)勵(lì)機(jī)制。當(dāng)AI模型在解決數(shù)學(xué)問(wèn)題時(shí)，系統(tǒng)不僅會(huì)根據(jù)最終答案的正確性給出評(píng)價(jià)，還會(huì)根據(jù)每一個(gè)推理步驟的質(zhì)量進(jìn)行評(píng)分。這就像給學(xué)生的作業(yè)不僅打總分，還會(huì)在每一步解題過(guò)程旁邊給出具體的評(píng)價(jià)和建議。

為了確保訓(xùn)練的穩(wěn)定性，研究團(tuán)隊(duì)還引入了一個(gè)類(lèi)似"成績(jī)預(yù)測(cè)系統(tǒng)"的價(jià)值模型。這個(gè)模型能夠預(yù)測(cè)AI在當(dāng)前狀態(tài)下可能獲得的最終分?jǐn)?shù)，幫助AI在每一步都做出更明智的選擇。就像一位經(jīng)驗(yàn)豐富的學(xué)習(xí)顧問(wèn)，能夠根據(jù)學(xué)生當(dāng)前的學(xué)習(xí)狀態(tài)預(yù)測(cè)期末考試成績(jī)，并給出相應(yīng)的學(xué)習(xí)建議。

在訓(xùn)練數(shù)據(jù)的選擇上，研究團(tuán)隊(duì)也頗費(fèi)心思。對(duì)于數(shù)學(xué)任務(wù)，他們選擇了MATH數(shù)據(jù)集中的3-5級(jí)難題，這相當(dāng)于選擇了"中等偏難"的練習(xí)題，既有挑戰(zhàn)性又不至于過(guò)于困難。對(duì)于編程任務(wù)，他們使用了經(jīng)過(guò)驗(yàn)證的6000個(gè)問(wèn)題，確保每個(gè)訓(xùn)練樣本都是高質(zhì)量的。

五、實(shí)驗(yàn)結(jié)果：數(shù)字背后的故事

實(shí)驗(yàn)結(jié)果就像一場(chǎng)精彩的體育比賽，TraDo模型在各個(gè)項(xiàng)目上都展現(xiàn)出了驚人的競(jìng)技水平。在數(shù)學(xué)推理這個(gè)"主項(xiàng)"上，TraDo模型的表現(xiàn)可以說(shuō)是一騎絕塵。

在GSM8K這個(gè)基礎(chǔ)數(shù)學(xué)題測(cè)試中，TraDo-4B達(dá)到了91.2%的準(zhǔn)確率，而TraDo-8B更是達(dá)到了92.3%。這就像一位學(xué)生在小學(xué)數(shù)學(xué)考試中幾乎拿到滿分，顯示出了扎實(shí)的基礎(chǔ)能力。

更令人印象深刻的是在AIME2024這樣的高難度數(shù)學(xué)競(jìng)賽中的表現(xiàn)。這相當(dāng)于數(shù)學(xué)界的"奧運(yùn)會(huì)"，TraDo-8B-Thinking模型達(dá)到了35.5%的正確率，而其他同類(lèi)模型大多只有個(gè)位數(shù)的正確率。這就像一位普通學(xué)生突然在國(guó)際數(shù)學(xué)奧林匹克競(jìng)賽中獲得了不錯(cuò)的成績(jī)。

在編程能力測(cè)試LiveCodeBench-V2中，TraDo系列模型同樣表現(xiàn)出色。TraDo-8B模型達(dá)到了25.9%的通過(guò)率，相比基礎(chǔ)模型提升了7.4個(gè)百分點(diǎn)。這種提升就像讓一個(gè)剛學(xué)會(huì)編程的新手突然能夠解決中等復(fù)雜度的編程問(wèn)題。

研究團(tuán)隊(duì)還進(jìn)行了一個(gè)有趣的實(shí)驗(yàn)：讓模型學(xué)會(huì)適應(yīng)更大的"思考單元"。這就像訓(xùn)練一位作家從寫(xiě)短句逐漸過(guò)渡到寫(xiě)長(zhǎng)段落。結(jié)果顯示，通過(guò)TraceRL訓(xùn)練，模型能夠成功地從處理4個(gè)字符的小單元擴(kuò)展到處理8個(gè)字符的大單元，而性能幾乎沒(méi)有下降。

六、加速效果的意外收獲

除了準(zhǔn)確性的提升，TraceRL還帶來(lái)了一個(gè)意外的好處：推理速度的顯著提高。這就像一位學(xué)生不僅成績(jī)提高了，做題速度也變快了。

在MATH500測(cè)試中，經(jīng)過(guò)TraceRL訓(xùn)練的模型比原始模型快了15.4%。這種加速效果的原理很有趣：當(dāng)模型變得更加"自信"時(shí)，它在每一步推理中都能更快地確定下一步該怎么做，就像一位經(jīng)驗(yàn)豐富的醫(yī)生能夠更快地做出診斷一樣。

研究團(tuán)隊(duì)發(fā)現(xiàn)，這種加速效果主要體現(xiàn)在動(dòng)態(tài)采樣過(guò)程中。動(dòng)態(tài)采樣就像一位智能的編輯，能夠根據(jù)內(nèi)容質(zhì)量動(dòng)態(tài)調(diào)整處理速度。當(dāng)遇到簡(jiǎn)單內(nèi)容時(shí)就快速處理，遇到復(fù)雜內(nèi)容時(shí)就仔細(xì)斟酌。經(jīng)過(guò)TraceRL訓(xùn)練的模型在這種模式下表現(xiàn)得更加游刃有余。

同時(shí)，研究團(tuán)隊(duì)還觀察到一個(gè)有趣現(xiàn)象：模型在處理復(fù)雜數(shù)學(xué)問(wèn)題時(shí)，生成的回答變得更長(zhǎng)了。TraDo-4B模型的平均回答長(zhǎng)度從548個(gè)字符增加到了595個(gè)字符。這并不意味著模型變得"啰嗦"了，而是說(shuō)明它學(xué)會(huì)了更詳細(xì)地解釋自己的推理過(guò)程，就像一位好老師會(huì)詳細(xì)講解解題步驟一樣。

七、開(kāi)源框架：讓技術(shù)惠及更多人

認(rèn)識(shí)到這項(xiàng)技術(shù)的重要價(jià)值，研究團(tuán)隊(duì)做出了一個(gè)令人敬佩的決定：將整個(gè)研究框架完全開(kāi)源。這就像一位大廚不僅公開(kāi)了自己的招牌菜譜，還詳細(xì)說(shuō)明了烹飪的每一個(gè)步驟和技巧。

這個(gè)開(kāi)源框架支持多種不同類(lèi)型的擴(kuò)散語(yǔ)言模型，就像一個(gè)通用的工具箱，無(wú)論你要修理什么樣的機(jī)器，都能在里面找到合適的工具?？蚣苤屑闪硕喾N加速推理的技術(shù)，讓用戶能夠在保持模型性能的同時(shí)大大提升運(yùn)行速度。

更貼心的是，這個(gè)框架還提供了多種訓(xùn)練方法的實(shí)現(xiàn)，包括監(jiān)督學(xué)習(xí)、強(qiáng)化學(xué)習(xí)等各種技術(shù)。這就像一個(gè)綜合性的健身房，不僅有各種器械，還配備了專(zhuān)業(yè)的教練指導(dǎo)。研究團(tuán)隊(duì)甚至貼心地準(zhǔn)備了針對(duì)數(shù)學(xué)、編程和通用任務(wù)的不同訓(xùn)練模板，讓使用者能夠快速上手。

這種開(kāi)源精神的價(jià)值不僅在于技術(shù)的傳播，更在于為整個(gè)AI研究社區(qū)提供了一個(gè)高質(zhì)量的基礎(chǔ)平臺(tái)。就像建造了一座堅(jiān)固的橋梁，讓更多的研究者能夠在此基礎(chǔ)上繼續(xù)探索和創(chuàng)新。

八、技術(shù)細(xì)節(jié)：魔鬼藏在細(xì)節(jié)里

雖然我們用通俗的語(yǔ)言解釋了TraceRL的核心思想，但這項(xiàng)技術(shù)的實(shí)現(xiàn)過(guò)程實(shí)際上包含了許多精巧的細(xì)節(jié)設(shè)計(jì)，就像一塊精密的手表，每一個(gè)齒輪都必須精確配合。

在數(shù)學(xué)推理任務(wù)的訓(xùn)練中，研究團(tuán)隊(duì)采用了一種巧妙的數(shù)據(jù)篩選策略。他們只保留那些準(zhǔn)確率在20%到80%之間的訓(xùn)練題目，這就像選擇"不太容易也不太難"的練習(xí)題，既能讓模型得到充分的挑戰(zhàn)，又不會(huì)因?yàn)檫^(guò)于困難而失去學(xué)習(xí)的信心。

對(duì)于編程任務(wù)，團(tuán)隊(duì)使用了更加客觀的評(píng)價(jià)標(biāo)準(zhǔn)：代碼通過(guò)單元測(cè)試的比例。這就像給程序員的作品進(jìn)行實(shí)際測(cè)試，看它是否真的能夠解決實(shí)際問(wèn)題，而不僅僅是代碼寫(xiě)得好看。

在訓(xùn)練過(guò)程中，研究團(tuán)隊(duì)還發(fā)現(xiàn)了一個(gè)有趣的現(xiàn)象：填充標(biāo)記（padding token）的數(shù)量對(duì)訓(xùn)練效果有重要影響。設(shè)置太多的填充標(biāo)記會(huì)讓模型"偷懶"，過(guò)早結(jié)束思考過(guò)程；而設(shè)置太少又可能讓模型"停不下來(lái)"，生成過(guò)長(zhǎng)的無(wú)用內(nèi)容。經(jīng)過(guò)反復(fù)調(diào)試，團(tuán)隊(duì)找到了最佳的平衡點(diǎn)。

九、長(zhǎng)篇推理：AI的深度思考能力

TraDo-8B-Thinking模型展現(xiàn)出的長(zhǎng)篇推理能力可以說(shuō)是這項(xiàng)研究最令人驚嘆的成果之一。這個(gè)模型就像一位深度思考者，不滿足于給出簡(jiǎn)單的答案，而是要詳細(xì)闡述整個(gè)思考過(guò)程。

以一道關(guān)于完全立方數(shù)的數(shù)學(xué)題為例，普通的AI模型可能只會(huì)給出"答案是27"這樣簡(jiǎn)單的回答。而TraDo-8B-Thinking卻會(huì)生成一篇長(zhǎng)達(dá)數(shù)千字的詳細(xì)解答，從問(wèn)題分析開(kāi)始，逐步推導(dǎo)，考慮各種可能性，甚至還會(huì)進(jìn)行自我驗(yàn)證和反思。

這種能力的價(jià)值遠(yuǎn)不止于數(shù)學(xué)領(lǐng)域。在需要復(fù)雜推理的場(chǎng)景中，比如法律分析、醫(yī)療診斷、投資決策等，這種詳細(xì)的推理過(guò)程能夠幫助人類(lèi)更好地理解AI的決策依據(jù)，從而建立對(duì)AI系統(tǒng)的信任。

更有趣的是，這個(gè)模型在生成長(zhǎng)篇推理時(shí)展現(xiàn)出了類(lèi)似人類(lèi)的思維特征。它會(huì)質(zhì)疑自己的初步結(jié)論，重新檢查推理過(guò)程，甚至?xí)f(shuō)"等等，讓我重新想想"這樣的話。這種自我反思的能力使得它的推理過(guò)程更加可靠和值得信賴。

十、實(shí)際應(yīng)用的廣闊前景

這項(xiàng)研究的意義遠(yuǎn)遠(yuǎn)超出了學(xué)術(shù)范圍，它為AI技術(shù)的實(shí)際應(yīng)用開(kāi)辟了新的可能性。在教育領(lǐng)域，這種能夠詳細(xì)解釋推理過(guò)程的AI可以成為優(yōu)秀的數(shù)學(xué)導(dǎo)師，不僅能給出正確答案，還能耐心地解釋解題思路。

在科學(xué)研究中，這種技術(shù)可以幫助研究人員處理復(fù)雜的數(shù)據(jù)分析和假設(shè)驗(yàn)證工作。AI不再是一個(gè)黑盒子，而是一個(gè)能夠清晰解釋自己推理過(guò)程的研究助手，這將大大提升科學(xué)研究的效率和可信度。

在金融和商業(yè)分析領(lǐng)域，這種技術(shù)可以幫助分析師進(jìn)行復(fù)雜的投資決策和風(fēng)險(xiǎn)評(píng)估。投資經(jīng)理不僅能夠得到AI的建議，還能看到詳細(xì)的分析過(guò)程，從而做出更加明智的決策。

更重要的是，這項(xiàng)技術(shù)為解決AI的"可解釋性"難題提供了一個(gè)實(shí)用的解決方案。長(zhǎng)期以來(lái)，AI系統(tǒng)的不透明性一直是阻礙其在關(guān)鍵領(lǐng)域廣泛應(yīng)用的主要障礙。TraceRL技術(shù)讓AI的思維過(guò)程變得透明可見(jiàn)，這將大大促進(jìn)AI在醫(yī)療、法律、金融等高風(fēng)險(xiǎn)領(lǐng)域的應(yīng)用。

說(shuō)到底，這項(xiàng)研究最大的價(jià)值在于它改變了我們訓(xùn)練AI的根本思路。從關(guān)注結(jié)果到關(guān)注過(guò)程，從粗放式訓(xùn)練到精細(xì)化指導(dǎo)，這種轉(zhuǎn)變就像從工業(yè)化生產(chǎn)轉(zhuǎn)向手工藝制作，雖然過(guò)程更復(fù)雜，但產(chǎn)品質(zhì)量卻得到了質(zhì)的提升。

TraDo系列模型的優(yōu)異表現(xiàn)證明了這種方法的有效性。更重要的是，研究團(tuán)隊(duì)通過(guò)開(kāi)源的方式讓這項(xiàng)技術(shù)惠及整個(gè)AI研究社區(qū)，這種開(kāi)放合作的精神將推動(dòng)整個(gè)領(lǐng)域的快速發(fā)展。

對(duì)于普通人來(lái)說(shuō)，這項(xiàng)研究意味著我們很快就能看到更加智能、更加可靠的AI助手。這些AI不僅能給出正確答案，還能清楚地解釋它們是如何思考的，這將讓人機(jī)合作變得更加高效和信任。隨著這項(xiàng)技術(shù)的進(jìn)一步發(fā)展和應(yīng)用，我們有理由相信，AI將在解決人類(lèi)面臨的復(fù)雜問(wèn)題上發(fā)揮越來(lái)越重要的作用。

研究團(tuán)隊(duì)已經(jīng)將完整的代碼和模型在GitHub上開(kāi)源，有興趣的讀者可以訪問(wèn)https://github.com/Gen-Verse/dLLM-RL來(lái)體驗(yàn)這項(xiàng)令人興奮的技術(shù)。這不僅是一項(xiàng)技術(shù)突破，更是AI發(fā)展道路上的一個(gè)重要里程碑，預(yù)示著更加智能、可靠、可解釋的AI時(shí)代即將到來(lái)。

Q&A

Q1：TraceRL訓(xùn)練方法和傳統(tǒng)AI訓(xùn)練方法有什么區(qū)別？

A：傳統(tǒng)AI訓(xùn)練就像只看學(xué)生的考試成績(jī)，而TraceRL像是觀察學(xué)生解題的每一個(gè)步驟。傳統(tǒng)方法只關(guān)注最終答案對(duì)錯(cuò)，TraceRL會(huì)分析AI生成答案的整個(gè)思維過(guò)程，針對(duì)每一步進(jìn)行指導(dǎo)和優(yōu)化，就像一位貼身家教實(shí)時(shí)糾正學(xué)生的解題思路。

Q2：TraDo模型為什么比其他大型AI模型表現(xiàn)更好？

A：TraDo模型雖然參數(shù)規(guī)模較小，但通過(guò)TraceRL方法訓(xùn)練得更加精準(zhǔn)。就像一位技巧嫻熟的體操運(yùn)動(dòng)員雖然體型嬌小，但在技術(shù)和靈活性上遠(yuǎn)勝高大的選手。TraDo-8B在數(shù)學(xué)推理上比Qwen2.5-7B提升6.1%，比Llama3.1-8B提升51.3%，證明了訓(xùn)練方法的重要性。

Q3：普通人能使用TraDo模型嗎？如何獲??？

A：研究團(tuán)隊(duì)已經(jīng)將完整的TraDo框架在GitHub開(kāi)源，網(wǎng)址是https://github.com/Gen-Verse/dLLM-RL?？蚣苤С侄喾N模型架構(gòu)，集成了加速推理技術(shù)，并提供了數(shù)學(xué)、編程等不同任務(wù)的訓(xùn)練模板，讓用戶能夠快速上手使用這項(xiàng)技術(shù)。