當(dāng)你在學(xué)習(xí)一門新技能時，比如學(xué)開車，你肯定不會每次都從零開始，而是會在已有經(jīng)驗基礎(chǔ)上不斷改進(jìn)。但令人驚訝的是，目前最先進(jìn)的AI大語言模型在學(xué)習(xí)推理時，卻像是得了健忘癥一樣，每次都要重新"思考"相同的問題步驟。這項由字節(jié)跳動Seed團(tuán)隊、M-A-P實驗室和曼徹斯特大學(xué)聯(lián)合完成的研究發(fā)表于2025年8月，為這個問題提供了一個巧妙的解決方案。有興趣深入了解的讀者可以通過arXiv:2508.17445v1訪問完整論文。

要理解這個問題，我們可以把AI學(xué)習(xí)推理比作學(xué)生做數(shù)學(xué)題。傳統(tǒng)的訓(xùn)練方法就像讓16個學(xué)生分別獨立解同一道幾何題，每個人都要重新畫圖、重新分析、重新計算，哪怕前面的步驟完全相同。這顯然是浪費時間和精力的。研究團(tuán)隊發(fā)現(xiàn)，當(dāng)AI模型在解決復(fù)雜推理問題時，經(jīng)常會產(chǎn)生大量相同的"思考前綴"——就像學(xué)生們在解題開始時都會寫出相同的"設(shè)"、"因為"、"所以"等步驟。

研究團(tuán)隊提出的TreePO（Tree-based Policy Optimization，基于樹結(jié)構(gòu)的策略優(yōu)化）就像是為AI訓(xùn)練裝上了一個"智能復(fù)制粘貼"系統(tǒng)。當(dāng)多個AI推理路徑在前面部分相同時，系統(tǒng)會自動識別這些共同部分，讓它們共享計算資源，只在需要分岔的地方才開始獨立計算。這種方法不僅大大提高了計算效率，還讓AI的學(xué)習(xí)過程變得更加穩(wěn)定可靠。

一、從"各自為政"到"協(xié)同作戰(zhàn)"：TreePO的核心創(chuàng)新

傳統(tǒng)的AI強(qiáng)化學(xué)習(xí)就像是讓一群人同時獨立思考同一個問題，每個人都要從頭開始，即使他們的思考過程在前半段完全相同。研究團(tuán)隊通過大量實驗發(fā)現(xiàn)，當(dāng)AI模型處理同一個數(shù)學(xué)問題時，盡管最終答案可能不同，但在問題理解、變量設(shè)定、初步邏輯推導(dǎo)等環(huán)節(jié)，不同的推理路徑往往高度相似。

這就像烹飪一樣，不管你最終要做紅燒肉還是糖醋排骨，前面的準(zhǔn)備工作——洗菜、切肉、熱鍋——都是相似的。TreePO的創(chuàng)新就在于識別這些"共同的準(zhǔn)備工作"，讓AI只做一遍，然后在需要分化的節(jié)點上再分別進(jìn)行不同的處理。

具體來說，TreePO把AI的推理過程重新組織成了一個樹狀結(jié)構(gòu)。樹的根部是原始問題，樹干代表所有推理路徑都會經(jīng)歷的共同步驟，而樹枝則代表不同的推理方向。這樣，AI就不需要重復(fù)計算相同的部分，大大提高了效率。

更重要的是，這種樹狀結(jié)構(gòu)還讓AI的學(xué)習(xí)變得更加精確。傳統(tǒng)方法就像是用一把大刷子給整面墻刷油漆，無法精確控制每個部分。而TreePO則像是用精細(xì)的畫筆，能夠針對推理過程中的不同環(huán)節(jié)給出不同程度的"獎勵"或"懲罰"，讓AI更清楚地知道哪些思考步驟是有價值的，哪些是需要改進(jìn)的。

研究結(jié)果顯示，這種方法在保持甚至提高AI推理準(zhǔn)確率的同時，將計算時間減少了22%到43%。這意味著原本需要10小時訓(xùn)練的AI模型，現(xiàn)在只需要6-8小時就能達(dá)到同樣甚至更好的效果。

二、"智能分段"讓計算資源物盡其用

TreePO的第二個重要創(chuàng)新是"智能分段"機(jī)制。傳統(tǒng)的AI訓(xùn)練就像是讓學(xué)生必須把整篇作文一口氣寫完，中途不能停頓。而TreePO則允許AI將長篇推理分成若干個"段落"，每寫完一段就可以停下來"思考"一下是否要繼續(xù)這條思路，還是換個方向。

這種分段機(jī)制的好處是多方面的。首先，它讓AI能夠更靈活地控制推理深度。就像登山時你可以在不同的休息點重新評估路線一樣，AI可以在每個"段落"結(jié)束時重新評估當(dāng)前推理路徑的可行性。如果發(fā)現(xiàn)某條路徑明顯走偏了，可以及時"掉頭"，避免浪費更多計算資源。

其次，這種分段方式大大降低了對計算機(jī)內(nèi)存的要求。傳統(tǒng)方法需要同時在內(nèi)存中保存所有可能的推理路徑，就像你要同時在腦子里記住16種不同的解題方法一樣，非常消耗"腦力"。而分段方式讓計算機(jī)可以分批處理這些信息，大大減輕了內(nèi)存壓力。

研究團(tuán)隊還設(shè)計了一套"早停機(jī)制"，就像GPS導(dǎo)航在發(fā)現(xiàn)你走錯路時會及時提醒"請掉頭"一樣。當(dāng)AI檢測到某條推理路徑出現(xiàn)明顯錯誤（比如開始重復(fù)相同內(nèi)容或產(chǎn)生邏輯矛盾）時，會立即停止該路徑的進(jìn)一步計算，將計算資源分配給更有希望的方向。

實驗數(shù)據(jù)顯示，這種智能分段機(jī)制讓AI在處理復(fù)雜數(shù)學(xué)推理任務(wù)時，平均減少了40%的無效計算，同時將推理準(zhǔn)確率提升了3-8個百分點。這相當(dāng)于讓一個原本需要思考10分鐘才能解出題目的學(xué)生，現(xiàn)在6分鐘就能得出更準(zhǔn)確的答案。

三、"群體智慧"讓AI學(xué)會更精準(zhǔn)的自我評價

TreePO的第三個突破是重新設(shè)計了AI的"自我評價"系統(tǒng)。傳統(tǒng)的強(qiáng)化學(xué)習(xí)就像是給學(xué)生打分時只看最終答案，而忽視了解題過程中的各個步驟。這就導(dǎo)致AI很難知道自己在推理過程中的哪個環(huán)節(jié)做得好，哪個環(huán)節(jié)需要改進(jìn)。

TreePO引入了一種"群體智慧"機(jī)制。當(dāng)多個AI推理路徑在某個節(jié)點分叉時，系統(tǒng)會比較同一"家族"內(nèi)不同路徑的表現(xiàn)，給出更精細(xì)的評價。這就像是班級里幾個成績相近的學(xué)生互相比較學(xué)習(xí)方法，更容易發(fā)現(xiàn)細(xì)微的差異和改進(jìn)空間。

具體來說，假設(shè)AI在解決一道幾何題時產(chǎn)生了8條不同的推理路徑，TreePO會根據(jù)這些路徑在樹狀結(jié)構(gòu)中的位置，將它們分成不同的"子組"。比如，都采用了"設(shè)輔助線"方法的路徑歸為一組，都采用了"直接證明"方法的路徑歸為另一組。然后，系統(tǒng)會在每個子組內(nèi)部比較不同路徑的優(yōu)劣，而不是簡單地把所有路徑混在一起比較。

這種分組比較的好處是顯而易見的。就像體育比賽中會分重量級一樣，相似的推理方法之間的比較更加公平，也更能反映出細(xì)微的技巧差異。通過這種方式，AI可以學(xué)會在保持基本推理框架正確的前提下，不斷優(yōu)化推理的細(xì)節(jié)和效率。

研究團(tuán)隊通過大量實驗驗證了這種評價機(jī)制的有效性。在數(shù)學(xué)推理任務(wù)中，采用新評價機(jī)制的AI在MATH數(shù)據(jù)集上的準(zhǔn)確率從72.89%提升到85.34%，在AIME競賽題目上的準(zhǔn)確率從17.13%提升到27.83%。這相當(dāng)于讓一個數(shù)學(xué)中等生的成績直接躍升到優(yōu)秀生水平。

四、從理論到實踐：TreePO在真實任務(wù)中的表現(xiàn)

為了驗證TreePO的實際效果，研究團(tuán)隊在多個具有挑戰(zhàn)性的數(shù)學(xué)推理任務(wù)上進(jìn)行了廣泛測試。他們選擇了Qwen2.5-7B作為基礎(chǔ)模型，這是一個擁有70億參數(shù)的大語言模型，相當(dāng)于一個接受過大學(xué)教育的"AI學(xué)生"。

實驗涵蓋了五個不同難度和類型的數(shù)學(xué)測試：AIME 2024（美國數(shù)學(xué)邀請賽）、AMC 2023（美國數(shù)學(xué)競賽）、MATH500（包含500道高中到大學(xué)數(shù)學(xué)題）、MINERVA（谷歌開發(fā)的數(shù)學(xué)推理測試集）和奧數(shù)競賽題目。這些測試就像是為AI安排了從高中數(shù)學(xué)到大學(xué)數(shù)學(xué)，從基礎(chǔ)計算到復(fù)雜證明的全方位"期末考試"。

結(jié)果令人振奮。在最基礎(chǔ)的GRPO（傳統(tǒng)強(qiáng)化學(xué)習(xí)方法）基線上，AI的綜合準(zhǔn)確率只有46.63%，相當(dāng)于剛及格的水平。但當(dāng)引入TreePO的采樣機(jī)制后，準(zhǔn)確率直接躍升至54.61%，提升了近8個百分點。當(dāng)同時使用TreePO的采樣機(jī)制和新的評價系統(tǒng)后，準(zhǔn)確率進(jìn)一步提升到58.21%，達(dá)到了良好水平。

更令人驚喜的是效率提升。傳統(tǒng)方法訓(xùn)練一個模型需要6.4個GPU小時（相當(dāng)于一臺高性能計算機(jī)工作6.4小時），而TreePO只需要3.65到5.09個GPU小時，效率提升了22%到43%。這意味著原本需要一天才能訓(xùn)練完成的AI模型，現(xiàn)在半天就能完成，而且效果還更好。

研究團(tuán)隊還發(fā)現(xiàn)了一個有趣的現(xiàn)象：TreePO訓(xùn)練出的AI模型在推理過程中表現(xiàn)出更強(qiáng)的穩(wěn)定性。傳統(tǒng)方法訓(xùn)練的AI就像是情緒波動很大的學(xué)生，有時候表現(xiàn)很好，有時候又會出現(xiàn)明顯退步。而TreePO訓(xùn)練的AI則像是性格穩(wěn)定的好學(xué)生，學(xué)習(xí)曲線更加平滑，很少出現(xiàn)突然的性能下降。

五、深入探索：為什么TreePO如此有效

為了更深入理解TreePO的工作原理，研究團(tuán)隊進(jìn)行了一系列精心設(shè)計的對照實驗。他們就像科學(xué)家研究新藥的機(jī)制一樣，逐一分析了TreePO各個組成部分的作用。

首先，他們驗證了"樹形采樣"相比"獨立采樣"的優(yōu)勢。實驗結(jié)果顯示，在相同的計算預(yù)算下，樹形采樣平均能獲得40%的軌跡級加速和30%的令牌級加速。這就像是將原本需要16個人獨立完成的工作，通過合理分工變成了只需要10個人就能完成，而且質(zhì)量還更高。

其次，他們研究了不同"分段長度"對性能的影響。就像切蛋糕時切片的厚薄會影響口感一樣，AI推理的分段長度也會影響推理效果。研究發(fā)現(xiàn)，將推理過程分成14段，每段512個令牌（大約相當(dāng)于一個段落的長度）是最優(yōu)的配置。分段太細(xì)會導(dǎo)致頻繁的"思考中斷"，分段太粗則失去了靈活調(diào)整的優(yōu)勢。

研究團(tuán)隊還探索了基于"概率"的智能分支策略。這就像是根據(jù)學(xué)生的歷史表現(xiàn)來分配輔導(dǎo)資源一樣，系統(tǒng)會根據(jù)不同推理路徑的"成功概率"來動態(tài)分配計算資源。結(jié)果發(fā)現(xiàn)，簡單的平均分配策略反而比復(fù)雜的概率加權(quán)策略效果更好，這提醒我們有時候"大道至簡"確實是真理。

另一個重要發(fā)現(xiàn)是關(guān)于"計算預(yù)算"與"推理深度"的權(quán)衡。研究顯示，對于不同類型的數(shù)學(xué)問題，最優(yōu)的推理策略是不同的。對于基礎(chǔ)計算類問題，淺層但寬泛的搜索更有效；而對于復(fù)雜證明題，深層但精確的推理更重要。TreePO的靈活性讓AI能夠根據(jù)問題類型自動調(diào)整推理策略。

六、技術(shù)細(xì)節(jié)：TreePO的"內(nèi)部構(gòu)造"

雖然我們已經(jīng)用通俗的語言解釋了TreePO的主要思想，但了解一些技術(shù)細(xì)節(jié)有助于更深入理解這項研究的價值。TreePO的核心是一個叫做"段級樹采樣"的算法，它就像是一個智能的"推理路徑規(guī)劃器"。

這個算法維護(hù)著一個"推理隊列"，就像銀行的排號系統(tǒng)一樣，依次處理不同的推理任務(wù)。對于每個輸入的數(shù)學(xué)問題，算法首先生成一個固定長度的"推理段落"，然后根據(jù)這個段落的內(nèi)容和質(zhì)量決定是繼續(xù)延伸這條推理路徑，還是在這里"分叉"產(chǎn)生新的推理方向，或者干脆"剪枝"停止這條看起來沒有希望的路徑。

算法的"分叉策略"特別巧妙。它會根據(jù)當(dāng)前已有的推理路徑數(shù)量和質(zhì)量，動態(tài)調(diào)整新分支的產(chǎn)生速度。如果已經(jīng)有很多條路徑在并行推理，系統(tǒng)會變得更加"挑剔"，只在最有希望的節(jié)點產(chǎn)生新分支。如果推理路徑太少，系統(tǒng)則會更加"大膽"，嘗試更多不同的推理方向。

"回退機(jī)制"是另一個重要組成部分。當(dāng)系統(tǒng)發(fā)現(xiàn)某些推理路徑過早結(jié)束（比如AI認(rèn)為已經(jīng)解出了答案）而導(dǎo)致總體推理路徑不足時，會啟動回退機(jī)制，從之前的中間節(jié)點重新開始推理，確保能夠產(chǎn)生足夠數(shù)量的完整推理路徑用于學(xué)習(xí)。

在評價機(jī)制方面，TreePO使用了一種叫做"分層優(yōu)勢估計"的方法。簡單來說，就是對AI推理過程中的每個步驟，不只是看它在所有推理路徑中的表現(xiàn)，還要看它在"同類"推理路徑中的表現(xiàn)。這就像是評價一個學(xué)生的數(shù)學(xué)成績時，既要看他在全年級中的排名，也要看他在采用相同解題方法的同學(xué)中的排名。

七、實際應(yīng)用：TreePO的現(xiàn)實意義

TreePO的意義遠(yuǎn)不止于提高AI的數(shù)學(xué)推理能力。這項技術(shù)代表了一種全新的AI訓(xùn)練思路，可能會在多個領(lǐng)域產(chǎn)生深遠(yuǎn)影響。

在教育領(lǐng)域，TreePO的思想可以用來開發(fā)更智能的個性化學(xué)習(xí)系統(tǒng)。系統(tǒng)可以分析學(xué)生在解題過程中的"推理樹"，識別學(xué)生在哪個推理節(jié)點出現(xiàn)了錯誤，然后提供針對性的指導(dǎo)。這就像是給每個學(xué)生配備一個能夠精確診斷思維過程的AI家教。

在科學(xué)研究中，TreePO可以幫助研究人員更高效地探索復(fù)雜問題的解決方案。比如在藥物研發(fā)中，研究人員需要考慮成千上萬種可能的化合物組合，TreePO的思想可以幫助系統(tǒng)識別具有相似化學(xué)性質(zhì)的化合物組合，避免重復(fù)實驗，大大提高研發(fā)效率。

在軟件開發(fā)領(lǐng)域，TreePO的原理可以用來優(yōu)化代碼生成AI的訓(xùn)練。當(dāng)AI學(xué)習(xí)編寫程序時，很多程序的開頭部分（比如導(dǎo)入庫、定義變量等）是相似的，TreePO可以幫助AI更好地利用這些共同部分，提高代碼生成的效率和質(zhì)量。

對于普通用戶來說，TreePO的最直接影響可能體現(xiàn)在AI助手的響應(yīng)速度和準(zhǔn)確性上?；赥reePO訓(xùn)練的AI助手在處理復(fù)雜問題時會更快、更準(zhǔn)確，同時消耗更少的計算資源，這意味著AI服務(wù)的成本會降低，普及程度會進(jìn)一步提高。

八、挑戰(zhàn)與展望：TreePO的未來發(fā)展

盡管TreePO取得了顯著成果，但研究團(tuán)隊也坦誠地指出了當(dāng)前方法的一些局限性。首先是"對齊問題"：當(dāng)AI推理的不同段落在長度或內(nèi)容上出現(xiàn)較大差異時，TreePO的效果會有所下降。這就像是拼圖游戲中，如果拼圖塊的形狀差異太大，就很難找到合適的拼接方式。

其次是"復(fù)雜度控制問題"：雖然TreePO在大多數(shù)情況下能夠提高效率，但當(dāng)推理問題變得極其復(fù)雜時，樹狀結(jié)構(gòu)本身也會變得龐大，管理這個樹狀結(jié)構(gòu)的計算開銷可能會抵消部分效率提升。

研究團(tuán)隊指出，未來的改進(jìn)方向包括開發(fā)更智能的"樹修剪"算法，能夠更精確地識別和移除無價值的推理分支。同時，他們也在探索如何將TreePO的思想擴(kuò)展到其他類型的AI任務(wù)中，比如文本生成、圖像理解等領(lǐng)域。

另一個有趣的研究方向是"多模態(tài)TreePO"，即讓AI在處理同時包含文字、圖像、聲音等多種信息的復(fù)雜任務(wù)時，也能夠利用TreePO的高效推理機(jī)制。這將為開發(fā)更強(qiáng)大的通用人工智能奠定基礎(chǔ)。

從更宏觀的角度來看，TreePO代表了AI研究中的一個重要趨勢：從追求更大的模型規(guī)模轉(zhuǎn)向追求更高效的學(xué)習(xí)算法。隨著AI應(yīng)用的普及，如何在有限的計算資源下獲得更好的AI性能，將成為這個領(lǐng)域最重要的挑戰(zhàn)之一。TreePO提供了一個很好的解決思路，相信會啟發(fā)更多類似的創(chuàng)新。

研究團(tuán)隊表示，他們已經(jīng)將TreePO的代碼和實驗數(shù)據(jù)公開發(fā)布，希望能夠促進(jìn)整個AI社區(qū)在這個方向上的進(jìn)一步研究。對于那些對技術(shù)細(xì)節(jié)感興趣的讀者，可以訪問項目主頁https://m-a-p.ai/TreePO獲取更多信息。

說到底，TreePO不僅僅是一個技術(shù)改進(jìn)，更是一種思維方式的轉(zhuǎn)變。它告訴我們，有時候最好的解決方案不是"更大、更快、更強(qiáng)"，而是"更智能、更高效、更優(yōu)雅"。正如這項研究所展示的，通過巧妙地重新組織計算過程，我們可以用更少的資源獲得更好的結(jié)果。這個道理不僅適用于AI研究，也適用于我們?nèi)粘Ｉ钪械脑S多方面?；蛟S下次當(dāng)我們面對復(fù)雜問題時，也可以嘗試用TreePO的思路——先找出問題的共同部分，再針對不同方面分別處理，可能會發(fā)現(xiàn)意想不到的高效解決方案。

Q&A

Q1：TreePO相比傳統(tǒng)AI訓(xùn)練方法有什么具體優(yōu)勢？

A：TreePO最大的優(yōu)勢是大幅提高訓(xùn)練效率。傳統(tǒng)方法讓AI重復(fù)計算相同的推理步驟，就像16個學(xué)生分別獨立解同一道題的前半部分。TreePO通過樹狀結(jié)構(gòu)讓AI共享相同的推理前綴，只在需要分岔時才獨立計算，這樣在保持甚至提高準(zhǔn)確率的同時，將訓(xùn)練時間減少了22%-43%，相當(dāng)于原本需要10小時的訓(xùn)練現(xiàn)在6-8小時就能完成。

Q2：普通用戶能感受到TreePO技術(shù)帶來的改變嗎？

A：能感受到明顯改變?；赥reePO訓(xùn)練的AI助手在回答復(fù)雜問題時會更快更準(zhǔn)確，同時消耗更少計算資源，這意味著AI服務(wù)成本會降低、響應(yīng)速度會更快。比如當(dāng)你問AI一個復(fù)雜數(shù)學(xué)問題時，它不僅能給出更準(zhǔn)確的答案，響應(yīng)時間也會明顯縮短，就像從普通學(xué)生升級為優(yōu)秀學(xué)生一樣。

Q3：TreePO技術(shù)除了數(shù)學(xué)推理還能用在哪些場景？

A：TreePO的應(yīng)用前景很廣泛。在教育方面可以開發(fā)智能個性化學(xué)習(xí)系統(tǒng)，精確診斷學(xué)生的思維過程；在科學(xué)研究中可以提高藥物研發(fā)等復(fù)雜問題的探索效率；在軟件開發(fā)領(lǐng)域可以優(yōu)化代碼生成AI的訓(xùn)練。本質(zhì)上，任何需要復(fù)雜推理且存在相似思考步驟的AI任務(wù)都可以從TreePO中受益。