這項由清華大學自動化系、交叉信息科學研究院和北京信息科學與技術(shù)國家研究中心的研究團隊聯(lián)合完成的開創(chuàng)性工作，于2025年5月發(fā)表在arXiv預印本平臺（arXiv:2505.15692v1）。該團隊由吳金陽、廖崇華、馮明寬、張帥、聞錚琦、邵鵬鵬、徐華哲和陶建華共同完成，展示了一種全新的強化學習方法，旨在提升大型語言模型的推理能力。

為什么我們需要"思維增強"？

想象一下，你正在學習解決復雜的數(shù)學問題。傳統(tǒng)方法是什么？反復嘗試不同解題路徑，然后記住那些成功的方法。這就像是在黑暗中摸索——你只知道某些路徑能成功，但不知道為什么或如何應用到新問題上。這正是當前強化學習訓練大語言模型面臨的困境。

當前的強化學習方法，如GRPO（Group Relative Policy Optimization），雖然能夠通過獎勵機制引導模型找到正確答案，但它們主要是通過偏向那些能獲得高獎勵的輸出路徑來工作，而沒有引入額外的外部知識。用餐廳尋找美食來打個比方：傳統(tǒng)方法就像是你只能依靠自己的嘗試來找到好餐廳，而沒有美食指南或朋友推薦的幫助。這種方式限制了模型的探索能力，使其推理能力邊界比基礎模型更窄。

研究團隊提出的解決方案——思維增強型策略優(yōu)化（TAPO）——就像是給探索者提供了一本思維指南。它通過引入外部高級指導（"思維模式"）來增強強化學習過程。這些思維模式可以看作是解決問題的抽象策略或"思考路徑"，幫助模型學習更通用、更可解釋的推理行為。

TAPO如何工作？就像給AI配備了思維導航儀

傳統(tǒng)的強化學習訓練就像是讓學生自己摸索解題方法，而TAPO則像是在困難時提供有用提示的導師。具體來說，TAPO構(gòu)建了一個"思維庫"——一個存儲高級思維模板的通用倉庫，這些模板從僅僅500個種子樣本中抽象出來。

每個模板代表了解決某類問題的抽象策略。想象一下，解決幾何問題的通用步驟可能是：分析問題結(jié)構(gòu)→應用相關(guān)定理→逐步推導→驗證結(jié)果。這種抽象策略就是一種"思維模式"，可以應用于各種幾何問題，而不僅限于特定案例。

在GRPO采樣過程中，TAPO會自適應地識別和應用相關(guān)的思維模板。對于每個新問題，系統(tǒng)會找出最相關(guān)的思維模式，并將其用作推理指導。這種動態(tài)集成外部指導和內(nèi)部模型能力的方法，使系統(tǒng)能夠內(nèi)化更通用、更可解釋的推理行為，穩(wěn)定模型學習，并產(chǎn)生更強大的推理模型。

從500個樣本到普適思維模式：思維庫的構(gòu)建過程

TAPO的核心在于其"思維庫"的構(gòu)建。研究團隊首先定義了五種人類思維行為，用于橋接模型推理和人類認知：

第一種是"分而治之"，這類似于我們將復雜問題分解為可管理的子問題；第二種是"自我反思"，即評估和完善先前解決方案；第三種是"系統(tǒng)分析"，分析問題的整體結(jié)構(gòu)并確定約束條件；第四種是"單步思考"，通過專注的推理步驟解決問題的單個方面；最后是"思維鏈"，采用連接邏輯步驟的順序推理過程。

有了這些行為定義，團隊使用蒙特卡洛樹搜索（MCTS）技術(shù)為每個種子問題生成解決方案樹。MCTS就像是在棋盤游戲中提前規(guī)劃多步棋路，不斷嘗試不同路徑并評估哪條路徑最有可能成功。對于每個問題，系統(tǒng)會選擇最優(yōu)的解決方案軌跡，并提取其中的高級思維模式（如：系統(tǒng)分析→單步思考→分而治之）。

這些提取的模式隨后按照"問題條件復雜性"（PCC）進行分類整理。PCC衡量問題中已知先驗條件的數(shù)量，可以被視為問題的"復雜度指紋"。相似問題往往具有相似的PCC值，使得這個指標成為模式聚合的有效工具。

當系統(tǒng)遇到新問題時，它會計算該問題的PCC值，并從思維庫中找出最相似的思維模板。這種適應性檢索機制確保了模型能夠應用適當?shù)耐评聿呗?，而不是使用一刀切的方法?/p>

實驗結(jié)果：TAPO顯著超越現(xiàn)有方法

研究團隊在多個高水平推理基準上評估了TAPO的性能，結(jié)果令人印象深刻。TAPO在五個競賽級基準測試中顯著優(yōu)于現(xiàn)有強化學習方法，平均提高了12.0個百分點。特別是在具有挑戰(zhàn)性的AIME和AMC基準上，TAPO分別比GRPO提高了99%和41%，在Minerva Math上提高了17%。

更令人驚訝的是，這些高級思維模式——僅從500個先驗樣本中抽象出來——能夠有效地泛化到各種任務和模型。TAPO在不同規(guī)模和架構(gòu)的模型上展示了有效性，包括Qwen2.5-Math系列和Llama3系列模型。即使是在較弱的Llama3.2-3B-Base上，該方法也能實現(xiàn)穩(wěn)定學習，而這個模型在標準GRPO訓練中通常會遇到困難。

研究人員還評估了TAPO在分布外（OOD）任務上的泛化能力。盡管所有比較方法都是在數(shù)學數(shù)據(jù)上訓練的，但TAPO在ARC-C、GPQA-Diamond和MMLU-Pro等OOD任務上平均優(yōu)于GRPO 13.7%，這表明該方法在使用高級外部指導增強OOD泛化方面的有效性。

更穩(wěn)定的學習，更出色的解釋能力

TAPO不僅提高了模型的性能，還帶來了更穩(wěn)定的學習過程和更出色的解釋能力。在訓練動態(tài)分析中，研究人員發(fā)現(xiàn)TAPO在兩種模型上都能持續(xù)實現(xiàn)比GRPO更高的整體訓練獎勵。雖然這種優(yōu)勢在Qwen2.5-Math-7B-Base上看起來較為適中，但在較弱的Llama3.2-3B-Base上則更為顯著。

值得注意的是，GRPO在訓練后期往往會崩潰，而TAPO即使在弱模型上也能維持穩(wěn)定的訓練動態(tài)。這種增強的穩(wěn)定性源于TAPO將思維模式策略性地整合到采樣過程中。通過將復雜問題分解為可管理的子任務，TAPO為弱模型提供了明確的外部指導，賦予它們通常只有更強模型才具備的高級任務分解能力。

此外，案例研究表明，TAPO產(chǎn)生的推理過程更具可讀性和可解釋性。與GRPO生成的解決方案相比，TAPO的輸出結(jié)構(gòu)更清晰，邏輯更連貫，并且能夠系統(tǒng)地解決問題的各個方面。

結(jié)語：思維增強開啟強化學習新時代

TAPO的提出標志著強化學習訓練推理模型的一個重要里程碑。通過橋接外部高級指導和模型內(nèi)部推理能力，TAPO有效解決了當前強化學習方法的根本限制。

歸根結(jié)底，TAPO就像是給AI提供了思維地圖和指南針，而不僅僅是讓它在黑暗中摸索。這種方法不僅提高了模型的性能，還增強了其適應能力、穩(wěn)定性和可解釋性。從本質(zhì)上講，TAPO代表了一種更平衡的學習方法，將人類智慧（以抽象思維模式的形式）與機器學習能力相結(jié)合。

未來的研究可能會探索將思維增強型強化學習應用于更多樣化的任務和領域，特別是檢索增強生成和多模態(tài)推理場景。TAPO建立了一個堅實的基礎，用于有效地將外部知識與強化學習相結(jié)合，以增強各種AI應用中的推理能力。

如果你對這項研究感興趣，可以通過arXiv:2505.15692v1訪問完整論文，深入了解TAPO的技術(shù)細節(jié)和實驗結(jié)果。這項研究不僅為AI研究人員提供了新的方法論，也為我們?nèi)绾嗡伎己驮鰪夾I的推理能力提供了新的視角。