論文基本信息

這項研究由西北大學(xué)、谷歌DeepMind和谷歌團(tuán)隊合作完成，第一作者為西北大學(xué)的張申奧（在谷歌實習(xí)期間完成），通訊作者為西北大學(xué)的Zhaoran Wang和谷歌的Yunxuan Li。論文題為《Beyond Markovian: Reflective Exploration via Bayes-Adaptive RL for LLM Reasoning》，發(fā)表于2025年5月26日的arXiv預(yù)印本平臺（arXiv:2505.20561v1），研究代碼已在GitHub開源：https://github.com/shenao-zhang/BARL。

一、研究背景：為什么大語言模型需要反思？

想象一下，你正在解決一道復(fù)雜的數(shù)學(xué)題。解題過程中，你可能會意識到自己走錯了方向，于是回到前面的步驟，重新思考，嘗試不同的解法。這種"啊哈！我明白哪里出錯了"的時刻，在人類思考過程中非常自然。令人驚訝的是，經(jīng)過強(qiáng)化學(xué)習(xí)訓(xùn)練的大語言模型（LLMs）也表現(xiàn)出類似的行為——它們能夠生成長篇的思維鏈（Chain-of-Thought），進(jìn)行自我反思，并回溯糾正先前的錯誤。

然而，傳統(tǒng)的馬爾可夫強(qiáng)化學(xué)習(xí)（RL）框架對這種現(xiàn)象的出現(xiàn)卻無法給出充分解釋。在馬爾可夫RL中，模型在訓(xùn)練階段通過大量嘗試錯誤來學(xué)習(xí)最優(yōu)策略，而在測試階段則完全依賴這一確定性策略，不再進(jìn)行探索。此外，馬爾可夫假設(shè)限制了策略只能基于當(dāng)前狀態(tài)而非整個歷史上下文做決策。因此，馬爾可夫RL既無法保證反思性探索在訓(xùn)練中自然涌現(xiàn)，也難以解釋為何這種行為在測試時有益。

西北大學(xué)和谷歌的研究團(tuán)隊針對這一問題提出了全新視角：將反思性探索重新定義為貝葉斯自適應(yīng)強(qiáng)化學(xué)習(xí)（Bayes-Adaptive RL）問題。這種方法顯式優(yōu)化了在馬爾可夫決策過程（MDP）后驗分布下的期望回報，同時激勵模型進(jìn)行獎勵最大化（利用）和信息收集（探索）的行為。研究團(tuán)隊基于此框架提出了BARL（Bayes-Adaptive RL for LLM Reasoning）算法，為大語言模型提供了何時以及如何進(jìn)行反思性探索的原則性指導(dǎo)。

二、馬爾可夫RL的局限性：為何無法解釋反思行為

想象你在一片迷宮中，每走一步只能看到當(dāng)前所處的房間，而無法記住你之前的路徑。這就是馬爾可夫決策過程的本質(zhì)——當(dāng)前決策只依賴于當(dāng)前狀態(tài)，而不考慮到達(dá)該狀態(tài)的歷史路徑。

在傳統(tǒng)馬爾可夫RL中，訓(xùn)練與測試存在明確分工：訓(xùn)練時進(jìn)行大量探索以找到最優(yōu)策略，測試時則嚴(yán)格執(zhí)行這一確定性策略。研究團(tuán)隊通過理論證明揭示了馬爾可夫RL的兩大局限性：

首先，馬爾可夫策略的最優(yōu)性可以通過簡單記憶訓(xùn)練解決方案實現(xiàn)。由于探索僅限于訓(xùn)練階段，系統(tǒng)能夠通過反復(fù)試錯發(fā)現(xiàn)回報最大化的行動序列，并在測試時完全利用這些記憶的解決方案。這就像你在考試前反復(fù)練習(xí)標(biāo)準(zhǔn)題目，考試時直接套用記憶的解法，而不是實時思考和適應(yīng)。

其次，馬爾可夫假設(shè)限制策略僅基于當(dāng)前狀態(tài)而非歷史上下文做決策。這意味著即使模型走進(jìn)了死胡同，它也無法利用過去探索積累的上下文信息來調(diào)整策略，從而缺乏動態(tài)自適應(yīng)的能力。就像你在迷宮中，即使已經(jīng)探索了多條路徑，也無法利用這些經(jīng)驗來改變當(dāng)前的決策策略。

研究團(tuán)隊證明，在有限步長和折扣無限步長的MDP中，反思性策略比非反思性策略更次優(yōu)，因為糾正錯誤需要額外的步驟。這也就是說，從純馬爾可夫RL的角度看，反思行為似乎是不必要的。然而實際中，經(jīng)過RL訓(xùn)練的LLMs卻展現(xiàn)出明顯的反思行為，尤其是在生成長思維鏈時。這一矛盾表明，傳統(tǒng)RL框架難以充分解釋LLMs中涌現(xiàn)的反思性探索行為。

三、貝葉斯自適應(yīng)RL：為反思行為提供理論基礎(chǔ)

研究團(tuán)隊提出，貝葉斯自適應(yīng)RL框架能更好地解釋和指導(dǎo)LLM的反思性探索。這一框架將問題重新定義為在MDP后驗分布下優(yōu)化期望回報，其核心思想可以通過一個簡單的例子來理解：

想象你是一位偵探，面對多個可能的案件線索（即不同的MDP假設(shè)）。在傳統(tǒng)馬爾可夫RL中，你會選擇最有可能的線索并堅定地沿著它調(diào)查到底，無論途中遇到什么矛盾。而在貝葉斯自適應(yīng)RL中，你會同時考慮多條線索的可能性，隨著調(diào)查深入不斷更新對各條線索可信度的評估（信念更新），并根據(jù)最新信息動態(tài)調(diào)整調(diào)查方向。

貝葉斯自適應(yīng)RL框架通過信念更新過程自然地激勵了兩種行為：一是追求高回報的利用行為，二是收集更多信息以減少不確定性的探索行為。當(dāng)模型發(fā)現(xiàn)當(dāng)前策略與觀察到的獎勵不一致時，它會自動降低對該策略的信念，并切換到其他可能的策略。這種機(jī)制完美解釋了LLM在推理過程中的"啊哈時刻"——意識到錯誤并轉(zhuǎn)向新方向的現(xiàn)象。

研究團(tuán)隊通過理論證明，貝葉斯自適應(yīng)策略的測試時期望回報可以比最優(yōu)馬爾可夫策略高出指數(shù)級。這意味著，能夠根據(jù)新信息動態(tài)調(diào)整策略的自適應(yīng)方法，在測試時泛化能力遠(yuǎn)優(yōu)于僅記憶訓(xùn)練解決方案的確定性策略。

四、BARL算法：讓大語言模型學(xué)會何時何地進(jìn)行反思

基于貝葉斯自適應(yīng)RL框架，研究團(tuán)隊開發(fā)了BARL算法，為LLM提供了何時以及如何進(jìn)行反思性探索的明確指導(dǎo)。BARL算法的工作原理就像一個智能偵探團(tuán)隊，同時考慮多個解題策略（MDP假設(shè)），并根據(jù)已觀察到的線索（獎勵）不斷更新對各策略可信度的評估。

具體來說，BARL為每個輸入問題執(zhí)行以下步驟：

首先，讓LLM生成多個候選答案，每個答案對應(yīng)一個MDP假設(shè)。這就像偵探團(tuán)隊提出多種破案思路，準(zhǔn)備逐一驗證。

其次，根據(jù)模型當(dāng)前的信念，為每個假設(shè)分配權(quán)重。這相當(dāng)于偵探團(tuán)隊對各種可能性的初步評估。

第三，隨著推理過程的進(jìn)行，通過比較預(yù)測獎勵與實際觀察到的獎勵之間的差異，不斷更新對各假設(shè)的信念。當(dāng)發(fā)現(xiàn)某個假設(shè)預(yù)測的獎勵與實際觀察嚴(yán)重不符時，該假設(shè)的權(quán)重會大幅降低，促使模型切換策略。這就像偵探發(fā)現(xiàn)某條線索與證據(jù)不符，立即調(diào)整調(diào)查方向。

BARL算法的狀態(tài)-動作值由三個組件加權(quán)計算：

1. 在特定MDP假設(shè)下的值函數(shù)，反映了該策略的潛在回報。 2. LLM對該MDP假設(shè)的信念，即模型認(rèn)為該答案的合理性。 3. 觀察到的獎勵與該MDP假設(shè)預(yù)測獎勵的一致性，用于判斷是否需要切換策略。

通過這種方式，BARL提供了一種有原則的方法來整合和修正各種可能的策略，類似于線性化的N種最佳推理，但具有明確的步級指導(dǎo)，告訴模型何時以及如何進(jìn)行反思性探索。

五、實驗驗證：從合成任務(wù)到數(shù)學(xué)推理

研究團(tuán)隊通過一系列實驗驗證了BARL的有效性，首先從一個簡單的合成任務(wù)開始，模擬LLM推理中的測試時泛化問題。

### 合成任務(wù)實驗

這個任務(wù)設(shè)計得非常巧妙：智能體需要連續(xù)重復(fù)提示詞中的標(biāo)記恰好三次才能獲得獎勵。訓(xùn)練時使用的提示詞標(biāo)記是0或1，而測試時則是2。這就像訓(xùn)練一個模型解決類型A和B的問題，但測試時卻給它一個全新的類型C問題。

實驗結(jié)果清晰地展示了不同方法的差異：傳統(tǒng)馬爾可夫RL快速記憶了訓(xùn)練解決方案（重復(fù)0或1三次），但在測試時完全無法泛化到新標(biāo)記2。相比之下，BARL在訓(xùn)練和測試階段都表現(xiàn)出更好的性能。特別是當(dāng)給予模型先驗知識（即獎勵與重復(fù)模式有關(guān)）時，BARL的準(zhǔn)確率和收斂速度進(jìn)一步提高。這強(qiáng)調(diào)了平衡候選集多樣性和合理性的重要性——候選集應(yīng)足夠多樣以捕捉測試時的不確定性，但又要足夠合理以縮小假設(shè)空間。

### 數(shù)學(xué)推理任務(wù)實驗

研究團(tuán)隊進(jìn)一步在各種LLM上評估了BARL，包括Qwen2.5-Math-1.5B、Qwen2.5-Math-7B和DeepSeek-R1-Distill-Llama-8B。評估基準(zhǔn)包括GSM8K、MATH、CollegeMath和OlympiadBench等數(shù)學(xué)推理任務(wù)。

實驗結(jié)果表明，BARL在大多數(shù)基準(zhǔn)測試上的準(zhǔn)確率都優(yōu)于馬爾可夫RL基線（如GRPO和進(jìn)度獎勵基線）。更令人印象深刻的是，BARL表現(xiàn)出顯著更高的標(biāo)記效率，與進(jìn)度基線相比減少了多達(dá)39%的平均標(biāo)記數(shù)，與GRPO相比減少了50%，與Qwen2.5-Math-1.5B基礎(chǔ)模型相比減少了90%以上。

研究者們還發(fā)現(xiàn)，模型整體性能與反思頻率之間并無強(qiáng)相關(guān)性。BARL的優(yōu)勢主要來自于更高效的探索和更有效的思考標(biāo)記，而非簡單地增加反思的頻率。這表明，反思的質(zhì)量比數(shù)量更重要。

六、關(guān)鍵發(fā)現(xiàn)：為什么、何時、如何進(jìn)行反思

通過理論分析和實驗驗證，研究團(tuán)隊總結(jié)了LLM推理反思的三個關(guān)鍵問題：為什么、如何以及何時應(yīng)該進(jìn)行反思。

### 為什么需要反思？

馬爾可夫RL無法確保反思性探索的涌現(xiàn)，也無法解釋其在測試時的益處，因為：(1)探索僅限于訓(xùn)練階段，以學(xué)習(xí)并在測試時純粹利用最優(yōu)確定性策略，該策略可能僅僅記憶訓(xùn)練解決方案；(2)狀態(tài)條件策略缺乏收集額外上下文和回溯的動機(jī)。相比之下，貝葉斯自適應(yīng)RL通過優(yōu)化測試時的泛化能力，鼓勵探索收集上下文信息，從而減少M(fèi)DP的不確定性。

### 如何進(jìn)行反思？

BARL提供了一種有原則的方式來拼接可行策略，通過維護(hù)MDP假設(shè)的后驗分布，每個假設(shè)都與采樣的候選答案相關(guān)聯(lián)。反思性探索通過假設(shè)消除自然涌現(xiàn)，使模型能夠?qū)崟r適應(yīng)。

### 何時進(jìn)行反思？

當(dāng)LLM的內(nèi)部信念與累積獎勵反饋之間出現(xiàn)差異時，應(yīng)該進(jìn)行自我反思。這種差異通過降低那些具有高信念概率但基于先前觀察不太可能最優(yōu)的假設(shè)的權(quán)重，發(fā)出切換策略的信號。

七、總結(jié)與未來展望

這項研究為理解和增強(qiáng)LLM的推理能力提供了全新視角。通過將反思性探索重新定義為貝葉斯自適應(yīng)RL問題，研究團(tuán)隊不僅解釋了為什么反思行為有益，還提出了BARL算法，為模型提供何時以及如何進(jìn)行反思性探索的原則性指導(dǎo)。

實驗結(jié)果表明，BARL在合成任務(wù)和數(shù)學(xué)推理任務(wù)上均優(yōu)于傳統(tǒng)馬爾可夫RL方法，表現(xiàn)出更高的準(zhǔn)確率和標(biāo)記效率。特別值得注意的是，模型性能與反思行為的關(guān)鍵相關(guān)因素不是反思的頻率，而是探索的效率和思考標(biāo)記的有效性。

未來，研究團(tuán)隊計劃將BARL方法擴(kuò)展到更廣泛的領(lǐng)域，如編程和智能體任務(wù)。這項研究不僅推進(jìn)了我們對LLM推理能力的理解，還為開發(fā)更高效、更靈活的AI系統(tǒng)提供了新的方向。

對于關(guān)注AI發(fā)展的讀者來說，這項研究揭示了一個重要信息：真正的智能不僅僅是記憶和執(zhí)行，還包括根據(jù)新信息動態(tài)調(diào)整策略的能力。就像人類在解決問題時會不斷反思和調(diào)整一樣，未來的AI系統(tǒng)也將越來越擅長這種自適應(yīng)推理，使它們在面對新挑戰(zhàn)時表現(xiàn)得更加靈活和高效。