這項由NewsBreak公司的吳遠豪、宋俊彤、牛承等研究人員與伊利諾伊大學厄巴納-香檳分校的張漢寧、張彤團隊共同完成的研究發(fā)表于2025年6月，論文標題為"DuaShepherd: Integrating Stepwise Correctness and Potential Rewards for Mathematical Reasoning"。感興趣的讀者可以通過arXiv:2506.17533v1獲取完整論文。

想象你正在教一個孩子做數(shù)學題。當他解題時，你不僅會關注每一步是否正確，還會考慮這一步是否能引導他走向最終答案。這正是DuaShepherd這項研究的核心思想。研究團隊發(fā)現(xiàn)，現(xiàn)有的AI數(shù)學推理系統(tǒng)往往只關注其中一個方面，要么只看步驟正確性，要么只看能否得到正確答案，而忽略了這兩者的協(xié)同作用。

當前的大型語言模型在數(shù)學推理方面仍然存在明顯短板。盡管這些AI系統(tǒng)在許多任務上表現(xiàn)出色，但面對需要多步驟邏輯推理的數(shù)學問題時，它們經常會在某個步驟出錯，或者雖然單步正確但最終偏離正確答案。這就像一個學生可能計算沒錯，但解題思路有問題，最終還是得不到正確答案。

研究團隊提出了一個創(chuàng)新的解決方案：構建一個"雙重導師"系統(tǒng)。這個系統(tǒng)有兩個不同的"大腦"，一個專門負責檢查每個步驟是否正確（就像嚴格的數(shù)學老師），另一個專門判斷當前的解題路徑是否有希望得到正確答案（就像有經驗的輔導員）。更重要的是，他們找到了將這兩種判斷有效結合的方法，讓AI在數(shù)學推理時既能避免低級錯誤，又能保持正確的解題方向。

在實際測試中，這種雙重獎勵系統(tǒng)在多個數(shù)學測試集上都顯示出顯著的性能提升。特別是在MATH500和ProcessBench這兩個權威測試中，DuaShepherd模型的表現(xiàn)明顯超越了單獨使用任何一種獎勵信號的模型，達到了同等資源條件下的最先進水平。

一、雙重視角下的數(shù)學推理革新

傳統(tǒng)的AI數(shù)學推理訓練方法通常采用單一的獎勵機制。有些系統(tǒng)專注于結果導向的獎勵，也就是說，只要最終答案正確，中間過程如何并不重要。這種方法的問題在于，即使得到了正確答案，AI可能是通過錯誤的推理路徑"蒙"對的，這在解決更復雜問題時就會暴露出問題。另一些系統(tǒng)則采用過程導向的獎勵，逐步檢查每個推理步驟的正確性，但這種方法往往忽略了整體的解題策略是否合理。

研究團隊觀察到，這兩種不同的獎勵信號實際上反映了數(shù)學推理的兩個不同層面。正確性獎勵關注的是"這一步做得對不對"，而潛力獎勵關注的是"這一步能不能幫助我們到達終點"。就像開車導航一樣，你既需要確保每個轉彎都是正確的（不違反交通規(guī)則），也需要確保整體路線是通向目的地的（不會越走越遠）。

為了驗證這個想法，研究團隊深入分析了現(xiàn)有的兩個主要數(shù)據集：OpenAI的PRM800K數(shù)據集和Math-Shepherd數(shù)據集。PRM800K數(shù)據集主要通過人工標注來判斷每個推理步驟的正確性，就像有一位嚴格的數(shù)學老師在旁邊逐步檢查學生的每個計算過程。而Math-Shepherd數(shù)據集則通過蒙特卡洛采樣方法來評估某個步驟最終導向正確答案的可能性，更像是一位有經驗的教練在判斷當前策略的成功概率。

通過對這兩個數(shù)據集的深入分析，研究團隊發(fā)現(xiàn)它們確實捕捉到了數(shù)學推理的不同方面。在一些情況下，一個推理步驟可能在邏輯上完全正確，但卻不是解決當前問題的最佳路徑。相反，有些步驟雖然看起來不夠優(yōu)雅，但卻能有效地引導向正確的解答方向。這種差異性為結合兩種獎勵信號提供了理論基礎。

二、自動化數(shù)據集構建的巧妙設計

構建一個包含雙重獎勵標簽的大規(guī)模數(shù)據集是這項研究的關鍵挑戰(zhàn)之一。傳統(tǒng)的做法需要大量人工標注，不僅成本高昂，而且難以保證標注的一致性。研究團隊設計了一個聰明的自動化流程來解決這個問題。

整個過程就像是建立一個自動化的"雙重評分系統(tǒng)"。首先，他們分別在PRM800K和Math-Shepherd數(shù)據集上訓練了兩個專門的獎勵模型。第一個模型專注于學習如何識別推理步驟的正確性，它學會了像一位嚴格的閱卷老師一樣，能夠發(fā)現(xiàn)推理過程中的邏輯錯誤、計算錯誤等問題。第二個模型則專注于評估解題的潛力，它學會了像一位經驗豐富的策略顧問一樣，能夠判斷當前的解題方向是否有希望成功。

接下來，研究團隊使用這兩個已經訓練好的模型來為Math-Shepherd數(shù)據集中的所有樣本生成雙重標簽。這個過程非常巧妙：他們讓正確性模型為每個推理步驟打分，評估其邏輯正確性；同時讓潛力模型為同樣的步驟打分，評估其解題潛力。這樣，每個推理步驟都獲得了兩個維度的評分。

為了確保這種自動化標注的質量，研究團隊還進行了嚴格的驗證。他們使用OpenAI的o1-mini模型作為參考標準，對隨機抽取的1000個推理軌跡進行了人工驗證。結果顯示，他們的正確性模型生成的偽標簽與人工標注的一致性達到了79.6%的F1分數(shù)，而潛力模型的表現(xiàn)更是達到了93.46%的F1分數(shù)。這些數(shù)字表明，自動化流程產生的標簽質量足以支撐后續(xù)的模型訓練。

這種自動化數(shù)據集構建方法的另一個優(yōu)勢是可擴展性。與需要大量人工標注的傳統(tǒng)方法不同，這個流程可以輕松地擴展到更大規(guī)模的數(shù)據集，為訓練更強大的數(shù)學推理模型提供了充足的"燃料"。

三、多任務學習架構的精妙設計

在獲得了包含雙重獎勵標簽的數(shù)據集后，如何有效地訓練一個能夠同時理解兩種獎勵信號的模型成為了下一個關鍵問題。研究團隊采用了一種多頭網絡架構，這種設計就像是給AI裝上了"雙眼"，讓它能夠同時從兩個不同的角度觀察和評估數(shù)學推理過程。

具體來說，這個架構包含一個共享的基礎大型語言模型作為"主體大腦"，負責理解和處理輸入的數(shù)學推理文本。在這個主體大腦的基礎上，研究團隊添加了兩個專門的"判斷頭"，每個頭都是一個簡單的全連接層，但它們分別專注于不同的任務。第一個頭專門負責預測推理步驟的正確性，第二個頭則專門負責評估解題的潛力。

這種設計的巧妙之處在于，兩個專門的判斷頭共享同一個基礎模型的知識表示，這意味著它們可以相互學習和借鑒。當模型在學習如何判斷步驟正確性時，這些知識也會間接地幫助它更好地理解解題潛力，反之亦然。就像一個人在學習數(shù)學時，對計算技巧的掌握會幫助他更好地理解解題策略，而對整體策略的理解也會讓他在具體計算時更加準確。

在訓練過程中，研究團隊使用了多任務學習的策略。模型的總損失函數(shù)是兩個任務損失的簡單相加：一個來自正確性預測任務，另一個來自潛力預測任務。這種設計確保模型在訓練時需要同時優(yōu)化兩個目標，從而學會平衡這兩種不同但互補的能力。

實驗結果證明了這種多任務學習方法的有效性。與分別訓練兩個獨立模型相比，聯(lián)合訓練的模型在兩個任務上都表現(xiàn)得更好。這種現(xiàn)象被稱為"正向遷移"，也就是說，學習一個任務的過程實際上幫助了另一個任務的學習。這進一步證實了研究團隊的假設：正確性判斷和潛力評估這兩個任務在本質上是相互關聯(lián)和互補的。

四、復合概率的創(chuàng)新融合策略

擁有了能夠同時輸出兩種獎勵信號的模型后，如何將這兩個信號有效地結合成一個最終的評分成為了關鍵問題。研究團隊嘗試了多種融合方式，最終發(fā)現(xiàn)了一個既簡單又有效的解決方案：直接將兩個概率相乘。

這種做法背后有著深刻的概率論理念。從數(shù)學角度來看，如果我們假設"步驟正確"和"具有解題潛力"是兩個相互獨立的事件，那么兩者同時發(fā)生的概率就是各自概率的乘積。雖然在實際情況中這兩個事件并不完全獨立，但這種近似在實踐中被證明是非常有效的。

這種融合策略的直觀理解也很容易?？紤]一個推理步驟，如果它的正確性得分是0.8（表示有80%的把握這一步是對的），潛力得分是0.9（表示有90%的把握這一步能導向正確答案），那么綜合得分就是0.8×0.9=0.72。這個綜合得分既考慮了步驟的正確性，也考慮了其策略價值。

研究團隊還嘗試了其他的融合方法，比如加權平均、最大值選擇等，但都沒有簡單相乘的效果好。這個發(fā)現(xiàn)很有意思，因為它表明有時候最簡單的方法往往是最有效的。相乘操作的另一個優(yōu)勢是它具有"一票否決"的特性：如果任何一個維度的得分很低，最終的綜合得分也會相應降低，這確保了模型不會選擇那些在任一方面表現(xiàn)很差的推理步驟。

在多個測試數(shù)據集上的實驗都證實了這種復合概率策略的有效性。特別是在處理那些傳統(tǒng)方法容易出錯的邊界情況時，這種雙重考量的方法顯示出了明顯的優(yōu)勢。比如，當所有候選答案的正確性都比較低時，傳統(tǒng)的僅關注正確性的方法可能會隨機選擇，而DuaShepherd能夠進一步考慮解題潛力，選擇那些更有希望的方案。

五、實驗驗證與性能突破

為了全面評估DuaShepherd的性能，研究團隊在多個權威的數(shù)學推理測試集上進行了詳細的實驗。這些測試就像是為AI學生安排的"期末考試"，涵蓋了不同難度和類型的數(shù)學問題。

在MATH500測試集上，研究團隊使用了三個不同能力水平的數(shù)學推理模型作為"答題生成器"：Mistral-7B、DeepSeekMath-Instruct-7B和Qwen-2.5-Math-Instruct-7B。對于每個測試問題，這些生成器會產生64個候選答案，然后由不同的獎勵模型來選擇最佳答案。這個過程就像是讓學生先寫出多種解法，然后由不同的老師來評判哪種解法最好。

實驗結果令人印象深刻。以Mistral-7B生成器為例，使用單獨的PRM800K模型選擇答案的準確率是47.2%，使用Math-Shepherd模型的準確率也是47.2%，但當使用DuaShepherd的復合獎勵時，準確率提升到了52.6%。這種提升在統(tǒng)計學上是顯著的，表明雙重獎勵確實比單一獎勵更有效。

更有趣的是，即使是簡單地將兩個獨立訓練的模型的輸出相乘，也能獲得一定的性能提升（準確率達到49.8%），但這種提升仍然不如統(tǒng)一訓練的DuaShepherd模型。這說明多任務學習確實幫助模型更好地理解了兩種獎勵信號之間的關系。

在ProcessBench測試集上，DuaShepherd的表現(xiàn)更加出色。這個測試集專門設計用來評估模型識別推理錯誤的能力。DuaShepherd在這項測試中達到了65.5%的綜合得分，不僅遠超單獨使用任一獎勵信號的模型，甚至超過了一些更大規(guī)模的競爭模型。

特別值得注意的是，研究團隊還測試了不同規(guī)模候選答案的情況。無論是在少量候選答案（如4個）還是大量候選答案（如64個）的情況下，DuaShepherd都能保持穩(wěn)定的性能優(yōu)勢。這表明這種方法不僅在理論上有效，在實際應用中也具有很強的魯棒性。

六、深入分析：兩種獎勵的協(xié)同機制

為了更好地理解DuaShepherd為什么有效，研究團隊對兩種獎勵信號之間的關系進行了深入分析。他們計算了正確性獎勵和潛力獎勵之間的皮爾遜相關系數(shù)，發(fā)現(xiàn)對于正確的解答，兩者的相關性達到0.712，而對于錯誤的解答，相關性只有0.392。這個數(shù)字很有啟發(fā)性：它表明兩種獎勵在評估正確解答時更加一致，但在評估錯誤解答時存在更多分歧。

通過可視化分析，研究團隊發(fā)現(xiàn)了一個有趣的現(xiàn)象。在二維圖上，橫軸代表正確性得分，縱軸代表潛力得分，正確的解答大多聚集在右上角（高正確性、高潛力），而錯誤的解答則分散在其他區(qū)域。特別有意思的是，當只使用Math-Shepherd模型進行選擇時，許多錯誤解答聚集在圖的左側（正確性得分接近0的區(qū)域）；而當只使用PRM800K模型進行選擇時，許多錯誤解答聚集在圖的底部（潛力得分接近0的區(qū)域）。

這種分布模式清楚地解釋了為什么單一獎勵模型會在某些情況下失效，以及為什么復合獎勵能夠顯著改善性能。PRM800K模型雖然善于識別邏輯錯誤，但在所有候選答案都存在某些錯誤時，它難以進一步區(qū)分哪個答案更有希望。Math-Shepherd模型雖然善于評估解題潛力，但可能會選擇那些方向正確但細節(jié)錯誤的答案。只有將兩者結合，才能在這兩個維度上都獲得高分的答案。

研究團隊還發(fā)現(xiàn)了一個被稱為"弱到強泛化"的現(xiàn)象。當他們使用更大的72B參數(shù)模型來實現(xiàn)相同的復合獎勵策略時，性能提升更加顯著。這表明DuaShepherd發(fā)現(xiàn)的原理具有很強的可擴展性，隨著模型規(guī)模的增大，其優(yōu)勢會更加明顯。

七、實際應用與未來展望

DuaShepherd的成功不僅僅是學術研究的勝利，更重要的是它為實際的AI數(shù)學教育和輔助系統(tǒng)開發(fā)提供了新的思路。當前，許多在線教育平臺和智能輔導系統(tǒng)都在嘗試集成AI來幫助學生學習數(shù)學，但現(xiàn)有系統(tǒng)往往只能提供簡單的對錯判斷，無法給出更細致的學習指導。

DuaShepherd的雙重評估機制為這類應用提供了更豐富的可能性。比如，一個智能輔導系統(tǒng)可以使用正確性評估來指出學生解題過程中的具體錯誤，同時使用潛力評估來建議更好的解題策略。這種細粒度的反饋對于提高學習效果具有重要價值。

在更廣泛的人工智能研究領域，這項工作也提供了一些重要啟示。它表明，對于復雜的推理任務，單一的評估維度往往是不夠的，需要從多個互補的角度來評估和指導AI的行為。這種思路可能對其他需要多步推理的任務，如代碼生成、科學推理、法律分析等，都有借鑒價值。

不過，研究團隊也坦誠地指出了當前方法的一些局限性。首先，DuaShepherd依賴于偽標簽生成，而這些偽標簽的質量直接影響最終模型的性能。其次，PRM800K數(shù)據集主要關注推理的正確性，可能無法完全捕捉現(xiàn)代AI模型具有的自我反思和自我糾錯能力。此外，雖然簡單的相乘策略在當前實驗中表現(xiàn)良好，但可能還有其他更精妙的融合方式有待探索。

展望未來，這項研究開辟了幾個有前景的研究方向。首先是探索更先進的獎勵融合技術，比如使用神經網絡來學習最優(yōu)的融合策略，而不是簡單的數(shù)學運算。其次是將這種雙重獎勵思想擴展到其他類型的推理任務。最后是結合樹搜索等更復雜的推理策略，進一步提升AI的數(shù)學推理能力。

八、技術創(chuàng)新的深層價值

從技術發(fā)展的歷史來看，DuaShepherd代表了AI研究中一個重要的趨勢轉變：從追求單一指標的優(yōu)化轉向多維度協(xié)同優(yōu)化。這種轉變反映了我們對智能本質理解的深化。真正的智能行為往往需要在多個目標之間找到平衡，而不是簡單地最大化某一個單一指標。

在傳統(tǒng)的機器學習研究中，研究者往往專注于優(yōu)化一個明確定義的目標函數(shù)。但在復雜的推理任務中，這種單一目標的方法往往會導致模型在某些方面表現(xiàn)出色，但在其他重要方面表現(xiàn)不佳。DuaShepherd的成功表明，通過巧妙地設計多個互補的目標函數(shù)，我們可以訓練出更加均衡和強大的AI系統(tǒng)。

這種思路的應用潛力遠不止于數(shù)學推理。在自然語言處理的其他領域，比如文本生成，我們也可以考慮類似的多維度評估：一個維度關注文本的語法正確性和邏輯連貫性，另一個維度關注文本的創(chuàng)意性和吸引力。在計算機視覺領域，我們可以讓模型同時考慮識別的準確性和魯棒性。在推薦系統(tǒng)中，我們可以平衡推薦的準確性和多樣性。

更深層次地看，DuaShepherd的研究還體現(xiàn)了AI研究中的一個重要哲學：模仿人類認知的多維度特征。人類在解決復雜問題時，大腦中往往同時運行著多個評估和決策機制。我們會同時考慮短期收益和長期目標，同時權衡準確性和效率，同時評估風險和機遇。DuaShepherd在某種程度上體現(xiàn)了這種認知的多維度特征，這為構建更加人性化的AI系統(tǒng)提供了有價值的參考。

研究團隊在論文中還提到了一個有趣的觀察：即使使用相對簡單的融合策略（直接相乘），也能獲得顯著的性能提升。這個發(fā)現(xiàn)具有重要的實用價值，因為它表明我們不需要設計極其復雜的融合機制就能獲得多維度評估的好處。這種簡單性不僅降低了技術實現(xiàn)的難度，也提高了系統(tǒng)的可解釋性和可維護性。

說到底，DuaShepherd的研究成果告訴我們，在AI發(fā)展的道路上，有時候答案不在于構建更大更復雜的模型，而在于更聰明地利用已有的資源和知識。通過巧妙地結合兩種看似簡單的評估方式，研究團隊實現(xiàn)了顯著的性能提升，這種"巧思勝過蠻力"的研究思路值得我們深思和借鑒。

歸根結底，這項研究不僅推進了AI數(shù)學推理的技術邊界，更重要的是為我們提供了一種新的思考方式：在面對復雜問題時，與其追求單一維度的完美，不如尋求多個維度的協(xié)調統(tǒng)一。這種思路不僅適用于AI研究，對于我們日常生活中的決策和問題解決也有啟發(fā)意義。畢竟，最好的解決方案往往不是在某一方面做到極致，而是在多個重要方面都能達到令人滿意的水平。

對于那些對人工智能技術感興趣的讀者，這項研究提供了一個很好的案例，展示了如何通過創(chuàng)新的思維方式而不是簡單的資源堆積來推進技術發(fā)展。對于教育工作者和學生，DuaShepherd的雙重評估思想也提供了有益的啟示：在學習和教學過程中，我們同樣需要從多個角度來評估和改進，既要關注知識掌握的準確性，也要關注學習策略的有效性。

Q&A

Q1：DuaShepherd是什么？它解決了什么問題？ A：DuaShepherd是一個AI數(shù)學推理獎勵模型，它同時使用兩種評估方式：判斷每個推理步驟是否正確，以及評估這個步驟是否有助于得到正確答案。它解決了傳統(tǒng)AI模型要么只看步驟對錯、要么只看最終結果的局限性，讓AI在做數(shù)學題時既避免錯誤又保持正確方向。

Q2：這個雙重獎勵系統(tǒng)會不會讓AI變得更復雜難懂？ A：實際上相反，DuaShepherd使用了很簡單的融合方法——直接將兩個評分相乘，這讓系統(tǒng)既強大又容易理解。就像給AI裝了"雙眼"，讓它能從兩個角度看問題，但最終決策過程仍然很直觀。

Q3：普通人能用到這種技術嗎？有什么實際應用？ A：雖然目前還是研究階段，但這種技術很有潛力應用到在線教育平臺和智能輔導系統(tǒng)中。未來的AI數(shù)學老師可能會使用類似技術，不僅指出你哪里算錯了，還能建議更好的解題思路，提供更精準的學習指導。