在人工智能的發(fā)展歷程中，我們常常關(guān)注模型最終是否能解決問(wèn)題，卻很少思考模型是如何一步步學(xué)會(huì)思考的。2025年5月，來(lái)自騰訊大語(yǔ)言模型部門和中國(guó)人民大學(xué)的研究團(tuán)隊(duì)聯(lián)合發(fā)表了一篇引人深思的研究論文《爬山過(guò)程銘刻的智慧遠(yuǎn)超登頂：關(guān)于學(xué)習(xí)推理中的噪聲獎(jiǎng)勵(lì)》（The Climb Carves Wisdom Deeper Than the Summit: On the Noisy Rewards in Learning to Reason）。這篇發(fā)表于arXiv（arXiv:2505.22653v1）的論文由人民大學(xué)的呂昂和閻瑞，以及騰訊的謝若冰、孫興武和康展輝共同完成。他們的研究帶來(lái)了一個(gè)令人驚訝的發(fā)現(xiàn)：在訓(xùn)練AI模型學(xué)習(xí)推理的過(guò)程中，"爬山的過(guò)程"比"到達(dá)山頂"更為重要，即使是在充滿噪聲和錯(cuò)誤的環(huán)境中，模型也能找到通往正確答案的路徑。

想象一下，如果你正在教一個(gè)孩子解數(shù)學(xué)題，傳統(tǒng)觀念認(rèn)為你必須始終給他們準(zhǔn)確的反饋——告訴他們答案對(duì)還是錯(cuò)。但這項(xiàng)研究發(fā)現(xiàn)，即使你偶爾給出錯(cuò)誤的反饋（比如告訴他們錯(cuò)誤的答案是對(duì)的），只要孩子自己的思考過(guò)程是有條理的，他仍然能夠逐漸掌握解題能力！這簡(jiǎn)直顛覆了我們對(duì)學(xué)習(xí)過(guò)程的理解。

研究團(tuán)隊(duì)專注于探索大語(yǔ)言模型（LLMs）在通過(guò)強(qiáng)化學(xué)習(xí)（RL）進(jìn)行后期訓(xùn)練時(shí)，如何應(yīng)對(duì)獎(jiǎng)勵(lì)信號(hào)中存在的噪聲。與以往那些專注于可以準(zhǔn)確驗(yàn)證答案（如數(shù)學(xué)問(wèn)題）的研究不同，他們更關(guān)注現(xiàn)實(shí)世界中普遍存在的"噪聲獎(jiǎng)勵(lì)"情況，即當(dāng)我們無(wú)法100%確定某個(gè)答案是對(duì)是錯(cuò)時(shí)，AI模型如何仍能學(xué)會(huì)正確推理。

研究中最令人驚訝的發(fā)現(xiàn)是：即使在高達(dá)40%的反饋被人為"顛倒"的情況下（即將正確答案標(biāo)記為錯(cuò)誤，或?qū)㈠e(cuò)誤答案標(biāo)記為正確），Qwen-2.5-7B模型仍然能夠從最初僅5%的數(shù)學(xué)題準(zhǔn)確率提升到驚人的72%！相比之下，使用完全準(zhǔn)確反饋訓(xùn)練的模型只比它高出約4個(gè)百分點(diǎn)，達(dá)到了75.85%的準(zhǔn)確率。這就像一個(gè)學(xué)生即使收到了大量錯(cuò)誤的考試評(píng)分，依然能夠自我糾正并掌握知識(shí)！

更令人驚訝的是，研究人員發(fā)現(xiàn)，僅僅獎(jiǎng)勵(lì)模型在推理過(guò)程中使用的關(guān)鍵詞組（如"首先，我需要..."），而完全不考慮最終答案的正確性，模型也能達(dá)到超過(guò)70%的準(zhǔn)確率！這一發(fā)現(xiàn)證明了模型在預(yù)訓(xùn)練階段已經(jīng)學(xué)到了大量知識(shí)，強(qiáng)化學(xué)習(xí)的作用主要是幫助它探索有效的推理模式，而不是教它新知識(shí)。

這就像是教一個(gè)已經(jīng)掌握了各種烹飪技巧的廚師做一道特定的菜——你不需要教他原料的性質(zhì)或基本烹飪方法，只需要引導(dǎo)他按照正確的步驟思考即可。

研究團(tuán)隊(duì)將這種只關(guān)注推理過(guò)程而非結(jié)果的獎(jiǎng)勵(lì)方式稱為"推理模式獎(jiǎng)勵(lì)"（Reasoning Pattern Reward，簡(jiǎn)稱RPR）。在開(kāi)放式問(wèn)答任務(wù)中，他們發(fā)現(xiàn)RPR不僅能提高模型表現(xiàn)，還能校準(zhǔn)那些不夠準(zhǔn)確的獎(jiǎng)勵(lì)模型，減少潛在的錯(cuò)誤懲罰，并增強(qiáng)模型在開(kāi)放性任務(wù)上的表現(xiàn)，甚至讓較小規(guī)模的模型（如Qwen-2.5-3B）也能展示出強(qiáng)大的推理能力。

接下來(lái)，讓我們深入了解這項(xiàng)研究的詳細(xì)內(nèi)容和令人驚嘆的發(fā)現(xiàn)。

一、研究背景：AI推理中的噪聲獎(jiǎng)勵(lì)難題

在我們?nèi)粘Ｉ钪?，學(xué)習(xí)過(guò)程往往伴隨著不完美的反饋。想象一下，當(dāng)你學(xué)習(xí)一門新語(yǔ)言時(shí)，有時(shí)你可能會(huì)收到錯(cuò)誤的糾正，或者當(dāng)你學(xué)習(xí)烹飪時(shí)，可能會(huì)遵循一個(gè)有些許錯(cuò)誤的食譜。盡管如此，人類仍然能夠從這些不完美的學(xué)習(xí)經(jīng)歷中進(jìn)步。那么，人工智能是否也具備類似的能力呢？

傳統(tǒng)觀念認(rèn)為，訓(xùn)練AI模型需要極其精確的反饋信號(hào)。特別是在訓(xùn)練大語(yǔ)言模型進(jìn)行推理任務(wù)時(shí)，研究人員通常關(guān)注那些可以被準(zhǔn)確驗(yàn)證的任務(wù)，如數(shù)學(xué)問(wèn)題求解。例如，2+2=4可以被明確判定為正確，而2+2=5則是錯(cuò)誤的。這種清晰的判斷為模型提供了無(wú)噪聲的學(xué)習(xí)環(huán)境。

然而，現(xiàn)實(shí)世界中的許多任務(wù)并非如此清晰。比如當(dāng)我們?cè)u(píng)估一個(gè)AI助手回答開(kāi)放性問(wèn)題的質(zhì)量，或者判斷其回應(yīng)是否符合人類偏好時(shí)，很難有一個(gè)絕對(duì)正確的標(biāo)準(zhǔn)。在這些情況下，我們通常依賴于另一個(gè)神經(jīng)網(wǎng)絡(luò)模型（稱為獎(jiǎng)勵(lì)模型）來(lái)評(píng)估回應(yīng)的質(zhì)量。但這些獎(jiǎng)勵(lì)模型本身并不完美，它們的判斷可能包含錯(cuò)誤，有時(shí)甚至?xí)o出與實(shí)際情況相反的評(píng)價(jià)。

騰訊和人民大學(xué)的研究團(tuán)隊(duì)正是聚焦于這一現(xiàn)實(shí)挑戰(zhàn)：當(dāng)獎(jiǎng)勵(lì)信號(hào)中存在噪聲時(shí)，大語(yǔ)言模型是否仍然能夠?qū)W會(huì)推理？這種情況可能出現(xiàn)在獎(jiǎng)勵(lì)模型不夠準(zhǔn)確的場(chǎng)景中，也可能出現(xiàn)在規(guī)則型評(píng)估函數(shù)存在缺陷的情況下。

研究團(tuán)隊(duì)選擇了Qwen-2.5-7B作為主要實(shí)驗(yàn)對(duì)象，這是一個(gè)已經(jīng)在預(yù)訓(xùn)練階段展示出強(qiáng)大推理潛力的模型。他們的研究問(wèn)題非常直接：如果我們?cè)谟?xùn)練過(guò)程中故意引入噪聲（例如，隨機(jī)將一些正確答案標(biāo)記為錯(cuò)誤，或?qū)㈠e(cuò)誤答案標(biāo)記為正確），模型的學(xué)習(xí)效果會(huì)受到多大影響？

二、實(shí)驗(yàn)設(shè)計(jì)：如何在數(shù)學(xué)問(wèn)題中引入"噪聲獎(jiǎng)勵(lì)"

為了系統(tǒng)地研究噪聲獎(jiǎng)勵(lì)對(duì)大語(yǔ)言模型學(xué)習(xí)推理能力的影響，研究團(tuán)隊(duì)設(shè)計(jì)了一系列精巧的實(shí)驗(yàn)。他們首先選擇了數(shù)學(xué)問(wèn)題作為切入點(diǎn)，因?yàn)檫@類問(wèn)題通常有明確的正確答案，便于研究者控制反饋的準(zhǔn)確性。

研究使用了包含57,000個(gè)高質(zhì)量數(shù)學(xué)問(wèn)題的數(shù)據(jù)集進(jìn)行訓(xùn)練，并選擇了三個(gè)具有挑戰(zhàn)性的測(cè)試集來(lái)評(píng)估模型性能：MATH-500、GPQA和AIME 2024。這些測(cè)試集代表了不同難度和類型的數(shù)學(xué)問(wèn)題，能夠全面檢驗(yàn)?zāi)Ｐ偷耐评砟芰Α?/p>

在第一個(gè)實(shí)驗(yàn)中，研究團(tuán)隊(duì)采用了一種簡(jiǎn)單而巧妙的方法來(lái)引入噪聲：他們以不同的概率（從0%到50%，步長(zhǎng)為10%）隨機(jī)"翻轉(zhuǎn)"獎(jiǎng)勵(lì)信號(hào)。具體來(lái)說(shuō)，對(duì)于某些問(wèn)題，如果模型給出了正確答案，研究者會(huì)告訴它"這是錯(cuò)的"；如果模型給出了錯(cuò)誤答案，研究者則會(huì)告訴它"這是對(duì)的"。這種翻轉(zhuǎn)是按問(wèn)題進(jìn)行的，也就是說(shuō)，如果一個(gè)問(wèn)題的獎(jiǎng)勵(lì)被翻轉(zhuǎn)，那么該問(wèn)題下所有輸出的獎(jiǎng)勵(lì)都會(huì)被翻轉(zhuǎn)。

想象一下，這就像是一個(gè)老師在批改學(xué)生的作業(yè)時(shí)，隨機(jī)地將一些正確答案標(biāo)記為錯(cuò)誤，將一些錯(cuò)誤答案標(biāo)記為正確。按照常理，這種做法應(yīng)該會(huì)嚴(yán)重干擾學(xué)生的學(xué)習(xí)過(guò)程。然而，研究結(jié)果卻出人意料。

在MATH-500測(cè)試集上，即使40%的獎(jiǎng)勵(lì)信號(hào)被翻轉(zhuǎn)（一個(gè)相當(dāng)高的噪聲水平），Qwen-2.5-7B模型仍然能夠從初始的5%準(zhǔn)確率提高到令人印象深刻的72.02%！相比之下，使用完全準(zhǔn)確獎(jiǎng)勵(lì)訓(xùn)練的模型達(dá)到了75.85%的準(zhǔn)確率。僅僅4個(gè)百分點(diǎn)的差距，在如此高的噪聲水平下，這一結(jié)果實(shí)在令人驚訝。

只有當(dāng)噪聲水平達(dá)到50%時(shí)（相當(dāng)于完全隨機(jī)的反饋），模型的訓(xùn)練才會(huì)徹底崩潰。這一現(xiàn)象表明，大語(yǔ)言模型對(duì)獎(jiǎng)勵(lì)噪聲具有驚人的魯棒性。研究者將這種現(xiàn)象歸因于模型在預(yù)訓(xùn)練階段已經(jīng)學(xué)到的知識(shí)和推理能力。即使被錯(cuò)誤地獎(jiǎng)勵(lì)，包含錯(cuò)誤答案的輸出仍然可能展示有價(jià)值的邏輯推理過(guò)程，而這些推理模式本身就具有學(xué)習(xí)價(jià)值。

三、驚人發(fā)現(xiàn)：推理過(guò)程比最終答案更重要

基于第一個(gè)實(shí)驗(yàn)的啟發(fā)，研究團(tuán)隊(duì)提出了一個(gè)大膽的假設(shè)：也許在強(qiáng)化學(xué)習(xí)訓(xùn)練中，推理過(guò)程本身比最終答案更為重要。為了驗(yàn)證這一假設(shè)，他們?cè)O(shè)計(jì)了第二個(gè)實(shí)驗(yàn)，引入了一種全新的獎(jiǎng)勵(lì)機(jī)制——"推理模式獎(jiǎng)勵(lì)"（Reasoning Pattern Reward，簡(jiǎn)稱RPR）。

在這個(gè)實(shí)驗(yàn)中，研究者不再關(guān)注模型給出的最終答案是否正確，而是專注于模型在推理過(guò)程中使用的表達(dá)方式。他們識(shí)別了約40個(gè)表示有效推理的關(guān)鍵詞組，如"首先，我需要..."、"讓我先..."、"我們知道..."等。每當(dāng)模型的輸出中出現(xiàn)這些關(guān)鍵詞組，就會(huì)獲得一定的獎(jiǎng)勵(lì)，而不管最終答案是否正確。

這就像是在教一個(gè)孩子解題時(shí)，不是根據(jù)最終答案給予表?yè)P(yáng)，而是當(dāng)孩子展示出清晰的思考過(guò)程時(shí)就給予鼓勵(lì)。例如，當(dāng)孩子說(shuō)"首先，我需要理解問(wèn)題要求..."、"讓我先算出這部分..."時(shí)，無(wú)論最終答案是否正確，都會(huì)得到正面反饋。

實(shí)驗(yàn)結(jié)果再次令人驚訝：僅使用RPR訓(xùn)練的Qwen-2.5-7B模型在MATH-500測(cè)試集上達(dá)到了70.21%的準(zhǔn)確率！這一結(jié)果與使用嚴(yán)格答案驗(yàn)證的模型（75.85%）相差無(wú)幾，而且遠(yuǎn)高于模型的初始準(zhǔn)確率（5%）。

這一發(fā)現(xiàn)提供了強(qiáng)有力的證據(jù)，表明大語(yǔ)言模型在預(yù)訓(xùn)練階段已經(jīng)學(xué)會(huì)了推理，只是需要通過(guò)適當(dāng)?shù)奶崾緛?lái)激活這些能力。強(qiáng)化學(xué)習(xí)的作用不是教會(huì)模型新知識(shí)，而是幫助它探索能夠?qū)е抡_答案的有效推理模式。

研究者發(fā)現(xiàn)，隨著RPR訓(xùn)練的進(jìn)行，模型最初表現(xiàn)出強(qiáng)大的推理能力，但隨后性能會(huì)有所下降。分析輸出內(nèi)容后，他們發(fā)現(xiàn)這種下降是由于"過(guò)度思考"造成的——模型開(kāi)始生成過(guò)長(zhǎng)的推理鏈，甚至在找到正確答案后仍繼續(xù)推理，導(dǎo)致最終答案無(wú)法被提取出來(lái)。

四、從數(shù)學(xué)到開(kāi)放性任務(wù)：噪聲獎(jiǎng)勵(lì)的普遍性

在確立了大語(yǔ)言模型對(duì)數(shù)學(xué)問(wèn)題中噪聲獎(jiǎng)勵(lì)的魯棒性后，研究團(tuán)隊(duì)將目光轉(zhuǎn)向更具挑戰(zhàn)性的開(kāi)放性自然語(yǔ)言處理任務(wù)。與數(shù)學(xué)問(wèn)題不同，這類任務(wù)通常沒(méi)有明確的正確答案，需要依賴獎(jiǎng)勵(lì)模型來(lái)評(píng)估回應(yīng)的質(zhì)量。

研究團(tuán)隊(duì)使用了NVIDIA HelpSteer3數(shù)據(jù)集，這是一個(gè)包含40,500個(gè)多領(lǐng)域開(kāi)放性問(wèn)題的數(shù)據(jù)集，這些問(wèn)題需要AI提供有幫助的回答。他們首先訓(xùn)練了不同準(zhǔn)確度的獎(jiǎng)勵(lì)模型（從65%到85%的準(zhǔn)確率），然后使用這些獎(jiǎng)勵(lì)模型來(lái)訓(xùn)練Qwen-2.5-7B模型。

實(shí)驗(yàn)結(jié)果顯示，使用準(zhǔn)確率為85%和75%的獎(jiǎng)勵(lì)模型訓(xùn)練的Qwen-2.5-7B模型表現(xiàn)相似，只有約4%的性能差距。這表明，即使在開(kāi)放性任務(wù)中，大語(yǔ)言模型也對(duì)獎(jiǎng)勵(lì)噪聲展現(xiàn)出一定程度的魯棒性。

然而，當(dāng)獎(jiǎng)勵(lì)模型的準(zhǔn)確率降至65%時(shí)，模型的表現(xiàn)顯著下降。研究者分析，這可能是因?yàn)榈蜏?zhǔn)確率獎(jiǎng)勵(lì)模型不僅錯(cuò)誤率高，而且輸出的獎(jiǎng)勵(lì)分?jǐn)?shù)方差較小，缺乏明確的信號(hào)來(lái)指導(dǎo)模型學(xué)習(xí)。

基于對(duì)推理模式重要性的認(rèn)識(shí)，研究團(tuán)隊(duì)提出了一種簡(jiǎn)單而有效的方法來(lái)校準(zhǔn)噪聲獎(jiǎng)勵(lì)模型：將RPR與獎(jiǎng)勵(lì)模型結(jié)合使用。具體來(lái)說(shuō)，當(dāng)獎(jiǎng)勵(lì)模型給出低分時(shí)，他們會(huì)計(jì)算模型思考過(guò)程（標(biāo)簽內(nèi)的文本）中的RPR分?jǐn)?shù)，并將其添加到獎(jiǎng)勵(lì)模型的輸出中。

這種校準(zhǔn)方法取得了顯著成效：校準(zhǔn)后的65%準(zhǔn)確率獎(jiǎng)勵(lì)模型訓(xùn)練出的Qwen-2.5-7B模型，性能僅比使用85%準(zhǔn)確率獎(jiǎng)勵(lì)模型訓(xùn)練的模型低8%，遠(yuǎn)好于未校準(zhǔn)前的25%差距。更令人驚喜的是，即使是準(zhǔn)確率為85%的獎(jiǎng)勵(lì)模型，經(jīng)過(guò)RPR校準(zhǔn)后也能獲得進(jìn)一步性能提升。

此外，研究者還發(fā)現(xiàn)，RPR校準(zhǔn)不僅能提高大型模型的性能，還能使較小的模型（如Qwen-2.5-3B）在復(fù)雜任務(wù)上展示出強(qiáng)大的推理能力，而這在使用原始獎(jiǎng)勵(lì)模型時(shí)是無(wú)法實(shí)現(xiàn)的。

五、研究啟示：預(yù)訓(xùn)練奠定基礎(chǔ)，強(qiáng)化學(xué)習(xí)引導(dǎo)探索

這項(xiàng)研究為我們理解大語(yǔ)言模型如何學(xué)習(xí)推理提供了全新視角，也為未來(lái)的研究和應(yīng)用提供了寶貴的啟示。

首先，研究結(jié)果強(qiáng)調(diào)了預(yù)訓(xùn)練階段的重要性。大語(yǔ)言模型在預(yù)訓(xùn)練過(guò)程中已經(jīng)學(xué)到了豐富的知識(shí)和基本的推理能力，這使得它們能夠在后續(xù)訓(xùn)練中展現(xiàn)出對(duì)噪聲獎(jiǎng)勵(lì)的魯棒性。對(duì)于具有強(qiáng)大預(yù)訓(xùn)練基礎(chǔ)的模型（如Qwen系列），即使在高噪聲環(huán)境下也能有效學(xué)習(xí)；而對(duì)于預(yù)訓(xùn)練基礎(chǔ)較弱的模型（如研究中的Llama-3.1-8B），即使在無(wú)噪聲環(huán)境下表現(xiàn)也相對(duì)較差。

其次，研究揭示了強(qiáng)化學(xué)習(xí)在后期訓(xùn)練中的真正作用：不是教會(huì)模型新知識(shí)，而是幫助模型探索有效的推理模式，從而更好地利用預(yù)訓(xùn)練階段已經(jīng)學(xué)到的知識(shí)。這就像是教導(dǎo)一個(gè)已經(jīng)掌握各種技能的學(xué)生如何在特定情境下組織思路和應(yīng)用這些技能。

第三，研究提出的RPR方法為處理實(shí)際應(yīng)用中不可避免的獎(jiǎng)勵(lì)噪聲提供了一種簡(jiǎn)單而有效的解決方案。通過(guò)關(guān)注推理過(guò)程而不僅僅是最終結(jié)果，我們可以更好地引導(dǎo)模型發(fā)展強(qiáng)大的推理能力，即使在獎(jiǎng)勵(lì)不夠準(zhǔn)確的情況下也是如此。

最后，這項(xiàng)研究也啟示我們，在評(píng)估和改進(jìn)大語(yǔ)言模型時(shí)，不應(yīng)僅關(guān)注最終的任務(wù)性能，還應(yīng)關(guān)注模型如何推理和解決問(wèn)題的過(guò)程。正如論文標(biāo)題所暗示的："爬山過(guò)程銘刻的智慧遠(yuǎn)超登頂"——模型在探索解決方案的過(guò)程中學(xué)到的東西，往往比簡(jiǎn)單地獲得正確答案更為重要和深刻。

六、總結(jié)與未來(lái)展望

這項(xiàng)由騰訊大語(yǔ)言模型部門和中國(guó)人民大學(xué)聯(lián)合完成的研究，為我們理解大語(yǔ)言模型的學(xué)習(xí)過(guò)程提供了新的視角。研究表明，具有強(qiáng)大推理潛力的大語(yǔ)言模型對(duì)獎(jiǎng)勵(lì)噪聲具有驚人的魯棒性，即使在40%的獎(jiǎng)勵(lì)被錯(cuò)誤翻轉(zhuǎn)的情況下，模型仍能有效學(xué)習(xí)并提高性能。

更令人驚訝的是，僅通過(guò)獎(jiǎng)勵(lì)推理過(guò)程中的關(guān)鍵表達(dá)模式，而不驗(yàn)證最終答案的正確性，模型也能達(dá)到與嚴(yán)格驗(yàn)證訓(xùn)練相當(dāng)?shù)男阅?。這一發(fā)現(xiàn)直接證明了模型在預(yù)訓(xùn)練階段已經(jīng)學(xué)會(huì)了推理，強(qiáng)化學(xué)習(xí)主要是幫助它探索能夠?qū)е抡_答案的輸出模式。

研究還提出了一種簡(jiǎn)單而有效的方法——推理模式獎(jiǎng)勵(lì)（RPR）校準(zhǔn)，用于改善帶有噪聲的獎(jiǎng)勵(lì)模型。這種方法不僅能提高模型在開(kāi)放性任務(wù)上的表現(xiàn)，還能使較小規(guī)模的模型展示出強(qiáng)大的推理能力。

展望未來(lái)，研究團(tuán)隊(duì)的發(fā)現(xiàn)提示我們應(yīng)該更加重視預(yù)訓(xùn)練階段模型基礎(chǔ)能力的培養(yǎng)，同時(shí)改進(jìn)后期訓(xùn)練技術(shù)。在現(xiàn)實(shí)應(yīng)用中，我們不可能總是提供完美無(wú)噪聲的獎(jiǎng)勵(lì)信號(hào)，因此理解和利用模型對(duì)噪聲的魯棒性將是至關(guān)重要的。

正如研究標(biāo)題所暗示的，在人工智能的學(xué)習(xí)過(guò)程中，"爬山的過(guò)程"往往比"到達(dá)山頂"更加重要——模型在探索解決方案的旅程中獲得的智慧，遠(yuǎn)比簡(jiǎn)單地找到正確答案更為深刻和有價(jià)值。

這項(xiàng)研究的代碼和腳本已在GitHub上公開(kāi)（https://github.com/trestad/Noisy-Rewards-in-Learning-to-Reason），有興趣的讀者可以進(jìn)一步探索。