這項由深圳大學、騰訊、香港科技大學(廣州)等機構(gòu)聯(lián)合開展的研究發(fā)表于2025年6月的機器學習國際會議(ICML)，論文題為"ReDit: Reward Dithering for Improved LLM Policy Optimization"。有興趣深入了解的讀者可以通過arXiv:2506.18631v1訪問完整論文。

當我們烹飪一道菜時，調(diào)料的作用至關(guān)重要。太少了味道寡淡，太多了又會掩蓋食材本味。在人工智能大模型的訓練過程中，也存在著類似的"調(diào)味"問題。研究團隊發(fā)現(xiàn)了一個有趣現(xiàn)象：那些看似"完美"的獎勵系統(tǒng)，實際上可能成為AI學習路上的絆腳石。

想象你在教一個孩子學習數(shù)學。傳統(tǒng)的做法是：做對了給1分，做錯了給0分。這看起來很公平很準確，但問題在于——這種"非黑即白"的評分方式會讓學習過程變得異常艱難。孩子要么興奮地獲得滿分，要么沮喪地得到零分，很少有中間狀態(tài)。這就像在玩一個只有"大成功"和"大失敗"的游戲，缺乏漸進式的引導。

研究團隊觀察到，目前最先進的AI模型訓練方法，比如DeepSeek-R1采用的GRPO(組相對策略優(yōu)化)算法，雖然使用了"完美"的規(guī)則獎勵系統(tǒng)，但卻經(jīng)常陷入學習困境。這些系統(tǒng)在訓練過程中會出現(xiàn)兩種極端情況：要么梯度消失（學習停滯），要么梯度爆炸（學習混亂）。這就像一輛汽車要么熄火要么失控，很難平穩(wěn)行駛。

為了解決這個問題，研究團隊提出了一種名為ReDit(獎勵抖動)的巧妙方法。這個方法的核心思想非常簡單：在原本精確的獎勵信號中加入一點點隨機"噪音"。聽起來可能有些反直覺——為什么要故意在準確的信號中添加"錯誤"呢？

其實這個原理類似于我們?nèi)粘Ｉ钪械暮芏喱F(xiàn)象。比如在學習外語時，如果老師總是用標準普通話糾正你的發(fā)音，你可能學會得很慢；但如果老師偶爾用稍微不同的語調(diào)或語速說同一個詞，你反而能更快掌握這個詞的各種變化。這種"不完美"的輸入實際上增加了學習的多樣性，讓大腦能夠更好地理解和掌握知識的本質(zhì)。

ReDit方法的工作機制可以用調(diào)試收音機來類比。當你調(diào)臺時，如果信號過于清晰單一，有時反而容易錯過目標頻道；但如果信號中帶有一點點背景噪音，你的耳朵反而能更敏銳地捕捉到目標聲音的特征。同樣地，在AI訓練中添加適量的獎勵噪音，能夠讓模型更好地理解什么是真正重要的學習方向。

**一、傳統(tǒng)訓練方法的困境**

要理解ReDit的價值，我們首先需要了解傳統(tǒng)訓練方法面臨的挑戰(zhàn)。研究團隊通過大量實驗發(fā)現(xiàn)，使用離散獎勵信號（比如正確得1分，錯誤得0分）的訓練過程就像是在走鋼絲繩——看似精確，但實際上充滿風險。

在GSM8K數(shù)學問題數(shù)據(jù)集上的實驗顯示，傳統(tǒng)GRPO方法在訓練過程中會頻繁出現(xiàn)梯度異常。梯度可以理解為AI學習的"方向感"——告訴模型下一步應(yīng)該往哪個方向調(diào)整。當梯度消失時，就像指南針失靈，AI不知道該往哪里走；當梯度爆炸時，就像指南針瘋狂轉(zhuǎn)動，AI會迷失方向。

這種現(xiàn)象在數(shù)學訓練中特別明顯。當AI嘗試解決數(shù)學問題時，在訓練早期，它很難生成完全正確的答案，因此大多數(shù)訓練樣本都得到0分。這就像一個初學者在學習鋼琴，如果只有"演奏完美"才能得分，那么在相當長的時間里，這個學習者都會處于"零獎勵"狀態(tài)，學習動力自然會減弱。

更糟糕的是，當AI偶爾答對一道題時，突然從0分跳到1分的巨大獎勵差異會造成"學習震蕩"。這就像一個人突然中了彩票，興奮過度反而影響了正常的工作和生活節(jié)奏。在神經(jīng)網(wǎng)絡(luò)中，這種獎勵的劇烈變化會導致參數(shù)更新過于激烈，破壞之前學到的有用知識。

研究團隊通過可視化分析發(fā)現(xiàn)，這種訓練不穩(wěn)定性直接反映在模型的性能表現(xiàn)上。在MATH數(shù)據(jù)集的測試中，傳統(tǒng)方法的準確率會在訓練過程中上下波動，有時甚至出現(xiàn)"越訓練越差"的情況。這種現(xiàn)象在達到49.46%的峰值準確率后，性能又下降到47%左右，就像爬山時好不容易登上一個高峰，卻又滑落下來。

**二、ReDit方法的設(shè)計原理**

面對這些挑戰(zhàn)，研究團隊從一個全新角度思考問題：與其追求完美的獎勵信號，不如讓獎勵信號變得更加"人性化"和"漸進式"。這就是ReDit方法的核心理念。

ReDit的實現(xiàn)方式簡單得令人驚訝。研究團隊在每個原始獎勵值上添加一個隨機數(shù)。這個隨機數(shù)是零均值的，意味著從長期看，添加的正數(shù)和負數(shù)會相互抵消，不會改變獎勵的總體期望值。這就像在菜品中加入適量的胡椒粉——既不會改變菜的基本味道，卻能增加口感的層次。

具體來說，如果原始獎勵是1分（表示答案正確），ReDit可能會將其隨機調(diào)整為0.95分或1.05分；如果原始獎勵是0分（表示答案錯誤），可能會調(diào)整為-0.03分或0.02分。這種微小的隨機變化看似不起眼，卻能產(chǎn)生顯著的訓練改善效果。

這種方法的理論基礎(chǔ)源于獎勵方差與學習效率的關(guān)系。研究團隊基于最新的理論研究發(fā)現(xiàn)，適當增加獎勵方差可以顯著提高策略優(yōu)化的收斂速度。這就像學習游泳時，在平靜的泳池里可能學得很慢，但在有輕微波浪的水中，學習者反而能更快掌握平衡和游泳技巧。

ReDit支持兩種不同的噪音分布：高斯分布（正態(tài)分布）和均勻分布。高斯分布就像自然界中常見的隨機現(xiàn)象，大部分噪音接近零，偶爾會有較大的偏差；均勻分布則像擲骰子，在指定范圍內(nèi)每個值出現(xiàn)的概率相等。實驗表明，高斯分布通常能帶來更穩(wěn)定的訓練效果。

**三、實驗驗證與效果分析**

為了驗證ReDit的有效性，研究團隊進行了大規(guī)模的對比實驗。實驗覆蓋了三個重要的數(shù)據(jù)集：GSM8K（小學數(shù)學問題）、MATH（高中數(shù)學競賽題）和Geometry3K（幾何問題），以及六種不同的大語言模型。

在GSM8K數(shù)據(jù)集上，ReDit的效果最為顯著。使用Qwen2.5-7B模型時，傳統(tǒng)GRPO方法需要9000步訓練才能達到89.07%的準確率，而使用ReDit的方法僅需1000步就達到了89.16%的準確率，并最終在9000步后達到90.76%的準確率。這相當于將學習速度提升了約10倍，同時最終性能還提升了1.69個百分點。

這種改善效果就像是為學生找到了最適合的學習節(jié)奏。原本需要花費大量時間反復練習才能掌握的知識點，現(xiàn)在可以更快速、更穩(wěn)定地學會。更重要的是，這種快速學習并沒有以犧牲最終質(zhì)量為代價，反而取得了更好的最終成績。

在更具挑戰(zhàn)性的MATH數(shù)據(jù)集上，ReDit的優(yōu)勢同樣明顯。傳統(tǒng)方法的最高準確率為48.01%，而ReDit將其提升到52.55%，改善了4.54個百分點?？紤]到MATH數(shù)據(jù)集包含的都是高中數(shù)學競賽水平的題目，這種改善意味著AI在處理復雜數(shù)學推理方面的能力有了實質(zhì)性提升。

研究團隊還測試了ReDit在不同模型上的通用性。無論是參數(shù)量較小的Llama-3.2-3B模型，還是較大的Llama-3.1-8B模型，都顯示出了一致的改善效果。這說明ReDit不是只適用于特定模型的"偏方"，而是一種具有廣泛適用性的通用改進方法。

**四、方法的技術(shù)細節(jié)**

從技術(shù)實現(xiàn)角度看，ReDit的應(yīng)用過程如同為原有的訓練流程加裝了一個"智能調(diào)節(jié)器"。在傳統(tǒng)的GRPO訓練中，系統(tǒng)會為每個訓練樣本計算一個確定的獎勵值，然后直接用于更新模型參數(shù)。而在ReDit框架下，系統(tǒng)會在計算出原始獎勵后，立即為其添加一個隨機擾動。

這個擾動的大小需要仔細調(diào)節(jié)。研究團隊發(fā)現(xiàn)，擾動太小（比如標準差為0.01）效果不明顯，就像調(diào)料放得太少沒有效果；擾動太大（比如標準差為0.5）則會掩蓋原始信號，就像調(diào)料放得太多掩蓋了食材本味。通過大量實驗，他們發(fā)現(xiàn)標準差在0.05左右通常能取得最佳效果。

ReDit還支持動態(tài)調(diào)整策略。比如"余弦反向"調(diào)度策略，在訓練初期使用較大的擾動來鼓勵探索，在訓練后期逐漸減小擾動以確保收斂。這就像學習駕駛時，教練在初學階段會讓學員在空曠場地練習（允許較大偏差），而在考試前則要求精確操作。

為了驗證ReDit確實解決了梯度不穩(wěn)定問題，研究團隊繪制了詳細的訓練動態(tài)圖。在這些圖中，可以清楚看到傳統(tǒng)方法的梯度范數(shù)會出現(xiàn)劇烈波動，有時接近零（梯度消失），有時超過5（梯度爆炸）。而使用ReDit后，梯度范數(shù)變得相對穩(wěn)定，大部分時候保持在合理范圍內(nèi)。

**五、理論基礎(chǔ)與深層機制**

ReDit方法的成功不是偶然的，而是有著深厚的理論基礎(chǔ)。研究團隊從三個方面證明了該方法的理論合理性。

首先，他們證明了ReDit產(chǎn)生的梯度估計是無偏的。這意味著雖然添加了隨機噪音，但從長期平均來看，學習方向仍然指向正確的目標。這就像在有輕微顛簸的路上開車，雖然每一刻的方向都有小幅偏差，但總體路線仍然通向目的地。

其次，噪音的引入增加了梯度估計的方差，這種額外的隨機性實際上有助于避免訓練陷入局部最優(yōu)解。在機器學習中，局部最優(yōu)就像登山時遇到的小山頭——看起來已經(jīng)到了頂峰，實際上還有更高的山峰在遠方。適當?shù)碾S機性能夠幫助學習過程"跳出"這些小山頭，尋找到真正的高峰。

第三，理論分析表明，ReDit能夠顯著改善收斂時間的上界和下界。簡單說，就是它既能讓最好情況變得更好，也能讓最壞情況變得不那么糟糕。這種"進可攻，退可守"的特性使得ReDit成為一種既實用又可靠的改進方法。

研究團隊還發(fā)現(xiàn)，ReDit的效果與傳統(tǒng)的梯度裁剪或動態(tài)采樣等方法相比有明顯優(yōu)勢。梯度裁剪就像給汽車裝了限速器，雖然能防止"超速"，但也限制了在合適時候的"加速"能力。而ReDit更像是為汽車配備了更智能的懸掛系統(tǒng)，既能保持穩(wěn)定，又不會過度限制性能。

**六、適用范圍與限制**

值得注意的是，ReDit主要針對使用離散獎勵信號的訓練場景。研究團隊專門驗證了這一點：當他們將ReDit應(yīng)用于已經(jīng)連續(xù)的獎勵信號（比如預訓練的獎勵模型輸出）時，改善效果并不明顯。這就像給已經(jīng)調(diào)味良好的菜品再加調(diào)料，不僅沒有提升，反而可能破壞原有的平衡。

這個發(fā)現(xiàn)其實進一步證實了ReDit的設(shè)計理念：它不是萬能的性能提升器，而是專門針對離散獎勵信號問題的"特效藥"。在人工智能領(lǐng)域，這種針對性強的解決方案往往比泛化性強但效果平平的方法更有價值。

ReDit的另一個特點是參數(shù)調(diào)節(jié)的重要性。研究團隊發(fā)現(xiàn)，不同的數(shù)據(jù)集和模型可能需要不同的最優(yōu)噪音強度。這就像不同的菜品需要不同的調(diào)料比例一樣。目前，這種調(diào)節(jié)還需要通過實驗來確定，研究團隊建議在正式訓練前先在小規(guī)模數(shù)據(jù)上測試不同的參數(shù)設(shè)置。

從計算開銷角度看，ReDit幾乎不增加額外的計算成本。添加隨機噪音的操作非常簡單，相比于整個神經(jīng)網(wǎng)絡(luò)的前向和后向傳播計算，這部分開銷可以忽略不計。這使得ReDit成為一種"高性價比"的改進方法——投入極小，收益顯著。

**七、未來發(fā)展方向**

研究團隊在論文中也坦誠地指出了當前方法的局限性和未來改進方向。目前ReDit的參數(shù)調(diào)節(jié)主要依賴經(jīng)驗和實驗，缺乏自動化的參數(shù)選擇機制。就像一個經(jīng)驗豐富的廚師知道該放多少鹽，但很難把這種"感覺"傳授給新手。

未來的研究方向可能包括開發(fā)自適應(yīng)的噪音調(diào)節(jié)策略，讓系統(tǒng)能夠根據(jù)訓練進展自動調(diào)整噪音強度。另一個有趣的方向是探索不同類型的噪音分布，比如根據(jù)具體任務(wù)特點設(shè)計的定制化噪音模式。

研究團隊還提到，ReDit的理念可能適用于其他使用離散信號的機器學習場景，不僅限于大語言模型的訓練。這為ReDit技術(shù)的進一步推廣和應(yīng)用提供了廣闊的空間。

說到底，ReDit這項研究揭示了一個深刻的道理：在追求完美的道路上，有時候適度的"不完美"反而能帶來更好的結(jié)果。這不僅在人工智能訓練中如此，在我們的日常生活和學習中也是如此。適當?shù)奶魬?zhàn)和變化，雖然可能帶來短期的不確定性，但往往能促進長期的成長和進步。

對于關(guān)注AI技術(shù)發(fā)展的讀者來說，ReDit代表了一種新的思路：不是通過復雜的算法創(chuàng)新，而是通過深入理解現(xiàn)有方法的本質(zhì)問題，用簡潔優(yōu)雅的方式實現(xiàn)顯著改進。這種"四兩撥千斤"的研究風格，在當前AI技術(shù)快速發(fā)展的時代顯得格外珍貴。這項研究不僅為當前的大模型訓練提供了實用的改進方法，更為未來的AI研究提供了新的思考角度。

Q&A

Q1：ReDit是什么？它是如何工作的？ A：ReDit是一種改進AI訓練的方法，通過在原本精確的獎勵信號中添加少量隨機"噪音"來解決訓練不穩(wěn)定問題。就像在菜品中適量加胡椒粉一樣，這種微小的隨機變化不會改變獎勵的基本含義，卻能讓AI學習過程更加穩(wěn)定高效。

Q2：ReDit會不會讓AI學習效果變差？ A：不會。雖然添加了"噪音"，但ReDit實際上顯著提升了學習效果。實驗顯示，使用ReDit的AI模型學習速度提升約10倍，最終性能也比傳統(tǒng)方法更好。這是因為適當?shù)碾S機性幫助AI避免了學習過程中的"卡死"狀態(tài)。

Q3：普通人能使用ReDit技術(shù)嗎？ A：目前ReDit主要面向AI研究者和開發(fā)者，需要一定的技術(shù)背景才能應(yīng)用。不過，隨著這項技術(shù)的成熟，未來可能會集成到更多AI訓練平臺中，讓更多人受益于這種改進的訓練方法。