這項由微軟研究院和威斯康星大學(xué)麥迪遜分校的研究團隊在2025年8月完成的研究，發(fā)表在arXiv預(yù)印本平臺上（論文編號：arXiv:2508.09726v1），為我們揭示了一個顛覆直覺的發(fā)現(xiàn)：讓AI模型在訓(xùn)練時多思考，反而能讓它在實際應(yīng)用時少廢話、更高效。有興趣深入了解的讀者可以通過arXiv平臺搜索該論文編號獲取完整研究內(nèi)容。

研究團隊由微軟研究院的多位科學(xué)家組成，包括Vaishnavi Shrivastavam、Ahmed Awadallah、Vidhisha Balachandran等人，以及威斯康星大學(xué)麥迪遜分校的Dimitris Papailiopoulos教授。他們發(fā)現(xiàn)了現(xiàn)有AI推理模型的一個重大問題：這些模型雖然能解決復(fù)雜問題，但經(jīng)常產(chǎn)生冗長啰嗦的回答，就像一個喋喋不休的學(xué)生，明明三句話能說清楚的事情非要繞十個彎。

現(xiàn)有的AI推理模型就像一個過度勤奮的學(xué)生。當(dāng)它們接受強化學(xué)習(xí)訓(xùn)練時，為了獲得更高的準(zhǔn)確率，會不斷增加回答的長度。這種現(xiàn)象被稱為"長度膨脹"，就好比學(xué)生為了顯示自己的學(xué)問，在考試時明明一句話能回答的問題，卻寫了滿滿一頁紙，其中大部分內(nèi)容都是重復(fù)啰嗦，毫無實際價值。更令人擔(dān)憂的是，研究發(fā)現(xiàn)在72%的數(shù)學(xué)題中，當(dāng)同一個問題有對錯兩種回答時，錯誤的回答往往比正確的回答更長，這說明冗長并不等于準(zhǔn)確。

一、訓(xùn)練時多費力，推理時更高效的新思路

研究團隊提出了一種名為GFPO（Group Filtered Policy Optimization，群組過濾策略優(yōu)化）的新方法。這個方法的核心思想非常巧妙：在訓(xùn)練階段讓AI模型生成更多的回答候選，然后從中挑選出最好的那些進行學(xué)習(xí)，就像一個嚴(yán)格的老師從學(xué)生的多份作業(yè)中只選擇優(yōu)秀作業(yè)進行表揚和推廣。

具體來說，傳統(tǒng)方法就像讓AI寫8份作業(yè)，然后對所有作業(yè)都給予反饋。而GFPO則讓AI寫16份甚至24份作業(yè)，但只挑選其中最短、最高效的8份進行學(xué)習(xí)。這樣做的結(jié)果是，AI學(xué)會了如何用更少的話說更準(zhǔn)確的內(nèi)容，就像學(xué)會了"言簡意賅"這個成語的真諦。

這種方法實現(xiàn)了一個絕妙的交換：用訓(xùn)練時的額外計算成本，換取推理時的效率提升。訓(xùn)練是一次性投入，就像建房子時多花點心思設(shè)計，而推理時的效率提升則是長期收益，就像住進設(shè)計良好的房子后每天都能享受舒適便利。

二、三種優(yōu)化策略各顯神通

研究團隊設(shè)計了三種不同的GFPO變體，每種都有其獨特的優(yōu)勢，就像三個不同性格的老師，各有各的教學(xué)風(fēng)格。

第一種是"最短優(yōu)先"策略。這就像一個追求簡潔的語文老師，專門挑選最短的正確答案進行學(xué)習(xí)。實驗顯示，當(dāng)從16個候選答案中選擇最短的8個進行訓(xùn)練時，能夠?qū)⒒卮痖L度減少23.8%到71%，同時保持相同的準(zhǔn)確率。這種方法特別適合那些本身就能產(chǎn)生正確答案、只是表達過于冗長的場景。

第二種是"令牌效率"策略，這個方法更加聰明。它不是簡單地選擇最短答案，而是選擇"性價比"最高的答案——也就是每個字都物有所值的回答。就像精明的購物者不只看商品價格，而要看性價比一樣。這種方法計算每個回答的準(zhǔn)確性與長度的比值，優(yōu)先選擇那些用較少篇幅就能達到高準(zhǔn)確性的回答進行學(xué)習(xí)。結(jié)果顯示，這種方法能夠?qū)崿F(xiàn)70.9%到84.6%的長度減少，是三種方法中效果最顯著的。

第三種是"自適應(yīng)難度"策略，這是最具創(chuàng)新性的方法。它能夠根據(jù)問題的難度動態(tài)調(diào)整學(xué)習(xí)策略，就像一個經(jīng)驗豐富的老師，對不同難度的問題采用不同的教學(xué)方法。對于簡單問題，它會選擇非常短的答案進行學(xué)習(xí)，強迫AI學(xué)會用最少的話解決簡單問題。對于困難問題，它允許稍長一些的答案，因為復(fù)雜問題確實需要更多的推理步驟。這種方法通過實時評估問題難度，為每個問題分配不同數(shù)量的候選答案進行學(xué)習(xí)，實現(xiàn)了學(xué)習(xí)資源的精準(zhǔn)分配。

三、實驗驗證：數(shù)據(jù)會說話

研究團隊在多個具有挑戰(zhàn)性的數(shù)學(xué)和編程基準(zhǔn)測試上驗證了GFPO方法的效果，這些測試就像AI界的高考，包括AIME數(shù)學(xué)競賽、GPQA科學(xué)問答、Omni-MATH綜合數(shù)學(xué)測試等。實驗使用的是Phi-4-reasoning模型，這是微軟開發(fā)的一個14億參數(shù)的大型語言模型，專門針對數(shù)學(xué)推理進行了優(yōu)化。

實驗結(jié)果令人印象深刻。在AIME 2025數(shù)學(xué)競賽測試中，傳統(tǒng)的GRPO方法將AI回答的平均長度從最初的10.9k令牌（約相當(dāng)于幾千個漢字）膨脹到了14.8k令牌，增長了約36%。而GFPO的各種變體不僅遏制了這種長度膨脹，還大幅縮短了回答長度。最短優(yōu)先策略將長度減少到13.9k令牌，令牌效率策略更是將長度降至12k令牌，相比傳統(tǒng)方法減少了約19%。

更重要的是，這些長度的大幅減少并沒有以犧牲準(zhǔn)確性為代價。統(tǒng)計分析表明，GFPO各個變體與傳統(tǒng)GRPO方法在準(zhǔn)確性上沒有顯著差異，有時甚至略有提升。這就像一個學(xué)生學(xué)會了寫簡潔明了的作文，不僅減少了廢話，還提高了表達質(zhì)量。

在編程基準(zhǔn)測試LiveCodeBench上，GFPO展現(xiàn)出了出色的泛化能力。值得注意的是，AI模型在訓(xùn)練時并沒有接觸過編程任務(wù)，但GFPO仍然能夠顯著減少代碼回答的長度膨脹。傳統(tǒng)GRPO方法將代碼回答從10.3k令牌增加到13.9k令牌，而且準(zhǔn)確率還略有下降。相比之下，GFPO不僅控制了長度增長，還在某些情況下提高了編程準(zhǔn)確率，展現(xiàn)了方法的通用性和魯棒性。

四、深入分析：為什么更短的回答反而更好

研究團隊進行了深入的分析，試圖理解為什么更短的AI回答往往更準(zhǔn)確。他們發(fā)現(xiàn)，即使在問題難度相同的情況下，更長的回答確實更容易出錯，這顛覆了"更長意味著更仔細(xì)思考"的直覺。

通過對AI回答內(nèi)容的詳細(xì)分析，研究人員發(fā)現(xiàn)長度膨脹主要發(fā)生在推理過程的"解決方案"和"驗證"階段。傳統(tǒng)方法訓(xùn)練出的AI就像一個過度焦慮的學(xué)生，會反復(fù)驗證同一個計算結(jié)果，或者嘗試多種可能錯誤的解題路徑。例如，在一道幾何題中，GRPO訓(xùn)練的模型會反復(fù)計算三角形面積達6次，每次都得到相同結(jié)果，而GFPO訓(xùn)練的模型只計算一次就給出答案。

這種現(xiàn)象的根本原因在于，傳統(tǒng)強化學(xué)習(xí)方法雖然會懲罰長的錯誤回答，但也會獎勵長的正確回答。當(dāng)AI模型本身就傾向于生成冗長回答時，這種獎勵機制會進一步加劇長度膨脹。GFPO通過明確選擇簡潔正確的回答進行學(xué)習(xí)，直接切斷了這種惡性循環(huán)。

研究還發(fā)現(xiàn)，GFPO特別善于處理不同難度的問題。對于簡單問題，令牌效率策略能夠產(chǎn)生比原始模型更短的回答，同時保持甚至提高準(zhǔn)確性，實現(xiàn)了真正的"言簡意賅"。對于困難問題，自適應(yīng)難度策略通過保留更多學(xué)習(xí)樣本，確保AI模型有足夠的學(xué)習(xí)機會掌握復(fù)雜推理，避免了過度簡化導(dǎo)致的準(zhǔn)確性下降。

五、技術(shù)創(chuàng)新的深層意義

GFPO方法的創(chuàng)新不僅僅在于技術(shù)實現(xiàn)，更在于它揭示了AI訓(xùn)練的一個重要原理：通過在訓(xùn)練時投入更多計算資源來獲取更好的候選答案，可以顯著提高模型在實際應(yīng)用時的效率。這種"訓(xùn)練時多花錢，推理時更省錢"的思路在AI產(chǎn)業(yè)化應(yīng)用中具有重要價值。

在實際應(yīng)用場景中，AI模型的推理效率直接關(guān)系到服務(wù)成本和用戶體驗。一個能夠用更少字?jǐn)?shù)給出準(zhǔn)確答案的AI模型，不僅能降低計算成本，還能提供更好的用戶體驗。用戶更愿意看到簡潔明了的答案，而不是冗長啰嗦的回應(yīng)。

GFPO方法還展現(xiàn)了出色的通用性。它不需要修改模型架構(gòu)或損失函數(shù)，只需要改變訓(xùn)練樣本的選擇策略，就能實現(xiàn)顯著的效果提升。這意味著該方法可以很容易地應(yīng)用到其他AI模型和任務(wù)中，具有廣泛的適用性。

研究團隊還提出了一個有趣的觀點：AI的"思考質(zhì)量"比"思考數(shù)量"更重要。傳統(tǒng)觀點認(rèn)為，讓AI生成更長的推理鏈條就能得到更好的結(jié)果，但這項研究表明，關(guān)鍵在于推理的質(zhì)量而非數(shù)量。通過精心選擇高質(zhì)量的推理樣本進行學(xué)習(xí)，AI能夠?qū)W會更高效的思考方式。

六、未來應(yīng)用前景與思考

GFPO方法的成功為AI推理模型的發(fā)展指明了新方向。在當(dāng)前AI模型越來越大、計算成本越來越高的背景下，如何提高模型效率成為了關(guān)鍵挑戰(zhàn)。GFPO提供了一個優(yōu)雅的解決方案：不是讓模型變得更大更復(fù)雜，而是讓它變得更智能更高效。

這種方法對AI行業(yè)的影響可能是深遠(yuǎn)的。對于AI服務(wù)提供商來說，更高效的模型意味著更低的運營成本和更好的用戶體驗。對于普通用戶來說，這意味著能夠獲得更快、更準(zhǔn)確的AI服務(wù)。在教育領(lǐng)域，這樣的AI助手能夠提供簡潔明了的解釋，而不是讓學(xué)生淹沒在冗長的回答中。在客服領(lǐng)域，AI能夠快速準(zhǔn)確地解決用戶問題，提高服務(wù)質(zhì)量。

研究還暗示了AI訓(xùn)練范式的潛在變革。傳統(tǒng)的強化學(xué)習(xí)主要關(guān)注于準(zhǔn)確性優(yōu)化，而忽略了效率考慮。GFPO方法展示了如何在保持準(zhǔn)確性的同時優(yōu)化效率，這為多目標(biāo)優(yōu)化的AI訓(xùn)練開辟了新思路。未來的AI模型可能不僅要準(zhǔn)確，還要高效、簡潔、易懂。

當(dāng)然，這項研究也提出了一些有待進一步探索的問題。比如，如何在更廣泛的任務(wù)類型中應(yīng)用這種方法？如何自動識別哪些任務(wù)適合使用簡潔策略，哪些任務(wù)需要詳細(xì)推理？如何平衡不同用戶對回答詳略程度的不同需求？這些問題的答案將進一步完善這一方法的實用性。

從更宏觀的角度來看，GFPO方法體現(xiàn)了AI發(fā)展的一個重要趨勢：從單純追求性能最大化轉(zhuǎn)向追求性能與效率的最優(yōu)平衡。這種理念不僅適用于AI技術(shù)本身，也為人類思考和表達提供了啟示。在信息爆炸的時代，簡潔有效的溝通變得越來越重要，而AI可能正在學(xué)習(xí)這種人類智慧的精髓。

說到底，這項研究告訴我們一個樸素而深刻的道理：有時候，少即是多。通過讓AI學(xué)會"言簡意賅"，我們不僅提高了技術(shù)效率，也讓AI變得更像一個善于表達的智者，能夠用最少的話傳達最準(zhǔn)確的信息。這種進步不僅是技術(shù)上的突破，也是AI向更高層次智能邁進的重要一步。對于那些希望深入了解技術(shù)細(xì)節(jié)的讀者，可以通過arXiv平臺查閱這篇編號為2508.09726v1的完整論文，其中包含了詳盡的實驗數(shù)據(jù)和技術(shù)實現(xiàn)細(xì)節(jié)。

Q&A

Q1：GFPO是什么？它如何讓AI回答變得更簡潔？

A：GFPO是微軟研究團隊開發(fā)的群組過濾策略優(yōu)化方法。它的工作原理是讓AI在訓(xùn)練時生成更多候選答案（比如16個），然后只選擇其中最短或最高效的答案（比如8個）進行學(xué)習(xí)。這樣AI就學(xué)會了用更少的話說更準(zhǔn)確的內(nèi)容，避免了冗長啰嗦的回答。

Q2：GFPO方法會不會影響AI回答的準(zhǔn)確性？

A：不會。研究顯示GFPO在大幅減少回答長度的同時，完全保持了原有的準(zhǔn)確性。在某些情況下準(zhǔn)確性甚至略有提升。這是因為更簡潔的回答往往意味著更清晰的邏輯，避免了冗長推理中可能出現(xiàn)的錯誤。

Q3：這項技術(shù)什么時候能在日常AI應(yīng)用中使用？

A：GFPO是一種訓(xùn)練方法的改進，理論上可以應(yīng)用到任何需要推理的AI模型中。由于它不需要改變模型結(jié)構(gòu)，只需修改訓(xùn)練策略，因此技術(shù)門檻相對較低。不過從研究到實際產(chǎn)品應(yīng)用還需要時間，預(yù)計未來1-2年內(nèi)可能會在一些AI服務(wù)中見到類似技術(shù)的應(yīng)用。