這項(xiàng)來自加拿大滑鐵盧大學(xué)和向量研究所的Yubo Wang等研究團(tuán)隊(duì)的工作,發(fā)表于2025年6月3日的arXiv預(yù)印本平臺(tái),論文編號(hào)為arXiv:2506.03295v1。研究團(tuán)隊(duì)包括來自滑鐵盧大學(xué)、向量研究所、Netmind.AI、上海人工智能實(shí)驗(yàn)室的多位學(xué)者,包括Yubo Wang、Ping Nie、Kai Zou、Lijun Wu和Wenhu Chen。
一、研究背景:大模型的推理能力還需要"鑰匙"來開啟
想象一下,你有一把非常精密的瑞士軍刀,但你不太清楚如何使用它的每個(gè)功能。這把軍刀就像現(xiàn)代的大語言模型(LLM)——它們?cè)陬A(yù)訓(xùn)練階段就已經(jīng)具備了驚人的推理能力,但這些能力有點(diǎn)像"沉睡"狀態(tài),需要一種特殊的方法來喚醒。
近年來,研究人員們發(fā)現(xiàn),強(qiáng)大的語言模型如Qwen-Math、MiMo和Phi-4在數(shù)學(xué)和科學(xué)推理任務(wù)上展現(xiàn)出驚人的能力。尤其是通過強(qiáng)化學(xué)習(xí)(RL)技術(shù),這些模型的推理能力可以得到顯著提升。更令人驚訝的是,最近的研究表明,即使只用一個(gè)問題進(jìn)行強(qiáng)化學(xué)習(xí)(稱為"一次性強(qiáng)化學(xué)習(xí)"),也能大幅提升模型的推理能力。
但強(qiáng)化學(xué)習(xí)方法存在兩個(gè)主要缺點(diǎn):一是資源消耗巨大,即使只訓(xùn)練一個(gè)問題,也可能需要數(shù)百個(gè)GPU小時(shí);二是訓(xùn)練過程不穩(wěn)定,容易出現(xiàn)波動(dòng)。這就像使用大量燃料和復(fù)雜操作,才能啟動(dòng)一臺(tái)高性能跑車——效率不高。
那么,問題來了:有沒有一種更高效的方法來喚醒大語言模型中已有的推理潛力?
二、研究突破:批評(píng)式微調(diào)——用一個(gè)問題激活推理潛力
滑鐵盧大學(xué)的研究團(tuán)隊(duì)提出了一種名為"批評(píng)式微調(diào)"(Critique Fine-Tuning,簡(jiǎn)稱CFT)的方法,這種方法只需要一個(gè)問題就能有效地釋放大語言模型的推理潛力。
想象一下,如果你想教會(huì)一個(gè)孩子解決數(shù)學(xué)問題,你可以采用兩種方式:一種是給他標(biāo)準(zhǔn)答案讓他記住(傳統(tǒng)監(jiān)督式微調(diào)),另一種是分析他的解題過程,指出錯(cuò)誤并提供改進(jìn)建議(批評(píng)式微調(diào))。顯然,第二種方式更能幫助孩子真正理解問題,而不僅僅是記住答案。
批評(píng)式微調(diào)就是這樣工作的。研究團(tuán)隊(duì)收集了針對(duì)同一個(gè)問題的多種不同解法(有正確的也有錯(cuò)誤的),然后讓"教師級(jí)"語言模型對(duì)這些解法進(jìn)行詳細(xì)批評(píng),指出推理中的錯(cuò)誤和不足。隨后,他們用這些批評(píng)數(shù)據(jù)來訓(xùn)練各種規(guī)模的模型,包括Qwen和Llama系列,參數(shù)范圍從1.5B到14B不等。
具體來說,研究流程可以比作烹飪過程: 1. 先選一道標(biāo)準(zhǔn)"菜譜"(選擇一個(gè)具有代表性的數(shù)學(xué)問題) 2. 讓多位"學(xué)徒廚師"(不同的基礎(chǔ)語言模型)嘗試烹飪這道菜,產(chǎn)生多種不同版本的"菜肴"(解題方案) 3. 請(qǐng)"大廚"(高級(jí)語言模型)品嘗并點(diǎn)評(píng)每道菜,指出味道、火候、調(diào)料等方面的問題(批評(píng)各種解題方案) 4. 最后,用這些專業(yè)點(diǎn)評(píng)來訓(xùn)練"學(xué)徒廚師"(微調(diào)目標(biāo)模型),讓他們學(xué)會(huì)如何識(shí)別和避免常見的烹飪錯(cuò)誤
這個(gè)過程的精妙之處在于,模型不僅僅學(xué)習(xí)單一的正確答案,而是接觸到了多種不同的思路、錯(cuò)誤類型和批評(píng)反饋,這大大豐富了模型的推理模式,提高了泛化能力。
三、驚人的實(shí)驗(yàn)結(jié)果:簡(jiǎn)單高效,效果顯著
研究團(tuán)隊(duì)在數(shù)學(xué)和邏輯推理兩大領(lǐng)域進(jìn)行了廣泛的實(shí)驗(yàn),結(jié)果令人震驚。
在數(shù)學(xué)推理方面,研究團(tuán)隊(duì)在六個(gè)標(biāo)準(zhǔn)數(shù)學(xué)基準(zhǔn)測(cè)試上評(píng)估了批評(píng)式微調(diào)的效果。結(jié)果表明,使用批評(píng)式微調(diào)后,Qwen-Math-7B模型的平均準(zhǔn)確率從27%提升到了42%,提高了15個(gè)百分點(diǎn)!特別是在Minerva、OlympiadBench和AMC-23這些測(cè)試集上,一些模型的準(zhǔn)確率甚至提高了20%以上。
更令人驚訝的是,這種訓(xùn)練方法極其高效。研究團(tuán)隊(duì)發(fā)現(xiàn),只需要5個(gè)GPU小時(shí)的訓(xùn)練,Qwen-Math-7B-CFT模型就能在Math-500測(cè)試集上達(dá)到75%的準(zhǔn)確率,并且訓(xùn)練過程非常穩(wěn)定。相比之下,強(qiáng)化學(xué)習(xí)方法需要超過120個(gè)GPU小時(shí)才能達(dá)到類似的性能水平,而且訓(xùn)練過程波動(dòng)較大。
在邏輯推理方面,研究團(tuán)隊(duì)在BIG-Bench Extra Hard(BBEH)基準(zhǔn)測(cè)試的三個(gè)子任務(wù)上評(píng)估了批評(píng)式微調(diào)的效果。結(jié)果同樣令人振奮:對(duì)于因果理解、消歧問答和時(shí)間算術(shù)這三個(gè)任務(wù),批評(píng)式微調(diào)后的Qwen2.5-Math-7B模型分別獲得了41.5%、24.2%和14.0%的準(zhǔn)確率,平均提升了16個(gè)百分點(diǎn)。
這就像是用一把小鑰匙打開了一座巨大寶庫的大門——簡(jiǎn)單、高效且效果顯著。
四、深入解析:為什么批評(píng)式微調(diào)如此有效?
那么,為什么只用一個(gè)問題的批評(píng)式微調(diào)就能產(chǎn)生如此顯著的效果呢?研究團(tuán)隊(duì)進(jìn)行了深入的分析,發(fā)現(xiàn)以下幾個(gè)關(guān)鍵因素:
首先,多樣性是關(guān)鍵。通過收集多種不同模型對(duì)同一問題的各種解法,批評(píng)式微調(diào)能夠接觸到豐富多樣的推理模式和錯(cuò)誤類型。這就像學(xué)習(xí)鋼琴時(shí),不僅要知道正確的彈奏方式,還要了解各種常見的錯(cuò)誤姿勢(shì)和不良習(xí)慣。
研究團(tuán)隊(duì)進(jìn)行了對(duì)比實(shí)驗(yàn),分別使用單一模型生成解法和多個(gè)不同模型生成解法。結(jié)果表明,使用多種模型生成的多樣化解法進(jìn)行批評(píng)式微調(diào),效果明顯優(yōu)于使用單一模型生成的解法。例如,使用10個(gè)不同生成器的混合解法進(jìn)行批評(píng)式微調(diào),平均準(zhǔn)確率達(dá)到42.2%,而使用單一生成器的準(zhǔn)確率僅為37.6%或38.7%。
其次,問題難度也很重要。研究團(tuán)隊(duì)發(fā)現(xiàn),中等難度的問題最適合作為種子問題進(jìn)行批評(píng)式微調(diào)。這些問題既不會(huì)太簡(jiǎn)單(否則批評(píng)內(nèi)容就不夠豐富),也不會(huì)太困難(否則基礎(chǔ)模型可能完全無法解決)。中等難度的問題能夠產(chǎn)生平衡的正確和錯(cuò)誤解法,提供更豐富的批評(píng)內(nèi)容。
此外,批評(píng)式微調(diào)還展現(xiàn)出優(yōu)秀的跨任務(wù)泛化能力。即使在一個(gè)領(lǐng)域的問題上進(jìn)行微調(diào),模型也能在其他領(lǐng)域的任務(wù)上表現(xiàn)出色。例如,在因果理解任務(wù)上進(jìn)行批評(píng)式微調(diào)后,模型在消歧問答和時(shí)間算術(shù)任務(wù)上的表現(xiàn)也有顯著提升。
最后,批評(píng)式微調(diào)的效果與模型規(guī)模成正比。研究發(fā)現(xiàn),隨著模型參數(shù)量的增加,批評(píng)式微調(diào)帶來的性能提升更加顯著。這表明批評(píng)式微調(diào)能夠更好地釋放大型模型中已有的推理潛力。
五、與現(xiàn)有方法的比較:批評(píng)式微調(diào)勝在哪里?
研究團(tuán)隊(duì)將批評(píng)式微調(diào)與兩種主流的訓(xùn)練方法進(jìn)行了對(duì)比:監(jiān)督式微調(diào)(SFT)和強(qiáng)化學(xué)習(xí)(RL)。
與傳統(tǒng)的監(jiān)督式微調(diào)相比,批評(píng)式微調(diào)顯示出明顯的優(yōu)勢(shì)。即使在同樣只使用一個(gè)問題的情況下,批評(píng)式微調(diào)的效果也遠(yuǎn)超監(jiān)督式微調(diào)。例如,對(duì)于Qwen2.5-Math-7B模型,一次性批評(píng)式微調(diào)達(dá)到了42.2%的平均準(zhǔn)確率,而一次性監(jiān)督式微調(diào)只有22.9%,甚至低于使用完整數(shù)據(jù)集進(jìn)行監(jiān)督式微調(diào)的25.6%。這就像是一個(gè)學(xué)生通過分析錯(cuò)誤案例學(xué)到的知識(shí),比單純記憶正確答案學(xué)到的知識(shí)更加深刻和廣泛。
與強(qiáng)化學(xué)習(xí)相比,批評(píng)式微調(diào)在性能上不相上下,但在訓(xùn)練效率上有巨大優(yōu)勢(shì)。在大多數(shù)設(shè)置下,批評(píng)式微調(diào)的效果略優(yōu)于強(qiáng)化學(xué)習(xí)。例如,對(duì)于Qwen2.5-Math-7B和Llama-3.2-3B-Instruct模型,一次性批評(píng)式微調(diào)比強(qiáng)化學(xué)習(xí)分別高出2.0和2.1個(gè)百分點(diǎn)。唯一的例外是Qwen2.5-Math-1.5B模型,批評(píng)式微調(diào)比強(qiáng)化學(xué)習(xí)低1個(gè)百分點(diǎn)。但考慮到批評(píng)式微調(diào)只需要強(qiáng)化學(xué)習(xí)1/15到1/20的計(jì)算資源,這種輕微的性能差異是完全可以接受的。
六、研究局限性:并非萬能鑰匙
盡管批評(píng)式微調(diào)表現(xiàn)出色,但研究團(tuán)隊(duì)也坦誠地指出了它的局限性。主要的限制在于,這種方法對(duì)于已經(jīng)經(jīng)過大量監(jiān)督微調(diào)或蒸餾的強(qiáng)大推理模型效果有限。這就像是對(duì)一位已經(jīng)非常精通的專家進(jìn)行指導(dǎo),提升空間自然比教導(dǎo)一位初學(xué)者要小。
研究團(tuán)隊(duì)表示,未來的工作需要探索如何調(diào)整或擴(kuò)展批評(píng)式微調(diào)方法,使其能夠適用于更強(qiáng)大、更對(duì)齊的模型。這可能需要更精細(xì)的批評(píng)策略或與其他方法的結(jié)合。
七、結(jié)論與未來展望:簡(jiǎn)單而強(qiáng)大的推理能力釋放工具
總的來說,這項(xiàng)研究向我們展示了一個(gè)令人振奮的發(fā)現(xiàn):預(yù)訓(xùn)練的大語言模型已經(jīng)具備了強(qiáng)大的推理潛力,而批評(píng)式微調(diào)提供了一種簡(jiǎn)單、高效的方法來釋放這種潛力。
就像一把精巧的鑰匙能夠打開復(fù)雜的鎖一樣,批評(píng)式微調(diào)能夠以最小的訓(xùn)練投入換取最大的性能提升。這種方法不僅在數(shù)學(xué)推理任務(wù)上表現(xiàn)出色,在邏輯推理任務(wù)上也同樣有效,展示了它的通用性和強(qiáng)大性。
對(duì)于研究人員和開發(fā)者來說,這項(xiàng)工作提供了一種計(jì)算效率高、實(shí)施簡(jiǎn)單的方法,可以在資源有限的情況下顯著提升模型的推理能力。對(duì)于普通用戶來說,這意味著未來的AI助手可能會(huì)變得更加擅長(zhǎng)解決復(fù)雜的推理問題,從數(shù)學(xué)計(jì)算到邏輯分析,從而更好地滿足我們?cè)趯W(xué)習(xí)、工作和日常生活中的需求。
正如研究團(tuán)隊(duì)所言,一次性批評(píng)式微調(diào)為"釋放現(xiàn)代大語言模型的推理能力提供了一種簡(jiǎn)單、通用且計(jì)算效率高的方法"。這種方法既保留了監(jiān)督式微調(diào)的穩(wěn)定性,又避免了強(qiáng)化學(xué)習(xí)的高計(jì)算成本,為未來的語言模型訓(xùn)練提供了一條新的路徑。
對(duì)于有興趣深入了解這項(xiàng)研究的讀者,可以通過arXiv:2506.03295v1訪問完整論文。
好文章,需要你的鼓勵(lì)
浙江大學(xué)團(tuán)隊(duì)提出動(dòng)態(tài)專家搜索方法,讓AI能根據(jù)不同問題靈活調(diào)整內(nèi)部專家配置。該方法在數(shù)學(xué)、編程等任務(wù)上顯著提升推理準(zhǔn)確率,且不增加計(jì)算成本。研究發(fā)現(xiàn)不同類型問題偏愛不同專家配置,為AI推理優(yōu)化開辟新路徑。
清華大學(xué)研究團(tuán)隊(duì)提出SIRI方法,通過"壓縮-擴(kuò)張"交替訓(xùn)練策略,成功解決了大型推理模型"話多且準(zhǔn)確率低"的問題。實(shí)驗(yàn)顯示,該方法在數(shù)學(xué)競(jìng)賽題上將模型準(zhǔn)確率提升43.2%的同時(shí),輸出長(zhǎng)度減少46.9%,真正實(shí)現(xiàn)了效率與性能的雙重優(yōu)化,為AI模型訓(xùn)練提供了新思路。
南洋理工大學(xué)與騰訊聯(lián)合研究團(tuán)隊(duì)開發(fā)出Rolling Forcing技術(shù),實(shí)現(xiàn)AI視頻實(shí)時(shí)流式生成的重大突破。該技術(shù)通過滾動(dòng)窗口聯(lián)合去噪、注意力錨點(diǎn)機(jī)制和高效訓(xùn)練算法三項(xiàng)創(chuàng)新,解決了長(zhǎng)視頻生成中的錯(cuò)誤累積問題,可在單GPU上以16fps速度生成多分鐘高質(zhì)量視頻,延遲僅0.76秒,質(zhì)量漂移指標(biāo)從傳統(tǒng)方法的1.66降至0.01,為交互式媒體和內(nèi)容創(chuàng)作開辟新可能。
華中科技大學(xué)研究團(tuán)隊(duì)發(fā)現(xiàn),通過讓AI模型學(xué)習(xí)解決幾何問題,能夠顯著提升其空間理解能力。他們構(gòu)建了包含約30000個(gè)幾何題目的Euclid30K數(shù)據(jù)集,使用強(qiáng)化學(xué)習(xí)方法訓(xùn)練多個(gè)AI模型。實(shí)驗(yàn)結(jié)果顯示,幾何訓(xùn)練在四個(gè)空間智能測(cè)試基準(zhǔn)上都帶來顯著提升,其中最佳模型達(dá)到49.6%準(zhǔn)確率,超越此前最好成績(jī)。這項(xiàng)研究揭示了基礎(chǔ)幾何知識(shí)對(duì)培養(yǎng)AI空間智能的重要價(jià)值。