這項(xiàng)由阿里巴巴云計算部門的江國超、馮文鋒、關(guān)國鋒、郝楚瞻、張悅偉、劉國華和王浩等研究人員領(lǐng)導(dǎo)的研究于2025年發(fā)表，論文標(biāo)題為《VCRL: Variance-based Curriculum Reinforcement Learning for Large Language Models》。有興趣深入了解的讀者可以通過arXiv:2509.19803查詢完整論文。

當(dāng)我們學(xué)習(xí)數(shù)學(xué)時，總是從簡單的加減法開始，然后慢慢過渡到復(fù)雜的微積分。這種循序漸進(jìn)的學(xué)習(xí)方式是人類幾千年來摸索出的智慧。但在人工智能領(lǐng)域，讓機(jī)器學(xué)習(xí)數(shù)學(xué)時，研究人員卻往往忽略了這個基本原理，而是讓AI模型隨機(jī)地接觸各種難度的數(shù)學(xué)題目。

想象一下，如果讓一個剛學(xué)會數(shù)數(shù)的孩子直接解微積分題，結(jié)果會是什么？孩子不僅學(xué)不會，還可能對數(shù)學(xué)產(chǎn)生恐懼。同樣的道理也適用于AI模型。目前的強(qiáng)化學(xué)習(xí)訓(xùn)練方法，比如GRPO、DAPO和GSPO等，就像是給AI學(xué)生隨機(jī)分配各種難度的題目，完全不考慮模型當(dāng)前的能力水平。這就好比讓一個剛會騎自行車的人直接去參加山地越野比賽，既不科學(xué)也不高效。

這種訓(xùn)練方式存在一個根本問題：AI模型的能力在訓(xùn)練過程中是不斷變化的。今天對它來說很難的題目，經(jīng)過一段時間的學(xué)習(xí)后可能就變得簡單了。而那些一開始很簡單的題目，隨著模型能力的提升，可能就失去了訓(xùn)練價值。就像一個鋼琴學(xué)生，如果總是練習(xí)同樣簡單的曲子，技能就無法提升；但如果突然跳到太難的曲子，又會因?yàn)榇鞌「卸绊憣W(xué)習(xí)效果。

針對這個問題，阿里巴巴的研究團(tuán)隊提出了一個革命性的解決方案，他們稱之為VCRL（Variance-based Curriculum Reinforcement Learning，基于方差的課程強(qiáng)化學(xué)習(xí)）。這個方法的核心思想非常巧妙，就像一個智能的數(shù)學(xué)老師，能夠?qū)崟r判斷每道題對學(xué)生來說是太簡單、太難，還是剛剛好。

這個"智能老師"是如何判斷題目難度的呢？研究團(tuán)隊發(fā)現(xiàn)了一個有趣的現(xiàn)象：當(dāng)AI模型多次嘗試解決同一個問題時，如果這個問題對模型來說太簡單，那么每次嘗試都會成功，結(jié)果非常一致；如果問題太難，那么每次嘗試都會失敗，結(jié)果同樣很一致。但是，當(dāng)問題的難度剛好適合模型當(dāng)前的能力水平時，模型的表現(xiàn)就會出現(xiàn)分化——有時成功，有時失敗，結(jié)果的變化幅度（也就是方差）會很大。

這就像考試成績的分布。如果考試太簡單，全班同學(xué)都能考100分，成績的差異很小；如果考試太難，大家都考個位數(shù)，成績差異同樣很小。但當(dāng)考試難度適中時，有的同學(xué)考90分，有的考60分，有的考80分，成績的差異就會很大。VCRL正是利用這個原理，通過觀察AI模型在多次嘗試中表現(xiàn)的差異程度，來判斷題目的適宜性。

具體來說，研究團(tuán)隊讓AI模型對每個數(shù)學(xué)問題進(jìn)行16次嘗試，然后觀察這16次嘗試的成功率變化。如果16次嘗試中有8次成功、8次失敗，這說明題目難度剛好；如果全部成功或全部失敗，則說明題目過于簡單或過于困難。通過計算這種變化的數(shù)學(xué)指標(biāo)（方差），系統(tǒng)就能自動識別出最有價值的訓(xùn)練題目。

但是，計算每個題目的難度需要大量的計算資源和時間。如果每次訓(xùn)練都要重新評估所有題目，效率會很低。為了解決這個問題，研究團(tuán)隊引入了一個"記憶銀行"的概念。這個記憶銀行就像一個優(yōu)秀的題庫管理系統(tǒng)，專門收集和保存那些難度適中的高價值題目。

這個記憶銀行的工作方式很有趣。當(dāng)系統(tǒng)發(fā)現(xiàn)某個題目的難度剛好適合當(dāng)前的模型能力時，就會把這個題目存入記憶銀行，并給它打上一個"優(yōu)先級"標(biāo)簽。隨著訓(xùn)練的進(jìn)行，模型的能力會不斷提升，那些原本適中的題目可能變得太簡單，系統(tǒng)就會自動降低它們的優(yōu)先級。同時，新發(fā)現(xiàn)的適中難度題目會被及時補(bǔ)充進(jìn)來，確保訓(xùn)練始終使用最合適的題目。

更巧妙的是，記憶銀行還采用了"衰減機(jī)制"。就像人的記憶一樣，長時間不使用的題目會逐漸被"遺忘"，而經(jīng)常被使用的題目會保持較高的優(yōu)先級。這種設(shè)計確保了題目的新鮮度和多樣性，避免模型過度擬合某些特定的題目類型。

研究團(tuán)隊在五個不同的數(shù)學(xué)基準(zhǔn)測試上驗(yàn)證了VCRL的效果，包括AIME-2024、AIME-2025、MATH500、OlympiadBench和AMC23。這些測試涵蓋了從基礎(chǔ)數(shù)學(xué)到奧林匹克數(shù)學(xué)競賽等不同難度層次，就像從小學(xué)數(shù)學(xué)一直到高中數(shù)學(xué)競賽的全方位考核。

實(shí)驗(yàn)結(jié)果讓人印象深刻。在Qwen3-4B模型上，VCRL方法將平均性能從26.68分提升到49.43分，提升幅度達(dá)到85%。在更大的Qwen3-8B模型上，性能從32.96分提升到57.76分，提升幅度達(dá)到75%。這種提升不僅體現(xiàn)在最終成績上，在訓(xùn)練過程中也表現(xiàn)出更好的穩(wěn)定性和效率。

特別值得注意的是，VCRL在高難度的數(shù)學(xué)競賽題目上表現(xiàn)尤為突出。在AIME-2024和AIME-2025這兩個具有挑戰(zhàn)性的測試中，VCRL的優(yōu)勢更加明顯。這表明該方法不僅能幫助AI模型掌握基礎(chǔ)數(shù)學(xué)知識，還能顯著提升其解決復(fù)雜數(shù)學(xué)問題的能力。

為了深入理解VCRL的工作機(jī)制，研究團(tuán)隊還分析了訓(xùn)練過程中的各種動態(tài)指標(biāo)。他們發(fā)現(xiàn)，與傳統(tǒng)方法相比，VCRL訓(xùn)練的模型在學(xué)習(xí)初期就表現(xiàn)出更快的性能提升。這主要?dú)w功于系統(tǒng)在早期階段專注于那些高價值的訓(xùn)練題目，避免了在過于簡單或過于困難的題目上浪費(fèi)時間。

訓(xùn)練穩(wěn)定性方面，VCRL也展現(xiàn)出明顯優(yōu)勢。傳統(tǒng)方法在訓(xùn)練過程中經(jīng)常出現(xiàn)性能波動，就像坐過山車一樣忽高忽低。而VCRL的訓(xùn)練曲線相對平滑，性能提升更加穩(wěn)定持續(xù)。這種穩(wěn)定性對于實(shí)際應(yīng)用非常重要，因?yàn)樗馕吨Ｐ偷谋憩F(xiàn)更加可預(yù)測和可靠。

從技術(shù)角度來說，VCRL的創(chuàng)新之處在于它將課程學(xué)習(xí)的思想與強(qiáng)化學(xué)習(xí)完美結(jié)合。課程學(xué)習(xí)本身并不是新概念，但將其應(yīng)用到大型語言模型的數(shù)學(xué)推理訓(xùn)練中，并通過方差這個簡單而有效的指標(biāo)來動態(tài)調(diào)整訓(xùn)練難度，這確實(shí)是一個巧妙的創(chuàng)新。

更重要的是，這種方法具有很強(qiáng)的通用性。雖然研究團(tuán)隊主要在數(shù)學(xué)推理任務(wù)上進(jìn)行了驗(yàn)證，但VCRL的核心原理——通過觀察模型表現(xiàn)的一致性來判斷任務(wù)難度——可以應(yīng)用到其他許多領(lǐng)域。無論是自然語言理解、代碼生成，還是其他需要復(fù)雜推理的任務(wù)，都可能從這種漸進(jìn)式的訓(xùn)練方法中受益。

研究團(tuán)隊還進(jìn)行了詳細(xì)的消融實(shí)驗(yàn)，分別驗(yàn)證了方差動態(tài)采樣和記憶銀行機(jī)制的貢獻(xiàn)。結(jié)果顯示，單獨(dú)使用方差動態(tài)采樣就能帶來顯著的性能提升，而加入記憶銀行機(jī)制后，效果進(jìn)一步增強(qiáng)。這種分步驗(yàn)證的方法增強(qiáng)了研究結(jié)果的可信度，也為其他研究者提供了寶貴的參考。

從實(shí)際應(yīng)用的角度來看，VCRL的意義遠(yuǎn)不止于提升AI模型的數(shù)學(xué)能力。數(shù)學(xué)推理是人工智能領(lǐng)域的一個重要挑戰(zhàn)，因?yàn)樗枰Ｐ途邆溥壿嬎季S、抽象理解和多步推理等高級認(rèn)知能力。在數(shù)學(xué)推理上的突破往往能夠推動AI在其他復(fù)雜任務(wù)上的進(jìn)展。

此外，VCRL提出的訓(xùn)練理念也為AI教育和人機(jī)協(xié)作提供了新的思路。如果AI系統(tǒng)能夠像人類一樣遵循循序漸進(jìn)的學(xué)習(xí)規(guī)律，那么它們與人類的協(xié)作將變得更加自然和高效。這種"類人化"的學(xué)習(xí)方式也更容易被人類理解和信任。

當(dāng)然，VCRL方法也存在一些限制。首先，它主要適用于有明確正確答案的任務(wù)，如數(shù)學(xué)問題。對于那些答案具有主觀性或多樣性的任務(wù)，方差指標(biāo)可能不夠準(zhǔn)確。其次，該方法需要額外的計算資源來評估題目難度和維護(hù)記憶銀行，這在某種程度上增加了訓(xùn)練成本。

另外，研究團(tuán)隊主要在中文數(shù)學(xué)題目上進(jìn)行了驗(yàn)證，VCRL在其他語言和文化背景下的表現(xiàn)還需要進(jìn)一步驗(yàn)證。不同語言的數(shù)學(xué)表達(dá)方式可能存在差異，這些差異是否會影響方差指標(biāo)的有效性，是一個值得探索的問題。

盡管存在這些限制，VCRL的成功依然具有重要的啟示意義。它證明了將人類學(xué)習(xí)的智慧融入AI訓(xùn)練過程的巨大潛力。在AI技術(shù)日新月異的今天，這種"師法自然"的研究思路顯得格外珍貴。

展望未來，VCRL可能會在多個方向上得到進(jìn)一步發(fā)展。比如，研究者可能會探索更加精細(xì)的難度評估指標(biāo)，或者開發(fā)能夠自動生成不同難度題目的系統(tǒng)。也有可能將VCRL的理念擴(kuò)展到多模態(tài)學(xué)習(xí)中，讓AI系統(tǒng)能夠在文本、圖像、聲音等多種信息形式中進(jìn)行漸進(jìn)式學(xué)習(xí)。

說到底，VCRL的核心價值在于它重新審視了AI學(xué)習(xí)的基本問題：如何讓機(jī)器更好地學(xué)習(xí)。通過模仿人類的學(xué)習(xí)規(guī)律，引入循序漸進(jìn)的訓(xùn)練理念，VCRL不僅提升了AI模型的性能，更重要的是，它為構(gòu)建更加智能、更加類人的AI系統(tǒng)指明了方向。這種理念上的突破，可能比技術(shù)細(xì)節(jié)的改進(jìn)更加深遠(yuǎn)。

歸根結(jié)底，教育的本質(zhì)是因材施教，而VCRL正是將這一教育智慧成功應(yīng)用到了AI訓(xùn)練中。當(dāng)我們讓AI像人類一樣學(xué)習(xí)時，它們的表現(xiàn)往往會超出我們的預(yù)期。這個簡單而深刻的道理，或許就是VCRL給我們最大的啟示。

Q&A

Q1：VCRL是什么？它和傳統(tǒng)的AI訓(xùn)練方法有什么不同？

A：VCRL是阿里巴巴提出的一種新型AI訓(xùn)練方法，全稱為"基于方差的課程強(qiáng)化學(xué)習(xí)"。與傳統(tǒng)方法隨機(jī)分配訓(xùn)練題目不同，VCRL會根據(jù)AI模型當(dāng)前的能力水平，智能選擇難度適中的題目進(jìn)行訓(xùn)練，就像人類學(xué)習(xí)時從易到難的循序漸進(jìn)過程。

Q2：VCRL如何判斷哪些數(shù)學(xué)題目最適合AI模型當(dāng)前的學(xué)習(xí)階段？

A：VCRL通過觀察AI模型多次嘗試解決同一問題時的表現(xiàn)差異來判斷。如果模型在16次嘗試中有時成功有時失敗，說明題目難度剛好；如果全部成功或全部失敗，則說明題目過于簡單或困難。系統(tǒng)會自動選擇那些表現(xiàn)差異較大的題目作為最佳訓(xùn)練材料。

Q3：使用VCRL訓(xùn)練的AI模型在數(shù)學(xué)能力上有多大提升？

A：實(shí)驗(yàn)結(jié)果顯示，在多個數(shù)學(xué)測試中，VCRL將AI模型的平均性能提升了75%到85%。特別是在高難度的數(shù)學(xué)競賽題目上，提升效果更加明顯。同時，訓(xùn)練過程也變得更加穩(wěn)定，模型的學(xué)習(xí)曲線更加平滑。