這項(xiàng)由香港大學(xué)、加州大學(xué)伯克利分校以及谷歌DeepMind等頂尖機(jī)構(gòu)聯(lián)合進(jìn)行的研究發(fā)表于2025年第42屆國(guó)際機(jī)器學(xué)習(xí)大會(huì)(ICML)，研究團(tuán)隊(duì)由朱天哲、翟越翔等多位學(xué)者共同完成。有興趣深入了解的讀者可以通過(guò)項(xiàng)目主頁(yè)https://tianzhechu.com/SFTvsRL獲取完整論文信息。

想象你面前有兩個(gè)孩子在學(xué)數(shù)學(xué)，一個(gè)死記硬背乘法表，考試時(shí)只要題目稍有變化就抓瞎；另一個(gè)真正理解了乘法原理，遇到新題型也能觸類旁通。這就是當(dāng)前AI訓(xùn)練中的一個(gè)根本性問(wèn)題——我們的AI到底是在"死記硬背"還是在"真正學(xué)習(xí)"？

長(zhǎng)期以來(lái)，訓(xùn)練AI就像教育孩子一樣，主要有兩種方法：一種叫做監(jiān)督微調(diào)(SFT)，就像傳統(tǒng)的填鴨式教育，給AI看大量標(biāo)準(zhǔn)答案，讓它模仿；另一種叫做強(qiáng)化學(xué)習(xí)(RL)，更像啟發(fā)式教育，讓AI在嘗試中學(xué)習(xí)，做對(duì)了給獎(jiǎng)勵(lì)，做錯(cuò)了給懲罰。但是這兩種方法哪種更能讓AI真正"開(kāi)竅"，一直是個(gè)未解之謎。

研究團(tuán)隊(duì)就像教育專家一樣，設(shè)計(jì)了精巧的實(shí)驗(yàn)來(lái)探究這個(gè)問(wèn)題。他們創(chuàng)建了一個(gè)類似"算24點(diǎn)"的數(shù)學(xué)游戲，給AI四張卡片，讓它用加減乘除算出24這個(gè)數(shù)字。更巧妙的是，他們還設(shè)計(jì)了不同的"考試規(guī)則"——有時(shí)候J、Q、K代表10，有時(shí)候代表11、12、13，就像同一道數(shù)學(xué)題用不同的符號(hào)系統(tǒng)表達(dá)。

結(jié)果令人震撼。當(dāng)面對(duì)新規(guī)則時(shí)，用強(qiáng)化學(xué)習(xí)訓(xùn)練的AI就像那個(gè)真正理解數(shù)學(xué)原理的孩子，能夠靈活應(yīng)對(duì)變化，成功率顯著提升。比如在純文本環(huán)境中，強(qiáng)化學(xué)習(xí)讓AI的表現(xiàn)從80.8%提升到91.8%，提升了整整11個(gè)百分點(diǎn)。而監(jiān)督微調(diào)訓(xùn)練的AI就像死記硬背的學(xué)生，一遇到新規(guī)則就"傻眼"了，表現(xiàn)從80.8%暴跌到僅僅1.3%，幾乎完全失效。

但故事還沒(méi)有結(jié)束。研究團(tuán)隊(duì)又引入了視覺(jué)挑戰(zhàn)——不再用文字描述卡片，而是讓AI看真實(shí)的卡片圖像。這就像讓孩子不僅要會(huì)算數(shù)，還要能認(rèn)識(shí)不同字體寫(xiě)的數(shù)字。在這種情況下，強(qiáng)化學(xué)習(xí)訓(xùn)練的AI依然表現(xiàn)出色，不僅能準(zhǔn)確識(shí)別卡片，還能靈活運(yùn)用數(shù)學(xué)規(guī)則。

更有趣的是，研究團(tuán)隊(duì)發(fā)現(xiàn)了一個(gè)類似"因材施教"的現(xiàn)象。雖然強(qiáng)化學(xué)習(xí)在培養(yǎng)AI的"真正理解力"方面表現(xiàn)突出，但監(jiān)督微調(diào)仍然有其獨(dú)特價(jià)值——它就像教孩子基本的行為規(guī)范和表達(dá)格式，讓AI學(xué)會(huì)如何"好好說(shuō)話"。如果跳過(guò)這個(gè)基礎(chǔ)訓(xùn)練直接用強(qiáng)化學(xué)習(xí)，就像讓一個(gè)連話都說(shuō)不清楚的孩子直接學(xué)高等數(shù)學(xué)，效果會(huì)很差。

研究團(tuán)隊(duì)還測(cè)試了一個(gè)真實(shí)世界的導(dǎo)航任務(wù)，讓AI在城市中根據(jù)指令找路。當(dāng)訓(xùn)練環(huán)境是絕對(duì)方向（東南西北）而測(cè)試環(huán)境改為相對(duì)方向（左轉(zhuǎn)右轉(zhuǎn)）時(shí)，同樣的現(xiàn)象再次出現(xiàn)：強(qiáng)化學(xué)習(xí)訓(xùn)練的AI能夠成功適應(yīng)新的表達(dá)方式，而監(jiān)督微調(diào)的AI則迷失在規(guī)則變化中。

這些發(fā)現(xiàn)就像教育心理學(xué)的重大突破一樣意義深遠(yuǎn)。研究顯示，強(qiáng)化學(xué)習(xí)不僅讓AI學(xué)會(huì)了更深層的推理能力，甚至還意外提升了它的視覺(jué)識(shí)別能力。這就好比一個(gè)孩子在學(xué)數(shù)學(xué)的過(guò)程中，不僅數(shù)學(xué)變好了，連觀察力也變強(qiáng)了。

當(dāng)然，這項(xiàng)研究也揭示了一些局限性。就像教育需要因材施教一樣，AI訓(xùn)練也需要根據(jù)具體情況選擇合適的方法。如果初始模型太"笨"（不會(huì)基本表達(dá)），或者已經(jīng)被訓(xùn)練得過(guò)度"固執(zhí)"（過(guò)度擬合），強(qiáng)化學(xué)習(xí)也難以發(fā)揮作用。

這項(xiàng)研究的意義遠(yuǎn)不止于學(xué)術(shù)探討。在ChatGPT、Claude等AI助手日益普及的今天，理解如何讓AI真正"聰明"而不是僅僅"博學(xué)"，對(duì)于構(gòu)建更可靠、更智能的AI系統(tǒng)具有重要意義。未來(lái)，我們可能會(huì)看到更多結(jié)合兩種訓(xùn)練方法優(yōu)勢(shì)的AI系統(tǒng)——既有扎實(shí)的基礎(chǔ)（監(jiān)督微調(diào)），又有靈活的思維（強(qiáng)化學(xué)習(xí)）。

說(shuō)到底，這項(xiàng)研究告訴我們一個(gè)簡(jiǎn)單而深刻的道理：無(wú)論是教育孩子還是訓(xùn)練AI，死記硬背只能應(yīng)付已知問(wèn)題，而真正的智慧來(lái)自于在挑戰(zhàn)中學(xué)習(xí)和適應(yīng)。正如古語(yǔ)所說(shuō)，"授人以魚(yú)不如授人以漁"，給AI標(biāo)準(zhǔn)答案不如教會(huì)它思考的方法。這或許就是人工智能向真正智能邁進(jìn)的關(guān)鍵一步。

當(dāng)我們下次使用AI助手時(shí)，不妨想想這個(gè)問(wèn)題：它是在背誦訓(xùn)練時(shí)見(jiàn)過(guò)的內(nèi)容，還是在真正理解我們的需求？這項(xiàng)研究為我們提供了答案的線索，也為AI的未來(lái)發(fā)展指明了方向。

Q&A

Q1：監(jiān)督微調(diào)和強(qiáng)化學(xué)習(xí)在AI訓(xùn)練中有什么區(qū)別？

A：監(jiān)督微調(diào)就像傳統(tǒng)的填鴨式教育，給AI看大量標(biāo)準(zhǔn)答案讓它模仿，類似死記硬背。強(qiáng)化學(xué)習(xí)更像啟發(fā)式教育，讓AI在嘗試中學(xué)習(xí)，做對(duì)了給獎(jiǎng)勵(lì)，做錯(cuò)了給懲罰，培養(yǎng)真正的理解能力。

Q2：為什么強(qiáng)化學(xué)習(xí)訓(xùn)練的AI面對(duì)新規(guī)則表現(xiàn)更好？

A：強(qiáng)化學(xué)習(xí)讓AI學(xué)會(huì)了底層的推理原理，而不是簡(jiǎn)單記憶表面規(guī)律。就像真正理解數(shù)學(xué)原理的學(xué)生遇到新題型也能觸類旁通，而死記硬背的學(xué)生一遇到變化就束手無(wú)策。

Q3：監(jiān)督微調(diào)在AI訓(xùn)練中還有價(jià)值嗎？

A：絕對(duì)有價(jià)值。監(jiān)督微調(diào)就像教孩子基本的行為規(guī)范，讓AI學(xué)會(huì)如何"好好說(shuō)話"和正確表達(dá)。研究發(fā)現(xiàn)，如果跳過(guò)監(jiān)督微調(diào)直接用強(qiáng)化學(xué)習(xí)，效果會(huì)很差，因?yàn)锳I連基本的表達(dá)格式都不會(huì)。