這項(xiàng)由復(fù)旦大學(xué)的席智恒、黃繼軒、廖晨陽等研究團(tuán)隊(duì)領(lǐng)導(dǎo)的創(chuàng)新研究，于2024年9月發(fā)表在arXiv平臺上，論文編號為arXiv:2509.08755v1。感興趣的讀者可以通過https://github.com/woooodyy/AgentGym-RL訪問完整的開源代碼和數(shù)據(jù)集，項(xiàng)目主頁為https://AgentGym-RL.github.io。

想象一個(gè)孩子學(xué)習(xí)下棋的過程。起初，他可能只會(huì)一步一步地移動(dòng)棋子，毫無章法。但通過不斷的練習(xí)和反饋，他逐漸學(xué)會(huì)了觀察全局、制定策略，甚至能夠預(yù)測對手的行動(dòng)?，F(xiàn)在，復(fù)旦大學(xué)的研究團(tuán)隊(duì)正在用類似的方法訓(xùn)練人工智能，讓它們學(xué)會(huì)在復(fù)雜環(huán)境中進(jìn)行長期規(guī)劃和決策。

這項(xiàng)研究解決了一個(gè)現(xiàn)實(shí)中的重要問題：如何讓AI智能體像人類一樣，在面臨復(fù)雜任務(wù)時(shí)能夠制定長遠(yuǎn)計(jì)劃，而不是僅僅做出簡單的即時(shí)反應(yīng)。就像一個(gè)優(yōu)秀的廚師不僅知道如何處理每一個(gè)食材，更重要的是懂得如何協(xié)調(diào)整個(gè)烹飪流程，確保每道菜都能在最佳時(shí)間完成。

研究團(tuán)隊(duì)發(fā)現(xiàn)，現(xiàn)有的AI訓(xùn)練方法存在一個(gè)關(guān)鍵問題：它們往往只能處理單回合的簡單任務(wù)，就像只會(huì)回答一個(gè)問題，而不能進(jìn)行持續(xù)的對話和思考。更重要的是，這些方法在面對需要多步驟操作的復(fù)雜任務(wù)時(shí)，經(jīng)常會(huì)出現(xiàn)訓(xùn)練不穩(wěn)定甚至崩潰的情況，就像學(xué)生在學(xué)習(xí)復(fù)雜數(shù)學(xué)題時(shí)，如果一開始就接觸最難的題目，往往會(huì)完全搞不懂而放棄。

為了解決這些問題，研究團(tuán)隊(duì)開發(fā)了名為AgentGym-RL的全新訓(xùn)練框架。這個(gè)框架就像一個(gè)設(shè)計(jì)精良的游樂園，為AI智能體提供了各種不同難度和類型的"游戲環(huán)境"來練習(xí)技能。從簡單的網(wǎng)頁瀏覽，到復(fù)雜的科學(xué)實(shí)驗(yàn)，再到策略游戲，應(yīng)有盡有。更巧妙的是，他們還設(shè)計(jì)了一套名為ScalingInter-RL的訓(xùn)練方法，這種方法就像教練訓(xùn)練運(yùn)動(dòng)員一樣，先從基礎(chǔ)動(dòng)作開始，逐步增加訓(xùn)練強(qiáng)度和復(fù)雜度。

這項(xiàng)研究的突破性在于，它讓僅有70億參數(shù)的小型AI模型，在經(jīng)過訓(xùn)練后能夠匹敵甚至超越那些擁有千億參數(shù)的大型商業(yè)模型。這就好比一個(gè)經(jīng)過專業(yè)訓(xùn)練的輕量級拳手，能夠擊敗體重更大但訓(xùn)練不足的重量級選手。在27個(gè)不同的任務(wù)測試中，他們的模型都表現(xiàn)出了卓越的性能。

一、智能體訓(xùn)練的現(xiàn)狀困境

在人工智能的發(fā)展歷程中，讓機(jī)器學(xué)會(huì)像人類一樣思考和決策一直是一個(gè)巨大的挑戰(zhàn)?，F(xiàn)在的大多數(shù)AI系統(tǒng)就像一個(gè)只會(huì)背書的學(xué)生，雖然能夠回答很多問題，但缺乏真正的理解和規(guī)劃能力。當(dāng)面臨需要多個(gè)步驟才能完成的復(fù)雜任務(wù)時(shí)，它們往往顯得手足無措。

傳統(tǒng)的AI訓(xùn)練方法主要依賴于監(jiān)督學(xué)習(xí)，這就像老師給學(xué)生提供標(biāo)準(zhǔn)答案，讓學(xué)生反復(fù)練習(xí)直到能夠準(zhǔn)確復(fù)制。雖然這種方法在某些場景下效果不錯(cuò)，但它有一個(gè)致命的弱點(diǎn)：學(xué)生只是在機(jī)械地模仿，并沒有真正理解問題的本質(zhì)，更不用說學(xué)會(huì)獨(dú)立思考和創(chuàng)新了。

更糟糕的是，當(dāng)前的大多數(shù)AI訓(xùn)練方法都集中在單回合任務(wù)上，就像只教學(xué)生如何回答單選題，而不教他們?nèi)绾螌懽魑幕蚪鉀Q復(fù)雜的數(shù)學(xué)應(yīng)用題。這導(dǎo)致AI系統(tǒng)在面對需要持續(xù)互動(dòng)和長期規(guī)劃的任務(wù)時(shí)表現(xiàn)糟糕。比如，一個(gè)AI可能能夠識別網(wǎng)頁上的按鈕，但它不知道應(yīng)該按什么順序點(diǎn)擊這些按鈕來完成一個(gè)完整的購物流程。

研究團(tuán)隊(duì)發(fā)現(xiàn)，即使有一些嘗試使用強(qiáng)化學(xué)習(xí)來訓(xùn)練多回合交互能力的研究，但這些方法在訓(xùn)練過程中極不穩(wěn)定。就像一個(gè)初學(xué)者試圖同時(shí)學(xué)習(xí)開車和導(dǎo)航，往往會(huì)因?yàn)槿蝿?wù)過于復(fù)雜而頻繁出錯(cuò)，最終放棄學(xué)習(xí)。這種訓(xùn)練不穩(wěn)定的問題嚴(yán)重限制了AI智能體的發(fā)展?jié)摿Α?/p>

二、AgentGym-RL框架的創(chuàng)新設(shè)計(jì)

面對這些挑戰(zhàn)，復(fù)旦大學(xué)的研究團(tuán)隊(duì)設(shè)計(jì)了一個(gè)全新的訓(xùn)練框架AgentGym-RL。這個(gè)框架就像一個(gè)設(shè)計(jì)精良的培訓(xùn)學(xué)校，為AI智能體提供了一個(gè)完整的學(xué)習(xí)環(huán)境。

框架的核心理念是模塊化設(shè)計(jì)，就像搭積木一樣。研究人員可以根據(jù)需要自由組合不同的環(huán)境、智能體和訓(xùn)練算法。這種設(shè)計(jì)讓框架具有極高的靈活性和擴(kuò)展性，就像一個(gè)多功能的健身房，可以根據(jù)不同人的需求調(diào)整訓(xùn)練設(shè)備和課程安排。

環(huán)境模塊是這個(gè)框架的基礎(chǔ)，它提供了五種不同類型的訓(xùn)練環(huán)境。網(wǎng)頁導(dǎo)航環(huán)境讓AI學(xué)會(huì)在復(fù)雜的網(wǎng)站中找到所需信息，就像教會(huì)一個(gè)人如何在大型商場中找到特定的店鋪。深度搜索環(huán)境訓(xùn)練AI進(jìn)行多步驟的信息檢索和推理，類似于教會(huì)學(xué)生如何進(jìn)行深入的學(xué)術(shù)研究。數(shù)字游戲環(huán)境通過類似Minecraft的文本游戲，讓AI學(xué)會(huì)制定策略和管理資源。具身任務(wù)環(huán)境訓(xùn)練AI在虛擬空間中導(dǎo)航和操作物體，就像教機(jī)器人如何在房間中移動(dòng)和抓取物品?？茖W(xué)任務(wù)環(huán)境則讓AI學(xué)會(huì)進(jìn)行科學(xué)實(shí)驗(yàn)和數(shù)據(jù)分析。

智能體模塊負(fù)責(zé)處理推理和決策過程。它就像大腦的思維中心，接收來自環(huán)境的信息，進(jìn)行分析和推理，然后做出相應(yīng)的行動(dòng)決策。這個(gè)模塊支持多種不同的推理策略和采樣配置，可以根據(jù)具體任務(wù)的需求進(jìn)行調(diào)整。

訓(xùn)練模塊則提供了完整的強(qiáng)化學(xué)習(xí)訓(xùn)練流程。它支持多種主流的強(qiáng)化學(xué)習(xí)算法，包括PPO、GRPO和REINFORCE++等。這些算法就像不同的教學(xué)方法，每種方法都有其獨(dú)特的優(yōu)勢和適用場景。訓(xùn)練模塊還負(fù)責(zé)管理整個(gè)訓(xùn)練過程，包括軌跡收集、優(yōu)勢估計(jì)、策略優(yōu)化和獎(jiǎng)勵(lì)塑形等步驟。

為了確?？蚣艿目蓴U(kuò)展性和可靠性，研究團(tuán)隊(duì)進(jìn)行了大量的工程優(yōu)化。他們重新設(shè)計(jì)了WebArena環(huán)境的瀏覽器架構(gòu)，使得單個(gè)服務(wù)器可以同時(shí)管理多個(gè)瀏覽器實(shí)例，大大提高了并行處理能力。在SciWorld環(huán)境中，他們解決了內(nèi)存泄露問題，確保長時(shí)間訓(xùn)練的穩(wěn)定性。這些優(yōu)化讓框架能夠支持大規(guī)模的并行訓(xùn)練，就像一個(gè)能夠同時(shí)容納數(shù)千名學(xué)生的超大型學(xué)校。

三、ScalingInter-RL漸進(jìn)訓(xùn)練方法

在解決了訓(xùn)練環(huán)境的問題后，研究團(tuán)隊(duì)面臨的下一個(gè)挑戰(zhàn)是如何設(shè)計(jì)有效的訓(xùn)練策略。他們發(fā)現(xiàn)，如果一開始就讓AI面對最復(fù)雜的長期任務(wù)，就像讓一個(gè)剛學(xué)會(huì)走路的孩子立即去跑馬拉松一樣，結(jié)果往往是災(zāi)難性的。

基于這個(gè)觀察，他們開發(fā)了ScalingInter-RL方法。這種方法的核心思想是循序漸進(jìn)，就像教練訓(xùn)練運(yùn)動(dòng)員一樣，從基礎(chǔ)訓(xùn)練開始，逐步增加訓(xùn)練強(qiáng)度和復(fù)雜度。

在訓(xùn)練的初期階段，系統(tǒng)限制AI與環(huán)境的交互回合數(shù)，強(qiáng)調(diào)利用已知信息做出最佳決策，這個(gè)階段主要關(guān)注的是讓AI掌握基本技能。就像學(xué)開車時(shí)，教練首先讓學(xué)員在空曠的練車場熟悉基本操作，而不是直接上繁忙的馬路。通過這種方式，AI能夠在相對簡單的環(huán)境中建立信心，掌握基礎(chǔ)的決策模式。

隨著訓(xùn)練的進(jìn)行，系統(tǒng)逐步增加允許的交互回合數(shù)，鼓勵(lì)A(yù)I進(jìn)行更多的探索和嘗試。這就像逐漸增加訓(xùn)練的難度和強(qiáng)度，讓AI有機(jī)會(huì)學(xué)習(xí)更復(fù)雜的策略和行為模式。在這個(gè)過程中，AI不僅要學(xué)會(huì)利用已有的知識，還要學(xué)會(huì)在不確定的情況下進(jìn)行探索和學(xué)習(xí)。

這種漸進(jìn)式的訓(xùn)練方法解決了傳統(tǒng)強(qiáng)化學(xué)習(xí)中的一個(gè)關(guān)鍵問題：探索與利用的平衡。在訓(xùn)練早期，如果讓AI進(jìn)行過多的隨機(jī)探索，它可能會(huì)陷入無效的行為循環(huán)，就像一個(gè)迷路的人在原地打轉(zhuǎn)。而如果過度限制探索，AI又無法學(xué)到足夠豐富的策略。ScalingInter-RL通過時(shí)間維度上的漸進(jìn)調(diào)節(jié)，巧妙地解決了這個(gè)矛盾。

研究結(jié)果表明，這種方法不僅提高了訓(xùn)練的穩(wěn)定性，還顯著提升了最終的性能。在多個(gè)測試環(huán)境中，使用ScalingInter-RL訓(xùn)練的AI都表現(xiàn)出了更強(qiáng)的適應(yīng)性和更穩(wěn)定的表現(xiàn)。

四、五大訓(xùn)練環(huán)境的詳細(xì)解析

為了全面測試AI智能體的能力，研究團(tuán)隊(duì)精心設(shè)計(jì)了五種不同類型的訓(xùn)練環(huán)境，每種環(huán)境都針對智能體的不同能力進(jìn)行專門訓(xùn)練。

網(wǎng)頁導(dǎo)航環(huán)境基于WebArena平臺，模擬了真實(shí)世界中的網(wǎng)站交互場景。這個(gè)環(huán)境包含了四個(gè)不同的領(lǐng)域：在線購物、討論論壇、協(xié)作開發(fā)和商業(yè)內(nèi)容管理。AI需要學(xué)會(huì)像人類用戶一樣瀏覽網(wǎng)頁、點(diǎn)擊按鈕、填寫表單和搜索信息。這就像訓(xùn)練一個(gè)客服人員，讓他們學(xué)會(huì)如何幫助客戶在復(fù)雜的網(wǎng)站上完成各種任務(wù)。環(huán)境還提供了地圖導(dǎo)航、計(jì)算器和記事本等輔助工具，讓訓(xùn)練更加貼近實(shí)際應(yīng)用場景。

深度搜索環(huán)境專注于訓(xùn)練AI的信息檢索和推理能力。這個(gè)環(huán)境配備了搜索引擎接口，AI需要學(xué)會(huì)根據(jù)問題動(dòng)態(tài)生成搜索查詢，從檢索到的信息中提取相關(guān)內(nèi)容，并將多個(gè)信息源的內(nèi)容整合起來得出最終答案。這個(gè)過程就像訓(xùn)練一個(gè)研究助手，讓他們學(xué)會(huì)如何進(jìn)行深入的文獻(xiàn)調(diào)研和分析。環(huán)境涵蓋了七個(gè)不同的數(shù)據(jù)集，包括自然問題、百科問答和多跳推理等任務(wù)類型。

數(shù)字游戲環(huán)境采用了TextCraft，這是一個(gè)基于文本的Minecraft風(fēng)格游戲。在這個(gè)環(huán)境中，AI需要學(xué)會(huì)制作工具、管理庫存、導(dǎo)航虛擬空間和制定長期策略。任務(wù)的難度通過制作樹的深度來衡量，從簡單的單步制作到需要多個(gè)步驟的復(fù)雜物品制作。這就像訓(xùn)練一個(gè)建筑工程師，讓他們學(xué)會(huì)如何規(guī)劃和執(zhí)行復(fù)雜的建設(shè)項(xiàng)目。

具身任務(wù)環(huán)境使用BabyAI平臺，提供了一個(gè)可控的網(wǎng)格世界，AI需要根據(jù)自然語言指令進(jìn)行導(dǎo)航和物體操作。這個(gè)環(huán)境測試的是AI的空間推理能力和指令理解能力。任務(wù)包括移動(dòng)物體、開鎖門鎖和與環(huán)境中的各種對象交互。這類似于訓(xùn)練一個(gè)機(jī)器人如何在真實(shí)環(huán)境中執(zhí)行各種物理任務(wù)。

科學(xué)任務(wù)環(huán)境基于SciWorld平臺，專門設(shè)計(jì)用于科學(xué)探索和實(shí)驗(yàn)。AI需要學(xué)會(huì)使用各種科學(xué)儀器，進(jìn)行實(shí)驗(yàn)設(shè)計(jì)，收集和分析數(shù)據(jù)。任務(wù)涵蓋了物理、化學(xué)和生物等多個(gè)科學(xué)領(lǐng)域，從簡單的溫度測量到復(fù)雜的化學(xué)反應(yīng)分析。這就像訓(xùn)練一個(gè)科學(xué)研究助手，讓他們學(xué)會(huì)如何進(jìn)行嚴(yán)格的科學(xué)實(shí)驗(yàn)和數(shù)據(jù)分析。

這五種環(huán)境的設(shè)計(jì)理念是互補(bǔ)性和漸進(jìn)性。每種環(huán)境都針對智能體的特定能力進(jìn)行訓(xùn)練，而所有環(huán)境合起來則提供了一個(gè)全面的能力測試平臺。通過在這些不同環(huán)境中的訓(xùn)練，AI智能體可以獲得更全面和魯棒的決策能力。

五、實(shí)驗(yàn)結(jié)果與性能突破

研究團(tuán)隊(duì)在五個(gè)不同的訓(xùn)練環(huán)境中進(jìn)行了大規(guī)模的實(shí)驗(yàn)，結(jié)果令人印象深刻。他們的70億參數(shù)模型在經(jīng)過AgentGym-RL框架訓(xùn)練后，平均性能提升了33.65個(gè)百分點(diǎn)，這在AI領(lǐng)域是一個(gè)相當(dāng)顯著的改進(jìn)。

最引人注目的是，這個(gè)相對較小的模型竟然能夠匹敵甚至超越那些參數(shù)規(guī)模達(dá)到數(shù)千億的大型商業(yè)模型。在與OpenAI o3、Gemini-2.5-Pro和GPT-4o等頂級模型的比較中，AgentGym-RL訓(xùn)練的模型在多個(gè)任務(wù)上都表現(xiàn)出了相當(dāng)甚至更優(yōu)的性能。這就像一個(gè)經(jīng)過專業(yè)訓(xùn)練的輕量級選手擊敗了那些體重更大但訓(xùn)練不足的重量級對手。

在網(wǎng)頁導(dǎo)航任務(wù)中，ScalingInter-7B模型達(dá)到了26.00%的整體準(zhǔn)確率，顯著超越了GPT-4o的16.00%和Gemini-2.5-Pro的28.00%。特別是在購物和內(nèi)容管理系統(tǒng)任務(wù)中，該模型分別達(dá)到了33.33%和26.67%的準(zhǔn)確率，在所有模型中名列前茅。

深度搜索任務(wù)的結(jié)果更加令人震驚。ScalingInter-7B模型取得了38.25的整體得分，不僅超越了GPT-4o的26.75分和Gemini-2.5-Pro的36.50分，還接近了最強(qiáng)的開源模型DeepSeek-R1-0528的40.25分。在自然問題任務(wù)中，該模型甚至獲得了52.00的最高分。

在數(shù)字游戲環(huán)境TextCraft中，ScalingInter-7B模型的表現(xiàn)尤為出色，獲得了91.00的整體得分，僅比頂級模型低2-3分。更重要的是，它是少數(shù)幾個(gè)在最高難度級別（深度4）上獲得非零分?jǐn)?shù)的模型之一，得分為33.33分，這展現(xiàn)了其在復(fù)雜策略規(guī)劃方面的獨(dú)特能力。

具身任務(wù)的結(jié)果同樣impressive。ScalingInter-7B模型在BabyAI基準(zhǔn)測試中獲得了96.67%的準(zhǔn)確率，超越了OpenAI o3的94.44%和GPT-4o的86.67%。該模型在多個(gè)子任務(wù)中都取得了完美的100%分?jǐn)?shù)，包括導(dǎo)航、物體操作和位置合成等任務(wù)。

科學(xué)任務(wù)環(huán)境中的表現(xiàn)更是突破性的。ScalingInter-7B模型創(chuàng)造了57.00的新紀(jì)錄，遠(yuǎn)超所有其他開源和商業(yè)模型。在"發(fā)現(xiàn)"和"測試條件"等子任務(wù)中，該模型都取得了領(lǐng)先成績，分別為88.64和55.42分。

這些結(jié)果不僅證明了AgentGym-RL框架的有效性，也展現(xiàn)了ScalingInter-RL方法的威力。通過漸進(jìn)式的交互訓(xùn)練，相對較小的模型能夠獲得與大型模型相媲美甚至更優(yōu)的性能，這為AI智能體的發(fā)展開辟了一條新的道路。

六、測試時(shí)計(jì)算擴(kuò)展的新發(fā)現(xiàn)

研究團(tuán)隊(duì)在實(shí)驗(yàn)中發(fā)現(xiàn)了一個(gè)有趣的現(xiàn)象：增加測試時(shí)的計(jì)算資源，特別是允許更多的交互回合和并行采樣，能夠顯著提升模型的性能。這個(gè)發(fā)現(xiàn)對于理解AI智能體的行為具有重要意義。

當(dāng)研究人員逐步增加AI與環(huán)境交互的回合數(shù)時(shí)，所有模型的性能都出現(xiàn)了明顯提升。這就像給一個(gè)解題者更多的思考時(shí)間，他們往往能夠找到更好的解決方案。在深度搜索和科學(xué)世界環(huán)境中，這種趨勢尤其明顯。當(dāng)交互回合數(shù)從2回合增加到30回合時(shí)，模型的準(zhǔn)確率呈現(xiàn)出穩(wěn)步上升的趨勢。

并行采樣的效果同樣顯著。研究團(tuán)隊(duì)測試了Pass@K性能，也就是在K次嘗試中至少有一次成功的概率。結(jié)果顯示，隨著采樣次數(shù)的增加，成功率大幅提升。在深度搜索任務(wù)中，當(dāng)采樣數(shù)從1增加到64時(shí)，成功率提升了5.5個(gè)百分點(diǎn)。在科學(xué)世界任務(wù)中，這個(gè)提升甚至達(dá)到了7.05個(gè)百分點(diǎn)。

這些發(fā)現(xiàn)揭示了一個(gè)重要的觀點(diǎn)：對于AI智能體而言，戰(zhàn)略性地投入更多計(jì)算資源在推理和測試階段，比簡單地增加模型參數(shù)規(guī)模更加有效。一個(gè)70億參數(shù)的經(jīng)過專門訓(xùn)練的模型，在配備足夠的測試時(shí)計(jì)算資源后，能夠超越那些擁有700億甚至更多參數(shù)但沒有經(jīng)過類似訓(xùn)練的大型模型。

這個(gè)現(xiàn)象類似于下棋中的情況：一個(gè)經(jīng)驗(yàn)豐富的棋手，即使給他更多時(shí)間思考每一步，也比一個(gè)僅僅記住了更多棋譜但缺乏實(shí)戰(zhàn)經(jīng)驗(yàn)的新手下得更好。時(shí)間和計(jì)算資源的價(jià)值在于它們提供了更深入思考和探索的機(jī)會(huì)，而不僅僅是更多的知識存儲。

七、算法比較與訓(xùn)練穩(wěn)定性分析

為了驗(yàn)證不同強(qiáng)化學(xué)習(xí)算法的效果，研究團(tuán)隊(duì)對比了GRPO和REINFORCE++兩種主流算法的性能。結(jié)果顯示GRPO在多個(gè)任務(wù)上都表現(xiàn)出了明顯的優(yōu)勢，這個(gè)發(fā)現(xiàn)對于選擇合適的訓(xùn)練算法具有重要的指導(dǎo)意義。

在TextCraft、BabyAI和深度搜索等基準(zhǔn)測試中，GRPO都顯著超越了REINFORCE++。更有趣的是，使用GRPO算法訓(xùn)練的30億參數(shù)模型，其性能竟然超過了使用REINFORCE++訓(xùn)練的70億參數(shù)模型。這說明算法選擇的重要性有時(shí)甚至超過了模型規(guī)模的影響。

這種性能差異的原因在于兩種算法處理學(xué)習(xí)信號的方式不同。REINFORCE++依賴于完整軌跡的蒙特卡洛回報(bào)，這往往會(huì)產(chǎn)生高方差的梯度，對長軌跡中的偶然成功或失敗非常敏感。而GRPO通過相對優(yōu)勢評估，提供了更穩(wěn)定的學(xué)習(xí)信號，這在復(fù)雜的多回合任務(wù)中特別有價(jià)值。

研究團(tuán)隊(duì)還深入分析了不同最大交互回合數(shù)設(shè)置對訓(xùn)練穩(wěn)定性的影響。他們發(fā)現(xiàn)，如果訓(xùn)練一開始就允許過多的交互回合（比如10回合），模型在早期階段確實(shí)能夠獲得更高的獎(jiǎng)勵(lì)，但很快就會(huì)出現(xiàn)訓(xùn)練崩潰的現(xiàn)象。這就像讓一個(gè)初學(xué)者立即嘗試最復(fù)雜的任務(wù)，雖然偶爾可能會(huì)有好的表現(xiàn)，但很容易因?yàn)槿蝿?wù)過于復(fù)雜而放棄學(xué)習(xí)。

相反，如果嚴(yán)格限制交互回合數(shù)（比如5回合），雖然訓(xùn)練過程更加穩(wěn)定，但模型的最終性能會(huì)受到限制，無法學(xué)到足夠復(fù)雜的策略。這類似于過度保護(hù)的教學(xué)方式，雖然安全但限制了學(xué)習(xí)的深度和廣度。

ScalingInter-RL方法巧妙地結(jié)合了這兩種方式的優(yōu)點(diǎn)。它在訓(xùn)練初期限制交互回合數(shù)，確保模型能夠穩(wěn)定地掌握基礎(chǔ)技能，然后逐步增加交互回合數(shù)，允許模型學(xué)習(xí)更復(fù)雜的策略。這種方法在實(shí)驗(yàn)中表現(xiàn)出了既穩(wěn)定又高效的特點(diǎn)，最終達(dá)到了最佳的性能。

八、案例分析與行為模式對比

為了深入理解AgentGym-RL訓(xùn)練效果，研究團(tuán)隊(duì)進(jìn)行了詳細(xì)的案例分析，對比了基礎(chǔ)模型和經(jīng)過強(qiáng)化學(xué)習(xí)訓(xùn)練的模型在具體任務(wù)中的行為表現(xiàn)。

在網(wǎng)頁導(dǎo)航任務(wù)中，一個(gè)典型的案例是在Reddit論壇上尋找特定主題的熱門帖子并訂閱。基礎(chǔ)模型在遇到"頁面未找到"錯(cuò)誤時(shí)，會(huì)反復(fù)點(diǎn)擊無響應(yīng)的元素，陷入無效的行為循環(huán)。而經(jīng)過RL訓(xùn)練的模型展現(xiàn)出了更強(qiáng)的適應(yīng)性：當(dāng)遇到錯(cuò)誤時(shí)，它會(huì)主動(dòng)回退到主頁，使用搜索功能找到目標(biāo)論壇，識別相關(guān)的熱門內(nèi)容，并成功完成訂閱操作。這就像一個(gè)有經(jīng)驗(yàn)的網(wǎng)絡(luò)用戶vs一個(gè)新手用戶的區(qū)別。

在具身導(dǎo)航任務(wù)中，差異同樣明顯。給定任務(wù)是"前往藍(lán)色盒子"，基礎(chǔ)模型會(huì)表現(xiàn)出典型的"重復(fù)行為模式"，在已經(jīng)探索過的區(qū)域徘徊，缺乏系統(tǒng)性的探索策略。而RL訓(xùn)練的模型展現(xiàn)出了更智能的導(dǎo)航行為：它會(huì)系統(tǒng)地探索環(huán)境，在遇到阻礙時(shí)能夠戰(zhàn)略性地回退，選擇替代路徑，并最終通過綠色門找到了通向目標(biāo)藍(lán)色盒子的直接路徑。

在科學(xué)實(shí)驗(yàn)任務(wù)中，基礎(chǔ)模型經(jīng)常會(huì)混淆實(shí)驗(yàn)步驟，比如試圖與非交互性物體進(jìn)行操作，或者產(chǎn)生無效的行動(dòng)指令。RL訓(xùn)練的模型則表現(xiàn)出了更好的任務(wù)理解能力：它能夠正確識別實(shí)驗(yàn)對象（比如香蕉樹），執(zhí)行適當(dāng)?shù)膸齑婀芾聿僮鳎诙喾块g環(huán)境中進(jìn)行有效導(dǎo)航，并最終成功地將實(shí)驗(yàn)對象放置到指定的紫色盒子中。

不過，案例分析也揭示了一些仍然存在的局限性。在科學(xué)推理任務(wù)中，當(dāng)面對需要系統(tǒng)性調(diào)試的交互失敗時(shí)，RL模型有時(shí)會(huì)用事實(shí)記憶來代替實(shí)驗(yàn)流程，這表明模型缺乏深度的程序性理解。在網(wǎng)頁導(dǎo)航中，模型有時(shí)會(huì)表現(xiàn)出"過度交互"的行為模式，即使已經(jīng)到達(dá)了正確的目標(biāo)頁面，仍然會(huì)進(jìn)行不必要的點(diǎn)擊、懸停和滾動(dòng)操作，這影響了任務(wù)完成的效率。

這些案例分析不僅展現(xiàn)了RL訓(xùn)練帶來的顯著改進(jìn)，也為進(jìn)一步的研究指明了方向：如何讓AI智能體獲得更深層次的程序性理解，以及如何在保證探索能力的同時(shí)提高行為效率。

九、環(huán)境結(jié)構(gòu)對學(xué)習(xí)效果的影響

通過對不同環(huán)境下訓(xùn)練結(jié)果的深入分析，研究團(tuán)隊(duì)發(fā)現(xiàn)了一個(gè)重要規(guī)律：環(huán)境的結(jié)構(gòu)特征對強(qiáng)化學(xué)習(xí)的效果具有決定性影響。

在規(guī)則明確、因果關(guān)系清晰的模擬環(huán)境中，如TextCraft、BabyAI和SciWorld，強(qiáng)化學(xué)習(xí)帶來了最顯著的性能提升。在SciWorld的科學(xué)推理任務(wù)中，模型的得分從1.50躍升到50.50，提升幅度接近50個(gè)百分點(diǎn)。這類環(huán)境的共同特點(diǎn)是具有明確的狀態(tài)轉(zhuǎn)換規(guī)則和即時(shí)反饋機(jī)制，就像在一個(gè)設(shè)計(jì)精良的實(shí)驗(yàn)室中進(jìn)行學(xué)習(xí)，每個(gè)操作都會(huì)產(chǎn)生可預(yù)測的結(jié)果。

相比之下，在更開放、更接近真實(shí)世界的環(huán)境如WebArena和深度搜索中，雖然RL仍然帶來了積極的改進(jìn)，但提升幅度相對溫和。這些環(huán)境的特點(diǎn)是狀態(tài)空間巨大，行動(dòng)后果具有一定的隨機(jī)性，反饋信號可能存在延遲或不明確。這就像在復(fù)雜的真實(shí)世界中學(xué)習(xí)，需要處理更多的不確定性和噪聲。

這個(gè)發(fā)現(xiàn)對于設(shè)計(jì)有效的AI訓(xùn)練策略具有重要意義。它表明，在訓(xùn)練的早期階段，應(yīng)該優(yōu)先選擇那些結(jié)構(gòu)化程度較高、反饋機(jī)制較為直接的環(huán)境，讓AI智能體建立基礎(chǔ)的決策模式和信心。隨著訓(xùn)練的進(jìn)行，再逐步引入更復(fù)雜、更接近真實(shí)世界的環(huán)境，提高模型的適應(yīng)性和魯棒性。

研究團(tuán)隊(duì)還發(fā)現(xiàn)，模型規(guī)模和訓(xùn)練方法之間存在有趣的交互效應(yīng)。在結(jié)構(gòu)化環(huán)境中，一個(gè)經(jīng)過精心訓(xùn)練的小模型往往能夠超越簡單放大規(guī)模的大模型。這說明針對性的訓(xùn)練策略比單純的參數(shù)堆疊更加有效。但在開放性環(huán)境中，模型規(guī)模的作用變得更加重要，因?yàn)檫@些環(huán)境需要更豐富的知識儲備來處理各種可能的情況。

說到底，這項(xiàng)來自復(fù)旦大學(xué)的研究為我們打開了一扇通向智能AI的新大門。通過巧妙地結(jié)合漸進(jìn)式訓(xùn)練和多樣化環(huán)境，研究團(tuán)隊(duì)證明了一個(gè)小而精的AI模型完全可以和那些龐大的商業(yè)模型平起平坐，甚至在某些方面表現(xiàn)得更出色。

這個(gè)發(fā)現(xiàn)的意義遠(yuǎn)遠(yuǎn)超出了技術(shù)層面。它告訴我們，在AI發(fā)展的道路上，方法比規(guī)模更重要，策略比數(shù)據(jù)更關(guān)鍵。就像培養(yǎng)一個(gè)優(yōu)秀的學(xué)生，關(guān)鍵不在于給他灌輸更多的知識，而在于教會(huì)他如何思考、如何學(xué)習(xí)、如何在復(fù)雜的環(huán)境中做出明智的決策。

AgentGym-RL框架的開源發(fā)布也體現(xiàn)了研究團(tuán)隊(duì)的開放精神。他們不僅分享了研究成果，還提供了完整的代碼和數(shù)據(jù)集，讓全世界的研究者都能在這個(gè)基礎(chǔ)上進(jìn)行進(jìn)一步的探索和創(chuàng)新。這就像建造了一座橋梁，連接了學(xué)術(shù)研究和實(shí)際應(yīng)用，為AI智能體技術(shù)的普及和發(fā)展鋪平了道路。

當(dāng)我們展望未來時(shí)，這項(xiàng)研究提出的漸進(jìn)式訓(xùn)練理念可能會(huì)成為AI教育的標(biāo)準(zhǔn)模式。正如人類學(xué)習(xí)從簡單到復(fù)雜、從具體到抽象一樣，AI的學(xué)習(xí)過程也應(yīng)該遵循類似的規(guī)律。這不僅能夠提高訓(xùn)練效率，還能讓AI系統(tǒng)獲得更強(qiáng)的適應(yīng)性和創(chuàng)造性。

對于普通人來說，這項(xiàng)研究意味著我們很快就能看到更智能、更可靠的AI助手。它們不再是簡單的問答機(jī)器，而是真正能夠理解復(fù)雜任務(wù)、制定長期計(jì)劃、并在各種環(huán)境中靈活應(yīng)對的智能伙伴。從幫助我們?yōu)g覽復(fù)雜的網(wǎng)站，到協(xié)助進(jìn)行科學(xué)研究，這些AI智能體將在我們的日常生活中發(fā)揮越來越重要的作用。

更重要的是，這項(xiàng)研究展現(xiàn)了中國在AI基礎(chǔ)研究領(lǐng)域的實(shí)力和創(chuàng)新能力。復(fù)旦大學(xué)團(tuán)隊(duì)的工作不僅在技術(shù)上取得了突破，在研究方法和思路上也為國際AI社區(qū)貢獻(xiàn)了新的智慧。這讓我們有理由相信，在人工智能這個(gè)關(guān)鍵技術(shù)領(lǐng)域，中國正在從跟隨者變成引領(lǐng)者。

如果讀者對這項(xiàng)研究的技術(shù)細(xì)節(jié)感興趣，建議訪問項(xiàng)目的GitHub頁面（https://github.com/woooodyy/AgentGym-RL）獲取完整的代碼和數(shù)據(jù)集，或者查閱發(fā)表在arXiv平臺上的完整論文（編號：arXiv:2509.08755v1）進(jìn)行深入學(xué)習(xí)。

Q&A

Q1：AgentGym-RL框架是什么？它解決了什么問題？

A：AgentGym-RL是復(fù)旦大學(xué)開發(fā)的AI智能體訓(xùn)練框架，專門解決現(xiàn)有AI系統(tǒng)只能處理簡單單回合任務(wù)的局限性。該框架提供了網(wǎng)頁導(dǎo)航、深度搜索、數(shù)字游戲、具身任務(wù)和科學(xué)實(shí)驗(yàn)等五種訓(xùn)練環(huán)境，讓AI學(xué)會(huì)像人類一樣進(jìn)行長期規(guī)劃和多步?jīng)Q策，而不是僅僅做出即時(shí)反應(yīng)。

Q2：ScalingInter-RL訓(xùn)練方法有什么特別之處？

A：ScalingInter-RL采用漸進(jìn)式訓(xùn)練策略，就像教練訓(xùn)練運(yùn)動(dòng)員一樣從基礎(chǔ)開始。訓(xùn)練初期限制AI與環(huán)境的交互回合數(shù)，讓它專注于掌握基本技能和簡單任務(wù)；隨著訓(xùn)練進(jìn)行，逐步增加交互回合數(shù)，鼓勵(lì)A(yù)I進(jìn)行更復(fù)雜的探索和策略學(xué)習(xí)。這種方法解決了傳統(tǒng)強(qiáng)化學(xué)習(xí)訓(xùn)練不穩(wěn)定的問題，讓70億參數(shù)的小模型能夠匹敵千億參數(shù)的大型商業(yè)模型。

Q3：這項(xiàng)研究對普通人有什么實(shí)際意義？

A：這項(xiàng)研究將催生更智能的AI助手，它們能夠理解復(fù)雜任務(wù)、制定長期計(jì)劃并在各種環(huán)境中靈活應(yīng)對。未來我們可能會(huì)看到AI助手幫助處理復(fù)雜的網(wǎng)頁操作、協(xié)助進(jìn)行深度信息搜索、輔助科學(xué)研究等。更重要的是，這表明通過巧妙的訓(xùn)練方法，可以用相對較小的計(jì)算資源獲得強(qiáng)大的AI能力，這將降低AI技術(shù)的使用門檻，讓更多人受益。