這項由Nebius AI（前俄羅斯科技巨頭Yandex的AI部門）的Alexander Golubev領導的研究團隊完成，于2025年8月發(fā)表在arXiv預印本服務器上。研究詳細信息為arXiv:2508.03501v1，感興趣的讀者可以通過該編號在arXiv.org上搜索獲取完整論文。該研究還得到了Humanoid公司Boris Yangel的貢獻支持。

想象一下，如果有一個AI助手能夠像經驗豐富的程序員一樣，不僅能讀懂復雜的代碼，還能在遇到Bug時進行多輪調試，反復測試修改，直到問題完全解決——這聽起來是不是很像科幻電影里的場景？然而，Nebius AI的研究團隊剛剛把這個想象變成了現實。他們開發(fā)出了一個基于強化學習的軟件工程智能體，能夠在真實的GitHub項目中獨立解決復雜的編程問題。

這個研究之所以引人注目，是因為它解決了一個長期困擾AI開發(fā)者的核心難題。以往的AI編程助手大多只能處理"一問一答"式的簡單任務，就像一個只會背標準答案的學生。但真正的軟件開發(fā)工作卻更像是一場偵探游戲——你需要在龐大的代碼庫中尋找問題根源，嘗試不同的解決方案，觀察測試結果，然后根據反饋不斷調整策略。這種需要多輪互動、長時間專注的復雜任務，一直是AI的薄弱環(huán)節(jié)。

研究團隊以基礎模型Qwen2.5-72B-Instruct為起點，通過創(chuàng)新的強化學習訓練方法，將其在SWE-bench Verified基準測試中的成功率從20%大幅提升到39%。更令人印象深刻的是，這個智能體在處理真實軟件工程任務時，能夠管理長達13萬個標記的上下文信息，相當于同時記住幾十頁的技術文檔內容，并在數十輪的交互中保持清晰的邏輯思路。

這項突破的意義不僅在于技術層面的進步，更在于它為我們展現了AI在復雜、開放性任務中的巨大潛力。與依賴昂貴專有模型或需要強大"老師"模型指導的傳統(tǒng)方法不同，這個研究證明了開源模型同樣可以通過精心設計的訓練策略達到世界領先水平，為更廣泛的AI應用普及鋪平了道路。

**一、從"背書"到"解題"——AI編程助手的演進之路**

要理解這項研究的突破性意義，我們首先需要弄清楚傳統(tǒng)AI編程助手的局限性在哪里?？梢园岩酝腁I助手比作一個只會單次回答的"萬事通"——你問它一個編程問題，它會基于訓練數據給出一個答案，然后對話就結束了。這種模式在處理簡單的代碼生成或數學推理時表現不錯，但面對真實的軟件工程任務時就顯得力不從心了。

真實的軟件調試過程更像是在一個巨大的迷宮中尋找出路。程序員需要先理解問題描述，然后在成千上萬行代碼中定位可能的問題區(qū)域，嘗試修改，運行測試，觀察結果，再根據新的錯誤信息調整策略。這個過程可能需要幾十輪的試錯，每一步都建立在前面所有步驟的基礎之上。

研究團隊用專業(yè)術語將這種區(qū)別描述為"多臂老虎機問題"與"部分可觀察馬爾可夫決策過程"的差異。用通俗的話來說，前者就像是在一排老虎機前選擇拉哪一個，做一次決定就結束了；而后者則像是在玩一個復雜的策略游戲，你的每個行動都會影響游戲狀態(tài)，而你需要根據不斷變化的局面調整策略。

這種根本性差異帶來了幾個核心挑戰(zhàn)。首先是"長期記憶"問題——AI需要在整個調試過程中記住之前所有的操作和結果，就像一個偵探需要記住案件中的每個細節(jié)一樣。其次是"復雜反饋理解"問題——編譯器的錯誤信息、測試失敗的日志、代碼運行結果，這些都是需要AI正確解讀的重要信息。最后是"稀疏獎勵"問題——只有當所有測試都通過時AI才能知道自己成功了，這就像是在黑暗中摸索，只有到達終點才有一盞明燈告訴你走對了路。

傳統(tǒng)的訓練方法主要依賴三種策略。第一種是將復雜的腳手架系統(tǒng)與專有的大型語言模型結合，就像給一個聰明但昂貴的專家配備最好的工具。第二種是在推理時使用大量計算資源，讓模型嘗試多種可能性，有點像讓一個人同時走多條路徑來找到正確答案。第三種是使用更強大的"老師"模型生成示例數據來訓練較小的"學生"模型，這類似于讓優(yōu)等生的作業(yè)來教導普通學生。

然而，這些方法都存在明顯的局限性。它們要么成本高昂，要么嚴重依賴于專有模型，這就像是只有少數精英才能享用的奢侈品，無法普及到更廣泛的應用場景中。

**二、強化學習的魔法——讓AI在試錯中成長**

強化學習為解決這些問題提供了一個全新的思路，就像是教會AI如何通過實踐來學習，而不是僅僅記住標準答案。這個過程很像我們人類學習騎自行車或者學習做飯——通過不斷嘗試、犯錯、調整，最終掌握技能。

在軟件工程的語境下，研究團隊將每個調試任務建模為一個"部分可觀察馬爾可夫決策過程"。這聽起來很復雜，但實際概念很直觀。想象你是一個偵探，正在調查一個復雜案件。你無法直接看到案件的全貌（這就是"部分可觀察"），但你可以通過詢問證人、檢查證據、實地調研等行動來收集信息。每個行動都會為你提供新的線索，這些線索會影響你下一步的決策。你的最終目標是破案，但在破案之前，你無法確定自己是否走在正確的道路上。

在這個框架中，AI智能體需要處理幾個關鍵要素。環(huán)境狀態(tài)包括完整的軟件環(huán)境狀態(tài)，比如文件系統(tǒng)、源代碼和運行進程，這些就像是案發(fā)現場的所有物證。智能體的行動則是由大型語言模型生成的命令字符串，可能包含推理過程和工具調用，就像偵探的各種調查手段。觀察結果是命令執(zhí)行的輸出，通常包括標準輸出、標準錯誤和退出代碼，相當于調查行動得到的線索和反饋。

歷史記錄在這里扮演著至關重要的角色。由于大型語言模型具有自回歸特性，智能體的策略會根據完整的行動和觀察歷史來選擇下一個行動。這就像一個經驗豐富的偵探，會綜合考慮案件中的所有已知信息來制定下一步調查計劃。

研究團隊采用的強化學習算法是一個名為"去耦優(yōu)勢策略優(yōu)化"（DAPO）的改進版本。這個算法的核心思想是摒棄傳統(tǒng)強化學習中復雜的價值函數估計，轉而使用一種更直接的方法來評估行動的好壞。

具體來說，傳統(tǒng)的PPO算法需要訓練一個額外的"評價者"網絡來預測每個行動的價值，這就像是需要一個專門的顧問來告訴偵探每個調查方向的可能性有多大。但DAPO算法采用了一種更簡潔的方法——它通過比較同一個初始狀態(tài)下多個不同嘗試的最終結果來判斷策略的好壞。

這個過程可以這樣理解：對于同一個編程問題，AI會同時嘗試10種不同的解決方案。完成后，算法會計算這10次嘗試的平均成功率，然后用每次嘗試的實際結果與這個平均值進行比較。表現好于平均水平的嘗試會被視為"正面示例"，其對應的行動序列會在訓練中得到強化。反之，表現低于平均水平的嘗試則會被抑制。

研究團隊在DAPO的基礎上進行了幾項重要改進，使其更適應軟件工程任務的特點。首先是"非對稱裁剪"策略，這就像是在鼓勵探索新方法時比懲罰錯誤方法時更加寬松一些，避免AI過于保守而缺乏創(chuàng)新。其次是"動態(tài)采樣"機制，會自動過濾掉那些沒有學習價值的樣本，專注于真正能夠提供學習信號的經驗。第三是"軟長度懲罰"，當AI的回答過于冗長時會給予適度懲罰，鼓勵更加簡潔高效的解決方案。最后是"令牌級損失"計算，確保訓練過程中每個令牌都能平等地貢獻到學習中。

**三、智能體的工具箱——從命令行到代碼編輯的全能武器**

要讓AI智能體能夠像真正的程序員一樣工作，它需要掌握各種各樣的工具，就像一個裝備齊全的工匠需要錘子、鋸子、螺絲刀等各種工具一樣。研究團隊為智能體配備了一套完整的軟件開發(fā)工具包，讓它能夠在真實的編程環(huán)境中游刃有余地操作。

智能體的交互方式采用了ReAct風格的循環(huán)結構，這種方法的核心思想是"推理-行動-觀察"的循環(huán)。具體來說，智能體首先會分析當前情況并推理下一步應該做什么，然后執(zhí)行相應的行動，最后觀察行動的結果，再基于新的信息進行下一輪推理。這個過程很像一個經驗豐富的程序員調試代碼時的思維過程——分析問題、嘗試解決方案、查看結果、調整策略。

在工具配置方面，智能體擁有多種類型的操作能力。最基礎的是任意shell命令執(zhí)行能力，包括ls（列出文件）、cat（查看文件內容）、grep（搜索文本）等常用命令。這些工具就像是程序員的基本技能，讓智能體能夠瀏覽文件系統(tǒng)、查看代碼內容、搜索關鍵信息。

特別重要的是edit命令，這是一個專門設計的代碼編輯工具。它允許智能體精確地替換文件中指定行范圍的內容，并要求智能體提供正確縮進的替換文本。這個工具可以操作當前打開的文件，也可以指定文件路徑來編輯其他文件。這就像給智能體配備了一個精密的代碼編輯器，能夠進行準確的代碼修改。

除了基礎工具，智能體還擁有自定義的搜索和導航工具，比如search_file（在文件中搜索）、open（打開文件）、goto（跳轉到指定位置）等。這些工具讓智能體能夠高效地在大型代碼庫中導航，快速定位到相關代碼段。

最后，submit命令標志著智能體認為已經完成了任務。這個命令不需要任何參數，一旦執(zhí)行就會終止當前的調試會話。這就像程序員完成代碼修改后提交代碼一樣，表示認為問題已經解決。

整個工具系統(tǒng)的設計哲學是盡可能模擬真實程序員的工作流程。每個SWE任務都包含一個GitHub風格的問題描述、一個用于驗證最終補丁正確性的失敗測試套件，以及一個從倉庫快照初始化的沙盒環(huán)境。智能體需要在這個完全真實的環(huán)境中工作，面對的挑戰(zhàn)和約束與人類程序員完全相同。

這種設計的優(yōu)勢在于確保了實驗結果的真實性和可靠性。智能體不是在一個簡化或模擬的環(huán)境中工作，而是在真正的軟件項目中處理真實的問題。這就像是讓一個機器人在真實的廚房里學會做菜，而不是在虛擬的游戲環(huán)境中練習，這樣學到的技能才能真正應用到實際工作中。

**四、數據為王——精心篩選的訓練素材**

就像烹飪需要優(yōu)質食材一樣，訓練高效的AI智能體同樣需要精心篩選的數據。研究團隊從公開的SWE-REBENCH數據集出發(fā)，這個數據集包含了21,336個任務，覆蓋了大約3,400個Python GitHub倉庫。但是，并非所有數據都適合用于訓練，就像不是所有食材都適合做同一道菜一樣。

數據篩選過程就像一個嚴格的質檢流程。研究團隊制定了多重篩選標準來確保訓練數據的質量和穩(wěn)定性。首先是任務正確性篩選，他們移除了那些因無效引用或導入錯誤而導致測試失敗的任務，比如AttributeError或ImportError。這些問題通常需要智能體去猜測特定的標識符名稱，這種任務更像是"盲目猜測"而非"邏輯推理"，對提高智能體的實際編程能力幫助有限。

復雜度控制是另一個重要篩選維度。研究團隊只保留了那些修改不超過7個文件且代碼更改少于500行的任務。這個限制很像是選擇適中難度的練習題——太簡單的話學不到東西，太復雜的話又容易讓學習者迷失方向。通過控制復雜度，智能體可以在合理的上下文長度內處理完整的任務。

特別有趣的是，研究團隊還引入了LLM輔助的質量評估。他們利用大型語言模型對任務的質量進行評分，并移除了那些被評為3.0分（滿分5分）的任務。這些低分任務通常存在問題描述不清、任務過于復雜或測試補丁有缺陷等問題。這就像是請一位經驗豐富的老師來預先篩選練習題，確保學生不會在質量有問題的題目上浪費時間。

確定性測試篩選可能是最嚴格的標準之一。研究團隊對每個任務的測試進行了50次重復執(zhí)行，移除了那些表現出不一致行為的任務。這種"不確定性"主要由外部服務調用或浮點數精度問題引起。想象一下，如果你在練習數學題，但答案每次都不一樣，那你就無法判斷自己的解法是否正確。穩(wěn)定的測試結果對于強化學習至關重要，因為算法需要可靠的反饋信號來判斷策略的好壞。

經過這一系列嚴格篩選后，研究團隊從原始的21,336個任務中精選出了7,249個高質量任務用于訓練。這個篩選比例（約34%）體現了團隊對數據質量的重視——他們寧愿使用較少但高質量的數據，也不愿意用大量但質量參差不齊的數據來訓練模型。

在評估方面，研究團隊使用了多個基準測試來確保結果的可靠性。標準的SWE-BENCH VERIFIED基準測試用于最終性能評估，這是一個包含500個問題的嚴格測試集。為了加速中間評估過程，他們還創(chuàng)建了一個包含50個問題的隨機子集（VERIFIED-50），用于快速監(jiān)控訓練進度。此外，他們還使用了SWE-REBENCH的最新月度分片（5月和6月），這些數據不包含在訓練集中，確保了評估的公平性和去污染性。

這種細致入微的數據準備工作雖然看似繁瑣，但卻是成功的關鍵基礎。就像建造高樓大廈需要堅實的地基一樣，訓練高性能的AI智能體同樣需要高質量、經過精心篩選的訓練數據。這個過程體現了研究團隊嚴謹的科學態(tài)度和對細節(jié)的關注。

**五、兩階段訓練策略——從新手到專家的進階之路**

整個訓練過程被精心設計為兩個階段，就像培養(yǎng)一個程序員新手成為專家的完整過程。這種漸進式的訓練策略確保了模型能夠穩(wěn)步提升，避免了一步登天可能帶來的不穩(wěn)定性。

第一階段被稱為"拒絕微調"（RFT），這個階段的目標是讓基礎模型學會正確使用工具和遵循指令格式。想象一下教一個完全沒有編程經驗的新人，首先要教他如何使用開發(fā)環(huán)境、如何執(zhí)行命令、如何編輯文件，這些基礎技能必須熟練掌握，才能進入更高層次的問題解決。

研究團隊從開源的Qwen2.5-72B-Instruct模型開始。這個模型雖然在一般任務上表現不錯，但在SWE-BENCH VERIFIED上只能達到大約11%的成功率。更嚴重的是，它在指令遵循方面存在明顯問題，經常生成格式錯誤的命令，無法與編程環(huán)境正確交互。

拒絕微調的過程很像是一個嚴格的篩選和強化訓練。研究團隊讓初始模型在7,249個SWE-REBENCH任務上各嘗試10次，然后只保留那些補丁成功通過測試的軌跡。這個過程產生了6,548個成功軌跡，相當于從大量嘗試中篩選出了"優(yōu)秀作業(yè)"。

特別巧妙的是，在監(jiān)督學習過程中，研究團隊對每個觸發(fā)環(huán)境格式錯誤的智能體回合進行了掩碼處理，這樣模型就只會從有效的行動中學習，而不會強化錯誤的行為模式。這就像是在批改作業(yè)時，只關注正確的解題步驟，而忽略那些明顯錯誤的部分。經過這個階段的訓練，模型的準確率從11%提升到了20%，同時在工具使用方面變得更加規(guī)范。

第二階段是真正的強化學習訓練，這個階段讓智能體通過與環(huán)境的反復交互來學習最優(yōu)策略。整個過程采用迭代循環(huán)的方式，每次迭代都包含幾個關鍵步驟。

首先是問題采樣，系統(tǒng)會從訓練池中選擇一個問題子集。接著是軌跡生成階段，智能體會使用當前策略為每個問題生成10個完整的解決軌跡。然后是獎勵計算，系統(tǒng)會結合二進制成功獎勵和軌跡長度懲罰來計算最終獎勵。優(yōu)勢估計步驟會在每個10樣本組內對獎勵進行平均化和歸一化處理，同時丟棄優(yōu)勢為零的樣本。最后是優(yōu)化步驟，使用DAPO的裁剪令牌級目標來更新模型的所有參數。

訓練過程被進一步分為兩個子階段，以適應不同的復雜度需求。第一個子階段使用65k的上下文長度，這已經超過了大多數開源大型語言模型的默認32k限制，但對于包含長堆棧跟蹤或diff歷史的倉庫來說仍然不夠。當性能在大約32%處遇到瓶頸時，研究團隊切換到第二個子階段。

第二個子階段將上下文窗口擴展到131k，并將最大智能體回合數從40翻倍到80。這種擴展就像給程序員提供了更大的工作空間和更充足的時間，讓他們能夠處理更復雜的問題。為了確保在更長上下文設置下的穩(wěn)定更新，研究團隊還調整了訓練超參數，包括降低高裁剪邊界、增加批量大小、減少每次迭代采樣的實例數量，使訓練更接近在線策略模式。

階段間轉換時，研究團隊還進行了一次巧妙的課程調整，通過刷新訓練池來優(yōu)化訓練效率。他們定義了任務的累積解決率（即該任務在所有先前訓練迭代中的成功率），然后移除了累積解決率超過2/3的任務（表示可以可靠解決）和保持為零的任務（表示可能無法解決）。這種篩選策略將訓練池從7,249個任務減少到2,028個任務，讓智能體能夠專注于那些最有學習價值的中等難度問題。

第二階段的訓練將性能進一步提升到39.0%。在保留的SWE-REBENCH評估集上，智能體在5月分片上達到35.0%，在6月分片上達到31.7%。特別值得注意的是，最終Pass@1分數（39.0%）和Pass@10分數（58.4%）之間的顯著差距表明，雖然智能體的單次最佳猜測可能不正確，但有效解決方案經常存在于其前幾個提案中。這意味著通過重新排序或最佳n選擇機制進一步提升性能具有強大潛力。

**六、實驗成果與性能對比——數字背后的突破意義**

當我們審視實驗結果時，那些看似冰冷的數字背后蘊含著深刻的技術突破意義。研究團隊的兩階段訓練程序帶來了實質性的改進，每個階段都有其獨特的貢獻和價值。

首先讓我們看看整體性能提升的軌跡。基礎的Qwen2.5-72B-Instruct模型在SWE-BENCH VERIFIED上的初始表現只有11.42%，這個數字雖然不算太低，但距離實用還有相當距離。經過拒絕微調后，性能提升到20.46%，幾乎翻了一倍。這個提升主要來自于模型學會了正確使用工具和遵循指令格式，就像一個新手程序員掌握了基本的開發(fā)環(huán)境操作。

真正令人印象深刻的是強化學習階段的效果。第一個RL階段將性能推高到35.74%，這是一個質的飛躍。第二個RL階段進一步達到39.04%，雖然增幅相對較小，但考慮到是在更長的上下文和更復雜的任務設置下實現的，這個提升同樣具有重要意義。

為了更客觀地評估這些成果，研究團隊與多個先進的開源模型進行了對比測試。在相同的環(huán)境和工具設置下，他們測試了DeepSeek-V3-0324、Llama-4 Maverick、Qwen3-235B no-thinking和Qwen3-32B no-thinking等模型。

對比結果顯示，研究團隊的最終模型與DeepSeek-V3-0324的性能基本持平，在SWE-BENCH VERIFIED上分別為39.04%和39.56%，差距微乎其微?？紤]到DeepSeek-V3是一個更新、更大的模型，這個結果證明了強化學習訓練策略的有效性。更重要的是，在SWE-REBENCH的5月分片上，研究團隊的模型實際上略優(yōu)于DeepSeek-V3（35.00% vs 36.75%），在6月分片上也基本持平（31.71% vs 31.46%）。

與其他開源模型相比，優(yōu)勢更加明顯。Qwen3-235B no-thinking在SWE-BENCH VERIFIED上只達到25.84%，遠低于研究團隊的39.04%。即使是同樣基于Qwen架構的Qwen3-32B no-thinking也只有20.40%，幾乎是研究團隊模型的一半。

特別值得關注的是Pass@10指標，這個指標衡量的是在10次嘗試中至少成功一次的概率。研究團隊的模型在這個指標上達到了58.4%，與39.04%的Pass@1形成鮮明對比。這個差距揭示了一個重要信息：雖然模型的第一次嘗試可能不夠完美，但它確實具備了解決問題的能力，只是需要多次嘗試來找到正確答案。這就像一個有經驗但不夠自信的程序員，雖然第一次提出的方案可能不是最佳的，但在幾次嘗試中總能找到正確的解決方案。

為了更全面地評估研究成果，團隊還與專門針對軟件工程任務優(yōu)化的其他AI智能體進行了比較。這些專業(yè)化的智能體大多采用了教師模型蒸餾的方法，即使用更強大的模型生成示例數據來訓練較小的模型。

對比結果顯示，雖然一些使用教師蒸餾方法的模型（如SWE-agent-LM-32B的40.2%）略優(yōu)于研究團隊的模型，但考慮到研究團隊的方法完全不依賴教師模型，這個差距是可以接受的。更重要的是，許多使用教師蒸餾的方法（如SWE-Gym-32B的20.6%、SWESynInfer-72B的30.2%）的性能反而不如研究團隊的純強化學習方法。

這些對比結果的意義不僅在于數字本身，更在于它們驗證了一個重要觀點：強化學習可以作為一種獨立有效的訓練策略，不需要依賴昂貴的專有模型或復雜的教師蒸餾過程。這為開源AI模型的發(fā)展開辟了一條新的道路，讓更多研究者和開發(fā)者能夠以相對較低的成本訓練出高性能的AI智能體。

**七、訓練細節(jié)與基礎設施——支撐突破的技術基石**

要實現如此出色的性能，僅僅有好的算法是不夠的，還需要精心設計的基礎設施和訓練配置來支撐整個過程。研究團隊在這方面的投入和細節(jié)把控同樣令人印象深刻。

整個訓練過程采用了完全同步的強化學習框架，這意味著推理和訓練階段是交替進行的。一旦軌跡生成完成，這些數據就會立即用于訓練。這種設置雖然可能不如異步框架那樣具有擴展性，但它確保了完全在線策略的訓練，沒有采樣和更新之間的策略滯后問題。就像一個學生做完練習題后立即得到反饋并調整學習方法，而不是等到很久以后才知道對錯。

同步框架的一個主要挑戰(zhàn)是"拖后腿者"問題。由于每次生成迭代的時間由單個最慢的軌跡完成時間決定，這可能會降低整體吞吐量。想象一個團隊項目，整個團隊的進度都要等最慢的成員完成他的部分。但研究團隊認為，為了保證訓練質量，這種效率上的權衡是值得的。

在硬件配置方面，研究團隊使用了16個H200節(jié)點來支持全參數訓練和最長131k令牌的序列處理。為了處理如此長的序列，他們采用了上下文并行技術，將長序列分割到多個GPU上處理。這就像是讓多個人同時閱讀一本厚書的不同章節(jié)，然后整合信息來理解全文。

推理參數的設置體現了研究團隊的細致考慮。在軌跡生成過程中，模型使用1.0的溫度參數運行，并明確禁用了所有其他解碼參數，如top p、top k、min p、重復懲罰等。這確保了無偏采樣，這對強化學習訓練中使用的重要性采樣比率的有效性至關重要。

這個看似技術性的細節(jié)實際上蘊含著深刻的理論考量。DAPO算法依賴于重要性采樣比率來權衡優(yōu)勢項，這只有在軌跡確實從舊策略中采樣時才有效。使用不同的解碼參數相當于從修改后的分布中采樣，這會使比率成為不正確的估計器，導致有偏的梯度更新。研究團隊在訓練過程中曾經遇到過這個問題——當他們升級vLLM運行時版本時，新版本默認啟用了top k和min p參數，雖然初期評估指標有所改善，但5到10次訓練迭代后性能開始下降。一旦恢復到正確的采樣配置，穩(wěn)定性就恢復了。

訓練超參數的配置同樣經過了精心調整。拒絕微調階段使用65k上下文長度進行一個epoch的訓練，學習率為5×10^-6，使用AdamW優(yōu)化器，權重衰減為0.1，預熱步數為10，以及余弦衰減調度器。批量大小為64，總共進行50個梯度更新步驟。

強化學習階段的超參數在兩個階段之間有所不同，以適應不同的復雜性需求。兩個階段都使用梯度裁剪值1.0、AdamW優(yōu)化器（β1=0.9，β2=0.999，ε=1×10^-8，權重衰減0.1）、學習率10^-6和1個epoch。但在問題采樣數量、總問題池、批量大小和裁剪范圍方面存在差異，第二階段采用更保守的設置來確保長上下文訓練的穩(wěn)定性。

為了處理Qwen2.5-72B-instruct模型在131k上下文長度下的訓練和推理，研究團隊使用了YaRN位置編碼，因子設為4.0。這種技術允許模型處理比訓練時更長的序列，就像給模型配備了更強的"記憶力"來處理更復雜的任務。

基礎設施的另一個重要組成部分是評估系統(tǒng)。為了確保結果的可靠性，所有Pass@1指標都在10次獨立運行中進行平均，并報告平均值的標準誤差。這種嚴格的統(tǒng)計處理確保了實驗結果的可重現性和可信度。

整個分布式智能體執(zhí)行和評估流水線都是通過Kubernetes和Tracto AI在規(guī)模上協(xié)調的。主要計算單元是配備8個H200 GPU、32個CPU和960 GiB CPU RAM的pod。在這個環(huán)境中，模型訓練使用基于JAX構建的內部框架進行，而推理則使用vLLM框架加速，版本為0.7.4。

這些看似技術性的細節(jié)實際上是整個研究成功的重要基石。沒有穩(wěn)定可靠的基礎設施，再好的算法也無法發(fā)揮其真正潛力。研究團隊在這方面的投入體現了嚴謹的科學態(tài)度和對技術細節(jié)的深度關注。

**八、關鍵發(fā)現與經驗教訓——避開訓練過程中的陷阱**

在長達數月的訓練過程中，研究團隊遇到了許多意想不到的挑戰(zhàn)，這些經歷不僅讓他們學到了寶貴經驗，也為后續(xù)研究者提供了重要的指導。這些發(fā)現往往比最終結果更有價值，因為它們揭示了在復雜AI系統(tǒng)訓練中容易忽視但至關重要的細節(jié)。

其中一個最重要的發(fā)現涉及數據過濾策略。在數據集準備階段，一個常見做法是過濾或掩蓋那些超出模型最大上下文長度的軌跡。這種做法的初衷是減少獎勵噪聲，聽起來很合理。然而，研究團隊發(fā)現這種看似合理的做法必須謹慎應用，否則可能引入意想不到的偏差。

問題的根源在于，人為設計的啟發(fā)式規(guī)則可能會破壞訓練數據與正在優(yōu)化的策略分布相同的假設。在軟件工程任務中，那些超長的軌跡往往發(fā)生在智能體陷入重復循環(huán)時。通過丟棄這些軌跡，系統(tǒng)實際上也丟棄了這種失敗模式的具體負面示例。結果是，智能體沒有因為這種循環(huán)行為而受到懲罰，也就無法學會如何跳出這樣的循環(huán)，這反而可能導致訓練過程中這種現象更頻繁地發(fā)生。

這個發(fā)現提醒我們，在機器學習中，"常識性"的數據處理方法有時可能適得其反。就像教育孩子時，如果我們總是隱藏失敗的例子，孩子就無法學會如何處理挫折和錯誤。AI的學習過程也是如此，它需要從失敗的經歷中學習，而不是被保護得太好。

另一個微妙但重要的不穩(wěn)定性與采樣和訓練之間的差異有關。在訓練過程中期，研究團隊升級了vLLM運行時，這個升級引入了解碼參數的內部變化，默認啟用了top k和min p參數。雖然這個變化最初改善了評估指標，但經過5到10次訓練迭代后性能開始下降。

這個問題的根本原因是DAPO算法依賴于重要性采樣比率來權衡優(yōu)勢項。這個比率只有在軌跡確實從舊策略中采樣時才有效。使用不同的解碼參數相當于從修改后的分布中采樣，使得比率成為不正確的估計器，從而導致有偏的梯度更新。

這個經歷強調了在強化學習訓練中保持采樣一致性的重要性。即使是看似微小的技術變化也可能對訓練穩(wěn)定性產生深遠影響。這就像在烹飪中，即使是微小的溫度變化也可能影響最終的味道。在復雜的AI系統(tǒng)中，每個組件都緊密相連，任何微小的變化都可能傳播到整個系統(tǒng)。

研究團隊還觀察到了上下文長度對性能的重要影響。當他們從65k上下文長度切換到131k時，不僅需要調整上下文窗口，還需要相應調整其他多個超參數，包括降低高裁剪邊界、增加批量大小、減少每次迭代采樣的實例數量。這些調整是相互關聯的，每一個都影響訓練的穩(wěn)定性和效果。

特別是在長上下文設置中，模型需要處理更多信息，這增加了訓練的復雜性。就像讓一個學生同時記住更多信息一樣，需要調整學習方法和節(jié)奏來適應增加的認知負擔。研究團隊發(fā)現，簡單地增加上下文長度而不調整其他參數會導致訓練不穩(wěn)定，只有通過系統(tǒng)性的超參數調整才能實現穩(wěn)定的長上下文訓練。

課程學習的效果也值得特別關注。當研究團隊在階段轉換時刷新訓練池，移除那些累積解決率過高或為零的任務時，訓練效率顯著提升。這種方法讓智能體能夠專注于最有學習價值的中等難度問題，避免在已經掌握的簡單任務或暫時無法解決的困難任務上浪費計算資源。

這個策略的成功說明了適應性課程設計的重要性。就像教育中需要根據學生的學習進度調整教學內容一樣，AI訓練也需要動態(tài)調整訓練任務的難度和類型。靜態(tài)的訓練集可能導致效率低下，而動態(tài)調整的訓練策略能夠最大化學習效果。

這些發(fā)現和經驗教訓不僅對當前研究有價值，也為未來在類似任務上應用強化學習提供了重要指導。它們提醒我們，成功的AI訓練不僅需要好的算法，還需要對訓練過程中各種細節(jié)的深度理解和細致控制。

**九、未來展望與潛在應用——開啟AI編程助手的新時代**

這項研究的意義遠遠超出了技術論文本身，它為AI在復雜、開放性任務中的應用開辟了新的可能性。研究團隊在論文中坦誠地討論了當前方法的局限性，并提出了幾個值得深入探索的研究方向。

稀疏獎勵和信用分配問題是當前最大的挑戰(zhàn)之一。智能體只在長軌跡結束時收到單一的二進制成功信號，這使得準確識別序列中哪些特定行動對最終結果至關重要變得困難。這就像一個學生在期末考試后才知道自己整學期的學習效果，無法及時調整學習策略。將單一優(yōu)勢估計廣播到數千個前置令牌可能導致噪聲和低效的策略更新。

研究團隊提出了幾種可能的解決方案。第一種是獎勵塑形，即基于通過部分測試或減少編譯器錯誤等信號設計中間獎勵。這就像在長期目標的路上設置一些里程碑，讓智能體能夠獲得更及時的反饋。第二種是訓練輔助評價網絡或價值頭來提供步驟級別的優(yōu)勢估計，實現更精細的更新。第三種是前綴采樣，即從共享的非空軌跡前綴開始進行推出，以更好地隔離后續(xù)決策的影響。

不確定性和風險意識是另一個重要的研究方向。當前基于二進制成功的獎勵目標鼓勵智能體"不惜一切代價"提交補丁，這導致它即使在解決方案不太可能成功時也會表現得很自信。對于現實世界的部署，智能體必須學會識別何時應該放棄嘗試。

這需要更好的不確定性估計能力，比如訓練模型明確輸出置信度分數，或使用策略輸出的熵作為不確定性的代理。這樣的估計將支持精確度-召回率權衡，允許智能體決定何時停止或為最佳n選擇應用更多計算，而無需外部結果監(jiān)督模型。

研究的技術創(chuàng)新也指向了更廣闊的應用前景。強化學習在多輪、長上下文任務中的成功應用證明了這種方法的普適性。除了軟件工程，類似的方法可能適用于其他需要復雜推理和多步驟執(zhí)行的領域，如科學研究助手、法律文檔分析、復雜數據分析等。

特別值得關注的是，這項研究證明了開源模型通過精心設計的訓練策略可以達到與專有模型相媲美的性能。這為AI技術的民主化提供了重要支持，讓更多研究者和開發(fā)者能夠以相對較低的成本開發(fā)高性能的AI應用。

在實際應用層面，這種智能體技術的成熟將可能帶來軟件開發(fā)流程的根本性變化。程序員可能不再需要花費大量時間在重復性的調試工作上，而可以更多地專注于架構設計、需求分析和創(chuàng)新性問題解決。這種變化類似于自動化測試工具的普及——它們沒有取代程序員，而是讓程序員能夠專注于更高價值的工作。

從教育角度來看，這種技術也可能改變編程教育的方式。學生可以通過與AI智能體的交互來學習調試技巧和問題解決策略，就像有一個經驗豐富的導師隨時提供指導。這種個性化的學習體驗可能比傳統(tǒng)的課堂教學更加有效。

然而，研究團隊也清醒地認識到當前方法的局限性。訓練過程仍然需要大量計算資源，雖然比依賴專有模型的方法更經濟，但對于許多研究者來說仍然是一個門檻。此外，當前的評估主要集中在Python項目上，對其他編程語言和更大規(guī)模項目的適用性還需要進一步驗證。

安全性和可靠性也是需要持續(xù)關注的問題。雖然智能體在測試環(huán)境中表現良好，但在生產環(huán)境中部署時可能面臨更復雜的挑戰(zhàn)。如何確保智能體的決策是安全的、可解釋的，以及如何處理邊界情況，這些都是實際應用中必須解決的問題。

展望未來，這項研究開啟了AI智能體發(fā)展的新篇章。隨著訓練方法的進一步改進、計算資源的降低以及應用場景的擴展，我們可能很快就會看到這種技術在各種實際場景中的廣泛應用。這不僅會改變我們工作的方式，也會為解決人類面臨的各種復雜問題提供新的工具和思路。

**十、技術突破的深層意義——從工具到伙伴的轉變**

當我們站在更高的視角審視這項研究時，會發(fā)現它所代表的不僅僅是一個技術指標的提升，而是AI發(fā)展道路上的一個重要里程碑。這個里程碑標志著AI從簡單的"工具"向真正的"協(xié)作伙伴"邁出了實質性的一步。

傳統(tǒng)的AI應用大多遵循"輸入-處理-輸出"的簡單模式，就像一個功能強大但被動的工具。無論是搜索引擎、翻譯軟件還是圖像識別系統(tǒng)，它們都是等待人類提供輸入，然后給出相應結果。這種模式雖然實用，但本質上還是人類主導、AI輔助的關系。

然而，這項研究中的智能體展現出了完全不同的特質。它能夠主動探索問題空間，制定解決策略，從錯誤中學習，并持續(xù)調整行動方案。更重要的是，它能夠在沒有人類直接指導的情況下，通過與環(huán)境的交互來完成復雜任務。這種能力讓它更像一個能夠獨立思考和行動的合作伙伴。

這種轉變的技術基礎是多方面的。長上下文處理能力讓智能體能夠"記住"整個任務過程中的所有細節(jié)，這類似于人類專家在處理復雜問題時的持續(xù)注意力。多輪交互能力讓它能夠將大問題分解為小步驟，逐步推進，這體現了系統(tǒng)性問題解決的思維方式。強化學習機制讓它能夠從經驗中學習，不斷改進策略，這正是智能行為的核心特征。

從軟件工程的角度來看，這種智能體的出現可能預示著開發(fā)模式的根本性變革。傳統(tǒng)的軟件開發(fā)通常需要程序員具備深厚的技術背景，從需求分析到代碼實現的每個環(huán)節(jié)都需要專業(yè)知識。但隨著AI智能體能力的提升，我們可能會看到一種更加協(xié)作式的開發(fā)模式。

在這種新模式下，人類開發(fā)者更多地扮演架構師和產品經理的角色，負責定義需求、設計系統(tǒng)架構、制定技術方向。而AI智能體則承擔更多的具體實現工作，包括代碼編寫、調試、測試、優(yōu)化等。這種分工讓人類能夠專注于創(chuàng)造性和戰(zhàn)略性工作，而將重復性和技術性任務交給AI處理。

這種協(xié)作模式的優(yōu)勢是顯而易見的。開發(fā)效率的提升是最直接的好處——AI智能體不會疲勞，不需要休息，可以24小時不間斷地工作。代碼質量的改善也是可以預期的結果——AI不會因為疲勞或情緒而犯低級錯誤，能夠更加一致地遵循編碼規(guī)范。知識傳承的問題也可能得到緩解——AI智能體可以快速學習和應用最佳實踐，不會因為人員流動而丟失寶貴經驗。

然而，這種轉變也帶來了新的挑戰(zhàn)和考慮。首先是技能要求的變化。程序員可能需要更多地學習如何與AI協(xié)作，如何有效地向AI傳達需求和意圖，如何評估和改進AI的工作成果。這需要一套全新的技能體系和工作方法。

其次是責任和信任的問題。當AI智能體承擔更多的實際工作時，如何確保代碼質量和系統(tǒng)安全？如何在出現問題時追究責任？如何建立對AI生成代碼的適當信任級別？這些都是需要深入思考和解決的問題。

第三是創(chuàng)新和創(chuàng)造力的平衡。雖然AI在處理標準化任務方面表現出色，但在創(chuàng)新性解決方案和突破性思維方面，人類仍然具有獨特優(yōu)勢。如何在提高效率的同時保持創(chuàng)新活力，避免過度依賴AI而喪失創(chuàng)造性思維能力，這是一個需要謹慎處理的平衡問題。

從更廣闊的社會影響角度來看，這種AI能力的提升也可能改變整個技術行業(yè)的格局。一方面，它可能降低軟件開發(fā)的門檻，讓更多非技術背景的人能夠參與到軟件創(chuàng)建中來。另一方面，它也可能改變技術人才的需求結構，對傳統(tǒng)編程技能的需求可能下降，而對系統(tǒng)設計、產品思維、AI協(xié)作能力的需求可能上升。

教育體系也需要相應調整。計算機科學教育可能需要更多地強調系統(tǒng)思維、問題分解、人機協(xié)作等方面，而不是僅僅專注于編程語法和算法實現。這種變化已經在一些前瞻性的教育機構中開始出現。

最終，這項研究所展現的不僅僅是技術的進步，更是人類與AI關系演進的一個重要節(jié)點。我們正在從"人類使用AI工具"向"人類與AI協(xié)作"轉變，這種轉變將重新定義工作的性質、技能的價值以及創(chuàng)新的模式。雖然這個過程中會有挑戰(zhàn)和不確定性，但它也為解決復雜問題和提升人類能力提供了前所未有的機會。

說到底，Nebius AI研究團隊的這項工作證明了一個重要觀點：AI的真正價值不在于替代人類，而在于增強人類的能力，讓我們能夠處理更復雜的挑戰(zhàn)，創(chuàng)造更大的價值。當AI智能體能夠像經驗豐富的程序員一樣進行多輪調試和問題解決時，我們看到的不是人類的被替代，而是人機協(xié)作新時代的開啟。這個時代將為軟件開發(fā)乃至整個技術創(chuàng)新領域帶來深遠而積極的影響。

Q&A

Q1：這個Nebius AI的軟件工程智能體具體能做什么？

A：這個智能體能夠像真正的程序員一樣獨立調試代碼。它可以讀懂GitHub上的問題描述，在復雜的代碼庫中尋找bug位置，使用各種工具（如命令行、代碼編輯器）進行修復，運行測試查看結果，然后根據反饋繼續(xù)調整，直到所有測試通過。整個過程可能需要幾十輪交互，智能體能夠記住所有之前的操作和結果。

Q2：強化學習訓練方法相比傳統(tǒng)方法有什么優(yōu)勢？

A：傳統(tǒng)方法通常需要昂貴的專有模型或者強大的"老師"模型來生成訓練數據，成本高且依賴性強。而這項研究的強化學習方法讓AI通過自己與環(huán)境交互來學習，就像人類通過實踐掌握技能一樣。它不需要老師模型，完全依靠開源模型，將Qwen2.5-72B的成功率從20%提升到39%，達到了與昂貴專有模型相媲美的性能。

Q3：這種AI智能體什么時候能普及應用到實際軟件開發(fā)中？

A：雖然研究結果令人鼓舞，但目前還存在一些限制。訓練仍需要大量計算資源（16個H200節(jié)點），主要在Python項目上測試，對其他編程語言的適用性還需驗證。不過考慮到技術發(fā)展速度和成本下降趨勢，預計在未來2-3年內，我們可能會看到類似技術在實際開發(fā)環(huán)境中的試點應用，特別是在代碼調試和維護等重復性任務上。