這項由Scale AI公司的鄧翔、杰夫·達等十多位研究人員共同完成的研究發(fā)表于2025年9月，論文編號為arXiv:2509.16941v1。有興趣深入了解的讀者可以通過該編號查詢完整論文。

在人工智能快速發(fā)展的今天，我們經(jīng)常聽到AI編程助手能夠幫助程序員寫代碼、修復bug。但這些AI助手真的能勝任真正的企業(yè)級軟件開發(fā)工作嗎？Scale AI的研究團隊帶著這個疑問，創(chuàng)建了一個全新的測試平臺——SWE-Bench Pro，專門用來檢驗AI編程助手在面對真實企業(yè)級編程任務時的表現(xiàn)。

這個研究的背景其實很有趣。目前最流行的AI編程測試平臺叫做SWE-Bench，就像是給AI編程助手出的"期末考試"。但研究團隊發(fā)現(xiàn)，現(xiàn)在最先進的AI模型在這個考試中已經(jīng)能拿到70%以上的高分。這就像一個學生在模擬考試中總是考滿分，但真正上了工作崗位卻發(fā)現(xiàn)實際工作比考試難得多。

Scale AI團隊意識到，現(xiàn)有的測試可能太簡單了，無法真正反映企業(yè)級軟件開發(fā)的復雜性。真正的企業(yè)軟件開發(fā)往往需要修改多個文件、涉及數(shù)百行代碼變更，而且需要處理復雜的業(yè)務邏輯。就像烹飪一樣，在家做個簡單的蛋炒飯和在五星級酒店準備一桌滿漢全席完全是兩個難度級別。

為了解決這個問題，研究團隊設計了SWE-Bench Pro，這是一個更加嚴格、更接近真實工作環(huán)境的測試平臺。他們精心收集了1865個真實的編程任務，這些任務來自41個不同的軟件項目，涵蓋了商業(yè)應用、企業(yè)服務和開發(fā)工具等各個領(lǐng)域。

一、為什么需要一個更嚴格的測試標準

想象一下，如果我們要測試一個人的駕駛技能，我們會讓他在空曠的停車場里練習倒車入庫，還是直接讓他在繁忙的市中心開車？顯然，真實的駕駛環(huán)境要復雜得多。同樣的道理，現(xiàn)有的AI編程測試就像是在停車場里練車，而SWE-Bench Pro則更像是在真實的城市道路上駕駛。

現(xiàn)有測試平臺存在幾個明顯的問題。首先是"考試泄題"的風險。由于大多數(shù)測試使用的都是開源代碼，而這些代碼很可能已經(jīng)被AI模型在訓練時"見過"了，就像學生提前拿到了考試答案一樣。其次，許多現(xiàn)有測試任務過于簡單，只需要修改一兩行代碼就能解決，這與真實的企業(yè)開發(fā)工作相差甚遠。

Scale AI團隊為了避免這些問題，采用了兩個巧妙的策略。第一個策略是專門選擇那些使用GPL等嚴格版權(quán)許可的開源項目。這些項目由于法律限制，通常不會被包含在AI模型的訓練數(shù)據(jù)中，就像是為考試專門準備的全新題目。第二個策略更加直接——他們直接從真實的創(chuàng)業(yè)公司購買了私有代碼庫，這些代碼完全沒有公開過，確保AI模型之前絕對沒有"見過"這些題目。

在任務復雜度方面，SWE-Bench Pro的要求也更加嚴格。每個任務都要求至少修改10行代碼，平均需要修改107.4行代碼，涉及4.1個文件。有超過100個任務甚至需要修改100行以上的代碼。這就像是從解決簡單的數(shù)學題升級到完成復雜的工程項目。

二、如何確保測試題目的質(zhì)量和公平性

為了確保每個測試題目都是高質(zhì)量的，研究團隊設計了一個三階段的人工審核流程，就像是給每道考試題都安排了專業(yè)的出題老師和審題專家。

在第一階段，專業(yè)的軟件工程師會仔細檢查每個編程任務，確保任務描述清晰完整，不會因為信息缺失而讓AI助手無法完成任務。這就像是確?？荚囶}目的表述清楚，不會因為題目本身的問題而影響學生發(fā)揮。

第二階段專門處理測試用例。每個編程任務都配有專門的測試程序來驗證解決方案是否正確。研究團隊會運行這些測試多次，確保測試本身是穩(wěn)定可靠的，不會出現(xiàn)有時通過有時失敗的情況。同時，他們還會請專業(yè)人員審核每個測試用例，確保測試真正驗證了任務要求，而不是過于寬泛或者與任務無關(guān)。

第三階段是環(huán)境配置。每個編程任務都需要在特定的軟件環(huán)境中運行，就像不同的菜譜需要不同的廚具和調(diào)料一樣。研究團隊為每種編程語言（Python、JavaScript、TypeScript、Go）都準備了專門的運行環(huán)境，并且把這些環(huán)境打包成Docker容器，確保任何人都能完全重現(xiàn)測試結(jié)果。

為了進一步提高任務質(zhì)量，研究團隊還為每個任務添加了詳細的需求說明和接口規(guī)范。需求說明就像是給廚師的詳細菜譜，不僅告訴你要做什么菜，還告訴你具體的口味要求、擺盤方式等細節(jié)。接口規(guī)范則明確指定了函數(shù)名、類名等技術(shù)細節(jié)，避免AI助手因為命名不當而導致測試失敗。

三、測試平臺的三個不同級別

SWE-Bench Pro被設計成三個不同的測試集，就像是游戲中的不同難度級別，每個級別都有不同的用途和訪問權(quán)限。

公開測試集包含731個任務，完全開放給所有研究人員使用。這些任務來自11個使用GPL許可的開源項目，任何人都可以下載這些任務來測試自己的AI模型。這就像是公開的練習題庫，讓大家都能用來練習和改進自己的AI助手。

商業(yè)測試集包含276個任務，來自18個真實創(chuàng)業(yè)公司的私有代碼庫。雖然研究團隊會公布AI模型在這個測試集上的表現(xiàn)，但具體的任務內(nèi)容和代碼庫都保持私密。這就像是真正的企業(yè)面試題，只有面試官知道具體內(nèi)容，但會告訴大家面試結(jié)果。

保留測試集包含858個任務，來自12個與公開測試集類似但完全獨立的代碼庫。這個測試集完全保密，專門用來檢測AI模型是否對公開測試集"過擬合"。這就像是期末考試的備用試卷，確保學生不是僅僅背會了練習題，而是真正掌握了知識。

這種三層設計非常巧妙。研究人員可以在公開測試集上自由實驗和改進模型，然后用商業(yè)測試集驗證模型在真實企業(yè)環(huán)境中的表現(xiàn)，最后用保留測試集確保模型的泛化能力。

四、AI編程助手的實際表現(xiàn)如何

當研究團隊用SWE-Bench Pro測試目前最先進的AI模型時，結(jié)果令人意外。即使是最強大的GPT-5和Claude Opus 4.1，在公開測試集上的成功率也只有23.3%和22.7%，遠低于它們在傳統(tǒng)SWE-Bench上70%以上的表現(xiàn)。這就像是一個在模擬駕駛中表現(xiàn)完美的學員，在真實道路上卻頻頻出錯。

更有趣的是，AI模型在商業(yè)測試集上的表現(xiàn)更差，最好的模型成功率也只有17.8%。這說明真實的企業(yè)代碼庫確實比開源項目更加復雜，就像是私人定制的高端產(chǎn)品比標準化產(chǎn)品更難制造一樣。

不同編程語言的表現(xiàn)也有明顯差異。AI模型在Python和Go語言上表現(xiàn)相對較好，有些能達到30%以上的成功率，但在JavaScript和TypeScript上的表現(xiàn)就差得多，有些模型的成功率接近于零。這可能是因為Python作為最流行的編程語言，在AI模型的訓練數(shù)據(jù)中占比更大，就像是一個多語言學習者在母語上表現(xiàn)最好一樣。

不同代碼庫之間的表現(xiàn)差異也很大。有些代碼庫上，AI模型能達到50%以上的成功率，而在另一些代碼庫上，所有模型的成功率都低于10%。這說明代碼庫的復雜程度、文檔質(zhì)量、編程風格等因素都會顯著影響AI模型的表現(xiàn)。

五、AI編程助手失敗的原因分析

為了深入了解AI模型為什么會失敗，研究團隊采用了一種創(chuàng)新的分析方法——讓GPT-5充當"法官"，分析其他AI模型失敗的原因。這就像是讓一個經(jīng)驗豐富的老師來分析學生考試失敗的原因。

分析結(jié)果顯示，不同AI模型的失敗模式截然不同。最先進的模型如Claude Opus 4.1主要是在語義理解和算法正確性上出錯，占失敗案例的35.9%。這就像是一個技術(shù)很好的工程師，能夠熟練使用各種工具，但在理解復雜需求或設計算法時出現(xiàn)偏差。

相比之下，較小的開源模型如Qwen 3 32B則主要在工具使用上出錯，占失敗案例的42%。這就像是一個剛?cè)腴T的程序員，雖然理解了要做什么，但不知道如何正確使用開發(fā)工具。

Claude Sonnet 4的主要問題是上下文溢出，占失敗案例的35.6%。這意味著當代碼庫過于龐大時，模型無法同時處理所有相關(guān)信息，就像是一個人試圖同時記住太多信息而導致混亂。

GPT-5的失敗模式比較均衡，在工具使用錯誤和語義理解錯誤上都有一定比例，但相對來說在提交解決方案方面表現(xiàn)更好，說明它更愿意嘗試給出答案，即使答案可能不完全正確。

這些分析結(jié)果為改進AI編程助手提供了明確的方向。對于先進模型，需要重點提高語義理解和算法設計能力；對于較小模型，則需要首先解決工具使用的基礎問題；而對于上下文處理能力不足的模型，需要開發(fā)更好的信息管理策略。

六、這項研究的意義和未來展望

SWE-Bench Pro的推出標志著AI編程助手評估進入了一個新階段。就像汽車工業(yè)從測試場轉(zhuǎn)向真實道路測試一樣，這個新的測試平臺讓我們能夠更準確地了解AI編程助手的真實能力。

這項研究的最大價值在于提供了一個更加真實的評估標準。當AI模型在傳統(tǒng)測試中表現(xiàn)優(yōu)異時，我們現(xiàn)在知道這并不意味著它們已經(jīng)準備好處理真實的企業(yè)級開發(fā)任務。這就像是區(qū)分了理論考試和實際操作考試，讓我們對AI能力有了更清醒的認識。

從技術(shù)發(fā)展的角度來看，SWE-Bench Pro揭示了當前AI編程助手的幾個關(guān)鍵限制。首先是處理復雜多文件項目的能力不足，其次是在理解復雜業(yè)務邏輯時容易出錯，最后是在使用開發(fā)工具時還不夠熟練。這些發(fā)現(xiàn)為未來的研究方向提供了明確指引。

對于軟件開發(fā)行業(yè)來說，這項研究提供了重要的現(xiàn)實檢驗。雖然AI編程助手確實能夠幫助程序員提高效率，但要完全替代人類程序員還有很長的路要走。企業(yè)在部署AI編程助手時需要對其能力有合理的期待，不應該指望它們能夠獨立完成復雜的企業(yè)級開發(fā)任務。

研究團隊也坦誠地指出了當前工作的一些局限性。比如測試覆蓋的編程語言還不夠全面，缺少Java、C++、Rust等重要語言；測試主要關(guān)注代碼修復和功能實現(xiàn)，沒有涵蓋系統(tǒng)設計、代碼審查等更廣泛的軟件工程活動；過度依賴測試用例來驗證解決方案，可能忽略了一些同樣有效但不符合特定測試要求的解決方案。

展望未來，研究團隊計劃擴展測試平臺的語言覆蓋范圍，開發(fā)超越測試用例的評估方法，并引入多智能體協(xié)作等更復雜的場景。這就像是從單人駕駛測試擴展到團隊協(xié)作和復雜交通環(huán)境的測試。

說到底，SWE-Bench Pro為我們提供了一面更加真實的鏡子，讓我們看清了AI編程助手的真實能力水平。雖然結(jié)果顯示當前的AI助手還遠未達到完全自主開發(fā)的水平，但這種誠實的評估正是推動技術(shù)進步的關(guān)鍵。就像任何技術(shù)發(fā)展都需要經(jīng)歷從理想到現(xiàn)實的調(diào)整過程一樣，AI編程助手也需要在更嚴格的測試中不斷改進，最終才能真正勝任復雜的企業(yè)級軟件開發(fā)工作。這項研究不僅為AI研究社區(qū)提供了寶貴的評估工具，也為整個軟件開發(fā)行業(yè)提供了關(guān)于AI能力的重要現(xiàn)實檢驗。

Q&A

Q1：SWE-Bench Pro與傳統(tǒng)的SWE-Bench測試有什么區(qū)別？
A：SWE-Bench Pro比傳統(tǒng)SWE-Bench更加嚴格和真實。傳統(tǒng)測試中AI模型能達到70%以上成功率，但在SWE-Bench Pro中最好的模型只有23%成功率。新測試要求修改更多代碼行數(shù)（平均107行vs幾行），涉及多個文件，并且使用了AI模型訓練時未見過的代碼庫，更接近真實企業(yè)開發(fā)環(huán)境。

Q2：為什么AI編程助手在企業(yè)級任務上表現(xiàn)這么差？
A：主要原因包括幾個方面：復雜的多文件項目超出了AI的處理能力，理解復雜業(yè)務邏輯時容易出錯，工具使用不夠熟練，以及上下文信息過多時會出現(xiàn)混亂。就像從解決簡單數(shù)學題升級到完成復雜工程項目，難度完全不在一個級別上。

Q3：SWE-Bench Pro對軟件開發(fā)行業(yè)有什么實際意義？
A：這項研究為企業(yè)部署AI編程助手提供了現(xiàn)實參考。企業(yè)不應期待AI能獨立完成復雜開發(fā)任務，而應將其作為輔助工具。同時為AI研究指明了改進方向：提高語義理解能力、改善工具使用技能、增強多文件項目處理能力等。