這項由密歇根大學(xué)、萊斯大學(xué)、思科研究院和加州大學(xué)伯克利分校的研究團隊聯(lián)合開發(fā)的創(chuàng)新研究成果，發(fā)表于2025年5月30日的arXiv預(yù)印本平臺（arXiv:2505.24785v1）。研究由Patrick Tser Jern Kon和Jiachen Liu作為共同第一作者，在Ang Chen教授指導(dǎo)下完成。感興趣的讀者可以通過GitHub訪問完整項目：https://github.com/Just-Curieous/Curie/tree/main/benchmark/exp_bench。

想象一個能自己做研究的AI助手

你是否曾經(jīng)想過，如果AI能夠自動完成科研工作會怎樣？不只是簡單地幫你搜索資料或?qū)懘a，而是能夠獨立設(shè)計實驗、執(zhí)行它們，然后得出有意義的結(jié)論。這樣的AI將大大加速科學(xué)進步，特別是在AI研究本身這個領(lǐng)域。畢竟，AI研究主要在數(shù)字世界中進行，理論上非常適合由AI自動化完成。

但現(xiàn)實情況如何呢？雖然現(xiàn)在的大型語言模型（LLM）在文獻綜述、假設(shè)生成和代碼編寫等單個任務(wù)上表現(xiàn)出了一定能力，但真正的科研需要進行嚴格的端到端實驗，這遠比完成單一任務(wù)復(fù)雜得多。

這就是密歇根大學(xué)研究團隊開發(fā)EXP-Bench的原因。就像我們會通過各種測試來評估學(xué)生的科研能力一樣，EXP-Bench提供了一個全面的基準(zhǔn)測試，專門用來評估AI是否能真正進行AI研究的實驗工作。

AI科研的關(guān)鍵挑戰(zhàn)：從想法到實驗

想象一下科研工作的完整流程：研究人員首先提出問題，然后設(shè)計實驗方法，接著實施這些實驗，最后分析結(jié)果并得出結(jié)論。EXP-Bench正是圍繞這個完整流程設(shè)計的，它從真實的、經(jīng)過同行評審的AI研究論文中提取任務(wù)，這些論文來自頂級會議如NeurIPS和ICLR。

EXP-Bench的設(shè)計非常直接。它會給AI代理一個研究問題、一個高層次的方法描述和一些起始代碼。然后AI需要自行完成整個實驗過程，從提出假設(shè)、設(shè)計實驗程序，到執(zhí)行實驗并分析結(jié)果。這就像給一個研究生一個研究課題和一些基礎(chǔ)資料，然后讓他們自己完成整個研究項目。

然而，創(chuàng)建這樣的任務(wù)并不簡單。學(xué)術(shù)論文通常以講述研究結(jié)果的方式呈現(xiàn)，往往省略了實驗過程中的許多中間步驟。此外，關(guān)鍵細節(jié)可能分散在論文、補充材料和代碼庫的各個角落。要準(zhǔn)確提取這些信息需要深厚的專業(yè)知識，如果純靠人工整理，將耗時耗力且難以擴展。

打造自動化的科研任務(wù)提取流水線

為了解決這個問題，研究團隊開發(fā)了一個半自動化的數(shù)據(jù)整理流水線。這個流水線首先使用引用數(shù)和代碼庫受歡迎程度等信號來篩選高質(zhì)量的AI論文。然后，任務(wù)提取分為兩個階段：

首先是多模態(tài)提取階段，從論文、補充材料和代碼中識別研究問題的核心要素，如主要問題、預(yù)期結(jié)果和高層次實驗設(shè)置（例如數(shù)據(jù)集、評估指標(biāo)、模型配置）。接著是實現(xiàn)提取階段，定位相關(guān)代碼并組裝腳本來解決指定任務(wù)。最后，通過執(zhí)行驗證來確保功能性。

雖然整個過程需要人工監(jiān)督，但有了原始實現(xiàn)和真實答案作為參考，驗證工作主要集中在輕量級的一致性檢查上。通過這個流水線，EXP-Bench目前包含了來自51篇NeurIPS和ICLR 2024論文的461個研究任務(wù)（共12,737個可單獨評分的子任務(wù)），涵蓋強化學(xué)習(xí)、AI應(yīng)用和生成模型等多個AI子領(lǐng)域。

全方位評估AI科研能力

EXP-Bench使用多指標(biāo)評估流水線來評估AI代理在實驗的所有核心階段——設(shè)計、實現(xiàn)、執(zhí)行和結(jié)論——的表現(xiàn)。每個指標(biāo)捕捉不同的能力，它們的綜合使用確保AI正確理解并完成實驗。

研究團隊對包括OpenHands（OH）和IterativeAgent（IA）在內(nèi)的領(lǐng)先AI代理進行了初步評估，使用了多種大型語言模型（LLM）作為基礎(chǔ)，包括頂級的Claude-Sonnet 3.7、Haiku 3.5、Deepseek-R1模型和OpenAI o3-mini變體。

結(jié)果令人深思。雖然在單個實驗方面（如設(shè)計或?qū)崿F(xiàn)正確性）的得分達到20-35%，但完整可執(zhí)行實驗的成功率僅為0.5%。這說明當(dāng)前的AI代理在執(zhí)行常規(guī)程序時表現(xiàn)尚可，但在進行復(fù)雜實驗時卻面臨挑戰(zhàn)。

具體來說，AI代理在以下方面存在失?。?/p>

首先是從高層次研究問題和方法中構(gòu)思和操作化合理的實驗設(shè)計（16.1%的設(shè)計變量分類錯誤）。這就像給廚師一個創(chuàng)建新菜品的想法，但他們無法設(shè)計出合適的烹飪步驟。

其次是將抽象研究方法轉(zhuǎn)化為完整正確的代碼實現(xiàn)（39.7%缺少必要的實現(xiàn)組件）。這相當(dāng)于知道要做什么菜，但不知道如何準(zhǔn)備食材或設(shè)置烹飪溫度。

最后是確保復(fù)雜實驗軟件棧的穩(wěn)健和可重現(xiàn)執(zhí)行（29.4%的環(huán)境或依賴項配置錯誤，或23.8%的腳本級錯誤）。這就像按照食譜準(zhǔn)備了所有材料，但最后發(fā)現(xiàn)烤箱不工作或者計時出錯。

通過識別這些關(guān)鍵瓶頸，EXP-Bench幫助研究人員明確了需要改進的具體研究組件，推動下一代AI代理的發(fā)展。

從失敗中學(xué)習(xí)：AI代理的常見錯誤

研究團隊進行了詳細分析，發(fā)現(xiàn)AI代理在不同實驗階段的多種失敗模式。最常見的問題出現(xiàn)在實現(xiàn)階段，有39.71%的失敗是因為缺少必要組件。例如，代理未能包含關(guān)鍵元素，如語義檢索策略（如UniXcoder-H2L和UniXcoder-L2H）、用于過濾問題的驗證函數(shù)，或增強穩(wěn)健性的技術(shù)（如Mixup、CutMix和標(biāo)簽平滑）。

在執(zhí)行階段，最常見的失敗是環(huán)境或依賴項配置錯誤（29.38%）和腳本級問題（23.84%）。這些包括缺少關(guān)鍵環(huán)境設(shè)置或核心庫，導(dǎo)致模型加載失??；或者模型名稱無法識別、缺少檢查點文件等錯誤。

設(shè)計相關(guān)的失敗也很常見，有16.05%涉及不完整或分類錯誤的實驗變量，7.62%反映了額外的程序添加，如包含了未在真實答案中指定的ResNet-50骨干網(wǎng)絡(luò)或隨意的超參數(shù)調(diào)整。這些設(shè)計錯誤表明，AI代理通常無法區(qū)分必要的實驗因素和實現(xiàn)噪聲。

在結(jié)論階段，最常見的問題是缺失或不完整的結(jié)論（26.18%）和錯誤的解釋（19.66%）。例如，省略了PPO和Q-Learning在訓(xùn)練時間和歸一化分數(shù)上的詳細比較，或者忽略了具體的數(shù)值增益。

這些發(fā)現(xiàn)強調(diào)了分階段評估的重要性，并說明表面上的合理性可能掩蓋了實驗推理和可重現(xiàn)性方面更深層次的問題。

未來展望：邁向真正的AI科研助手

EXP-Bench的研究為我們提供了關(guān)于AI進行AI研究的能力狀況的寶貴見解。雖然當(dāng)前的AI代理在復(fù)雜實驗方面表現(xiàn)不佳，但它們在某些方面已顯示出初步能力。隨著技術(shù)的發(fā)展，我們可以期待看到更強大的AI研究助手出現(xiàn)。

未來的工作將集中在使用EXP-Bench的數(shù)據(jù)集來增強AI代理的研究實驗?zāi)芰?。一個有前途的方向是應(yīng)用具有可驗證獎勵的強化學(xué)習(xí)，使代理能夠自主導(dǎo)航研究生命周期并加速科學(xué)發(fā)現(xiàn)。

EXP-Bench的貢獻不僅在于評估當(dāng)前AI代理的能力，還在于提供了一個路線圖，指導(dǎo)下一代AI代理的發(fā)展。通過識別具體的失敗點，研究人員可以有針對性地解決這些問題，最終創(chuàng)造出能夠真正協(xié)助甚至獨立進行AI研究的AI系統(tǒng)。

這項工作對整個AI領(lǐng)域具有重大意義。如果AI能夠自主進行研究，我們可能會看到科學(xué)進步的加速，新發(fā)現(xiàn)的速度大大提高，科學(xué)研究的民主化程度增強。當(dāng)然，這也帶來了需要認真對待的倫理問題和社會影響。

總之，EXP-Bench代表了AI研究自動化道路上的重要里程碑。它為我們提供了一個清晰的框架，來理解當(dāng)前AI在研究實驗方面的能力和局限性，同時也為未來的進步鋪平了道路。正如一個好老師不僅評估學(xué)生的能力，還指導(dǎo)他們?nèi)绾胃倪M，EXP-Bench不僅評估了AI代理的科研能力，還為它們的成長提供了方向。