這項由卡內(nèi)基梅隆大學沈俊泓、斯坦福大學Aviral Kumar等人領導的研究團隊發(fā)表于2025年6月的arXiv預印本，為我們揭示了一個令人意外的發(fā)現(xiàn)：讓AI智能體多嘗試幾次行動，往往比讓它深入思考每一步更能解決復雜問題。這就像是在告訴我們，有時候"試試看"比"想半天"更管用。有興趣深入了解的讀者可以通過arXiv:2506.07976v2訪問完整論文。

想象一下，你正在網(wǎng)上幫朋友訂酒店。傳統(tǒng)的做法是：看到第一個符合條件的酒店后，仔細研究它的每一個細節(jié)，反復思考是否合適，然后做決定。而這項研究提出的新方法則是：快速瀏覽多個酒店選項，比較它們的價格、位置和評價，然后再做最終選擇。研究團隊發(fā)現(xiàn)，后一種方法在很多情況下效果更好。

這個發(fā)現(xiàn)對于AI領域來說相當重要，因為它挑戰(zhàn)了我們一直以來的假設。以前，大家普遍認為讓AI"想得更深"就能做得更好，就像讓一個人在考試時花更多時間思考每道題一樣。但這項研究表明，在某些復雜的任務中，讓AI有機會嘗試更多不同的行動路徑，實際上比延長單步思考時間更有效。

這就像是探索一個未知城市的兩種方式。第一種是站在每個路口深思熟慮很久，試圖通過分析周圍環(huán)境來判斷最佳路線。第二種是快速走幾條不同的路，實際感受每條路的情況，然后調整方向。研究發(fā)現(xiàn)，在復雜環(huán)境中，第二種探索方式往往能更快找到目的地。

一、重新定義AI智能體的"聰明"標準

傳統(tǒng)上，我們衡量AI智能體是否聰明，主要看它在每一步行動前能思考多深入。這就像評判一個棋手是否優(yōu)秀，主要看他在下每一步棋前能計算多少步。這種思路催生了很多讓AI在行動前進行長時間"內(nèi)心獨白"的方法，比如讓它詳細分析當前情況，制定復雜的計劃，然后才執(zhí)行行動。

但研究團隊意識到一個問題：在現(xiàn)實世界中，很多信息是隱藏的，只有通過實際行動才能獲得。這就像你在一家新餐廳點菜，無論你怎么研究菜單和網(wǎng)上評價，都不如實際嘗一口來得準確。對AI智能體來說也是如此，它可能需要實際點擊網(wǎng)頁、輸入信息、觀察反饋，才能真正了解環(huán)境的狀態(tài)。

研究團隊把這種讓AI智能體進行更多交互步驟的方法稱為"測試時交互擴展"。這個名字聽起來很技術性，但其實概念很簡單：就是給AI更多機會去"試試看"，而不是讓它在原地"想想看"。這就像給一個學開車的人更多練習時間，而不是讓他在駕校教室里反復背誦理論知識。

這種方法的核心理念是，在很多復雜任務中，行動本身就是獲取信息的最好方式。當AI智能體在網(wǎng)上搜索信息、填寫表格或者瀏覽商品時，每一次點擊和輸入都會帶來新的信息，這些信息可能完全改變它對任務的理解。就像你在逛街時，只有走進店鋪實際看看，才知道里面有什么商品，而不能僅憑門面來判斷。

二、從網(wǎng)頁瀏覽看AI的學習策略

為了驗證這個想法，研究團隊選擇了網(wǎng)頁瀏覽任務作為試驗場。這個選擇很聰明，因為網(wǎng)頁瀏覽就像現(xiàn)實生活的縮影，充滿了不確定性和隱藏信息。當你在網(wǎng)上購物或查找信息時，你需要點擊鏈接、填寫表單、滾動頁面，每一個行動都會揭示新的信息。

研究團隊設計了一個簡單而巧妙的實驗。他們讓AI智能體完成各種網(wǎng)頁任務，比如在購物網(wǎng)站上找到符合特定條件的商品，或者在社交媒體上搜索特定信息。然后他們比較了兩種策略的效果：一種是讓AI在每步行動前進行長時間思考，另一種是給AI更多機會進行實際交互。

結果令人驚訝。在固定的計算資源下（可以理解為固定的"時間和精力"預算），讓AI進行更多交互步驟往往比讓它進行更深入的單步思考效果更好。這就像給你固定的時間來選擇餐廳，快速查看幾家餐廳的菜單和價格，比花同樣時間深入研究一家餐廳的所有細節(jié)更容易找到滿意的選擇。

更有趣的是，研究團隊發(fā)現(xiàn)這種交互擴展的效果會隨著任務復雜度的增加而變得更加明顯。簡單任務可能確實受益于深入思考，但復雜任務往往需要更多的探索和嘗試。這就像解決拼圖游戲，簡單的拼圖可能通過仔細觀察就能找到正確位置，但復雜的拼圖需要不斷嘗試不同的組合。

在具體的實驗中，研究團隊觀察到一個特別有意思的現(xiàn)象：當AI被允許進行更多交互時，它會表現(xiàn)出類似人類的探索行為。比如，在尋找特定商品時，它會先快速瀏覽多個選項，發(fā)現(xiàn)某個選項不符合要求后會返回重新搜索，或者在遇到困難時會嘗試不同的搜索關鍵詞。這種行為模式與人類在面對不確定情況時的策略非常相似。

三、打造會"學以致用"的智能助手

發(fā)現(xiàn)了"多交互勝過深思考"這個規(guī)律后，研究團隊面臨一個新挑戰(zhàn)：如何訓練AI智能體學會有效利用這些額外的交互機會？這就像教一個學生不僅要學會知識，還要學會在考試時合理分配時間和精力。

他們開發(fā)了一種叫做TTI（測試時交互）的訓練方法。這個方法的核心思想類似于體育訓練中的"漸進式訓練"。想象一下教一個人學游泳，你不會一開始就把他扔到深水區(qū)，而是先讓他在淺水區(qū)適應，然后逐漸增加水深和游泳距離。

TTI的訓練過程就是這樣設計的。一開始，AI智能體只能進行較少的交互步驟，這迫使它學會快速找到解決問題的基本方法。就像先讓學生學會解決簡單的數(shù)學題，建立基礎技能。然后，隨著訓練的進行，逐漸允許智能體進行更多的交互步驟，讓它學會處理更復雜的情況，比如需要多次嘗試和調整策略的任務。

這種漸進式訓練的好處在于，它避免了一個常見的陷阱：如果一開始就給AI太多自由度，它可能會養(yǎng)成漫無目的地"亂點"的壞習慣，就像給小孩子太多玩具可能讓他無法專注學習一樣。通過先限制再放開的方式，AI學會了既要高效利用基礎步驟，又要在需要時進行有目的的探索。

在實際訓練中，研究團隊發(fā)現(xiàn)了一個有趣的現(xiàn)象：隨著訓練的深入，AI智能體開始表現(xiàn)出類似人類的適應性行為。在簡單任務中，它會快速直達目標，不浪費額外的交互機會。但在復雜任務中，它會主動利用更多步驟來探索不同選項，甚至會在發(fā)現(xiàn)錯誤后主動返回重新開始。這種自適應行為正是研究團隊希望看到的。

更令人驚喜的是，訓練過程中AI智能體還學會了一些研究團隊沒有明確教授的技能。比如，它學會了在網(wǎng)頁搜索中使用不同的關鍵詞組合，學會了在遇到彈窗或錯誤頁面時返回重試，甚至學會了在多個候選答案中進行比較和權衡。這些行為表明，通過合適的訓練方法，AI確實可以發(fā)展出復雜的問題解決策略。

四、實驗室成果走向現(xiàn)實應用

為了驗證TTI方法的實際效果，研究團隊在兩個廣泛使用的網(wǎng)頁智能體基準測試上進行了全面評估。這就像讓一個新培訓的員工在不同部門實習，看看他的技能是否真的適用于各種實際工作場景。

在WebVoyager測試中，這是一個包含13個不同網(wǎng)站類型、427個任務的綜合測試平臺，TTI訓練的智能體取得了64.8%的成功率。這個數(shù)字聽起來可能不算很高，但要知道這些任務包括在復雜的購物網(wǎng)站上找特定商品、在學術網(wǎng)站上搜索論文、在社交媒體上查找特定信息等各種困難任務。更重要的是，這個成績在同類開源AI智能體中創(chuàng)下了新紀錄。

更令人印象深刻的是智能體在不同類型網(wǎng)站上的表現(xiàn)差異。在信息密集型網(wǎng)站（比如食譜網(wǎng)站Allrecipes和學術數(shù)據(jù)庫Cambridge），TTI訓練的智能體表現(xiàn)特別出色，成功率分別提升了31.4%和15.6%。這些網(wǎng)站的特點是信息量大、需要多次點擊和比較才能找到目標信息，正好發(fā)揮了交互擴展的優(yōu)勢。

然而，研究團隊也誠實地報告了一些局限性。在某些網(wǎng)站（如Amazon和GitHub）上，TTI智能體的表現(xiàn)反而不如傳統(tǒng)方法。深入分析發(fā)現(xiàn)，這是因為這些網(wǎng)站的信息相對標準化，而且基礎AI模型已經(jīng)對這些網(wǎng)站的結構比較熟悉。在這種情況下，額外的探索反而可能帶來干擾，就像一個已經(jīng)很熟悉路線的司機，走太多"探索性"道路反而可能迷路。

在WebArena測試中，這是一個更加嚴格的測試平臺，包含812個復雜任務，TTI方法同樣表現(xiàn)出色。雖然總體提升幅度相對較?。◤?8.3%提升到26.1%），但要考慮到這個測試平臺的任務更加困難，每個百分點的提升都代表著顯著的技術進步。

五、深度剖析：為什么"多試試"比"多想想"更有效

為了理解為什么交互擴展會如此有效，研究團隊進行了細致的分析，就像醫(yī)生解剖人體來理解器官功能一樣。他們發(fā)現(xiàn)了幾個關鍵原因。

首先是信息獲取的根本差異。在網(wǎng)頁瀏覽這樣的任務中，很多關鍵信息是隱藏的，只有通過實際操作才能獲得。這就像尋寶游戲，地圖上可能標注了大概位置，但具體的寶藏位置需要實地挖掘才能確定。當AI智能體點擊一個鏈接或填寫一個表單時，它獲得的不僅是新的頁面內(nèi)容，還有對整個網(wǎng)站結構和邏輯的更深理解。

其次是錯誤糾正的機會。傳統(tǒng)的"深思考"方法假設AI能夠在行動前預見所有可能的結果，但現(xiàn)實往往更加復雜。通過允許更多交互步驟，AI獲得了犯錯和糾正的機會。研究團隊觀察到，表現(xiàn)良好的智能體經(jīng)常會在發(fā)現(xiàn)某個選擇不合適后主動返回重新選擇，這種行為在限制交互步驟的情況下是不可能的。

第三個重要因素是適應性策略的發(fā)展。當AI擁有更多交互機會時，它會根據(jù)任務的實際復雜度調整策略。對于簡單任務，它會快速執(zhí)行標準流程。對于復雜任務，它會投入更多步驟進行探索和比較。這種自適應行為類似于人類在面對不同復雜度問題時的策略調整。

研究團隊還發(fā)現(xiàn)了一個有趣的現(xiàn)象：隨著交互步驟的增加，AI智能體每步的"思考"反而變得更加簡潔高效。這似乎與常識相矛盾，但實際上很合理。當AI知道它有機會通過后續(xù)行動獲得更多信息時，它就不需要在當前步驟過度思考，而是可以快速行動然后根據(jù)反饋調整。這就像開車時，有經(jīng)驗的司機會根據(jù)實時路況快速調整路線，而不是在出發(fā)前試圖預測所有可能的交通狀況。

六、真實案例：智能體的"學習進化"過程

為了更直觀地展示TTI方法的效果，研究團隊展示了一些具體的案例，這些案例就像智能體的"成長日記"，記錄了它從笨拙到熟練的轉變過程。

在一個尋找蘋果派食譜的任務中，要求找到評分至少4星、評論超過50條的美式蘋果派食譜，并記錄烘焙的最高溫度。早期訓練階段的智能體表現(xiàn)得像一個急躁的購物者：看到第一個可能符合條件的食譜就立即選擇，即使遇到無法關閉的彈窗也堅持在同一個食譜上反復嘗試，結果往往失敗。

經(jīng)過TTI訓練后，同樣的智能體變得像一個經(jīng)驗豐富的美食愛好者：它會先瀏覽多個食譜選項，發(fā)現(xiàn)某個食譜有技術問題（比如彈窗無法關閉）時會果斷返回選擇其他選項，比較不同食譜的評分和評論數(shù)量，最終選擇真正符合所有條件的食譜。整個過程展現(xiàn)出明顯的計劃性和適應性。

在一個GitHub項目搜索任務中，目標是找到2022年創(chuàng)建的與"AI農(nóng)業(yè)"相關的開源項目。訓練不足的智能體往往會在搜索結果的第一頁停留太久，試圖通過仔細閱讀項目描述來判斷是否符合要求，但由于信息不完整，經(jīng)常做出錯誤判斷。

而經(jīng)過充分訓練的智能體則展現(xiàn)出完全不同的策略：它會快速瀏覽多頁搜索結果，點擊進入具體項目頁面查看詳細信息，發(fā)現(xiàn)不符合條件時會立即返回繼續(xù)搜索。更重要的是，它學會了使用不同的搜索關鍵詞組合來擴大搜索范圍，這種行為完全是它在訓練過程中自主學會的，并非研究團隊明確教授的技能。

特別有趣的是，研究團隊還記錄了智能體的一些"失敗案例"，這些案例揭示了當前方法的局限性。在某些情況下，智能體會過度依賴重新搜索，即使問題可以通過更仔細的頁面瀏覽解決，它也會選擇返回搜索頁面重新開始。這就像一個人在商場迷路時，總是回到入口重新開始，而不是嘗試從當前位置找到正確方向。

另一個局限性是智能體有時缺乏自我驗證能力。比如在尋找特定年份創(chuàng)建的項目時，智能體可能會找到一個2021年的項目，明知不符合2022年的要求，但仍然提交這個答案。這表明雖然智能體在信息搜集方面有了顯著進步，但在邏輯驗證方面仍有改進空間。

七、意想不到的發(fā)現(xiàn)：AI的"個性化"行為模式

在深入分析智能體的行為數(shù)據(jù)時，研究團隊發(fā)現(xiàn)了一些意想不到的現(xiàn)象，這些發(fā)現(xiàn)讓我們對AI的學習能力有了新的認識。

首先是智能體表現(xiàn)出的"領域適應性"。雖然使用相同的訓練方法，智能體在不同類型的網(wǎng)站上會自動調整行為策略。在電商網(wǎng)站上，它會表現(xiàn)得像一個謹慎的購物者，會比較多個商品的價格和評價。在學術網(wǎng)站上，它則像一個嚴謹?shù)难芯空?，會仔細檢查論文的發(fā)表年份、作者信息和引用數(shù)據(jù)。在社交媒體上，它又變成一個靈活的信息搜集者，會嘗試不同的搜索關鍵詞和過濾條件。

這種適應性并非研究團隊針對不同網(wǎng)站類型進行的專門訓練，而是智能體在通用訓練過程中自主發(fā)展出的能力。這就像一個經(jīng)驗豐富的銷售員，雖然接受的是通用的銷售培訓，但在面對不同類型的客戶時會自然地調整溝通策略。

其次是智能體的"學習曲線"呈現(xiàn)出明顯的階段性特征。在訓練初期，智能體主要學習基礎的網(wǎng)頁操作技能，比如如何點擊鏈接、如何填寫表單、如何使用搜索功能。在中期，它開始學習任務規(guī)劃能力，比如將復雜任務分解為多個步驟，學會在不同頁面之間導航。在后期，它發(fā)展出了高級的策略能力，比如如何在多個候選答案中做出最佳選擇，如何處理異常情況和錯誤。

更令人驚訝的是，智能體還展現(xiàn)出了某種"創(chuàng)造性"行為。在一些復雜任務中，它會嘗試研究團隊沒有明確教授的方法。比如，在尋找特定信息時，它學會了使用網(wǎng)站的高級搜索功能，學會了通過查看網(wǎng)站的幫助文檔來理解功能，甚至學會了通過分析URL結構來預測頁面內(nèi)容。

研究團隊還觀察到智能體的"風險管理"行為。在面對不確定情況時，它會采用保守策略，比如在提交答案前會返回確認關鍵信息，在遇到可能的錯誤時會嘗試多種解決方案。這種行為模式與人類在處理重要任務時的謹慎態(tài)度非常相似。

八、技術突破背后的深層洞察

這項研究的意義遠遠超出了技術層面的改進，它揭示了關于智能和學習的一些深層規(guī)律。傳統(tǒng)的AI發(fā)展思路往往假設"更深的思考等于更好的結果"，這反映了人類對智能的一種直覺理解：聰明人應該能夠通過深思熟慮來解決問題。

但這項研究挑戰(zhàn)了這種假設，提出了一個重要觀點：在復雜的現(xiàn)實環(huán)境中，行動本身就是獲取信息和驗證假設的重要手段。這就像科學研究中實驗的重要性：無論理論多么完善，都需要通過實驗來驗證和完善。對AI智能體來說，與環(huán)境的交互就相當于進行"實驗"，每次交互都能獲得新的信息，修正對環(huán)境的理解。

這種認識對AI領域具有重要的指導意義。它暗示我們在設計AI系統(tǒng)時，不應該過分強調單步?jīng)Q策的完美性，而應該給AI更多試錯和調整的機會。這就像培養(yǎng)一個優(yōu)秀的運動員，不是要求他每個動作都完美無瑕，而是要培養(yǎng)他在比賽中快速調整和適應的能力。

從計算效率的角度來看，這項研究也提供了新的視角。傳統(tǒng)觀點認為，增加計算量主要應該用于讓AI"思考得更深"。但研究結果表明，將同樣的計算資源用于支持更多的交互步驟，往往能獲得更好的效果。這就像分配學習時間一樣，與其花大量時間反復思考一道題，不如適當增加練習題的數(shù)量，通過多樣化的練習來提高能力。

這種發(fā)現(xiàn)對于AI的商業(yè)應用也有重要啟示。在設計智能客服、智能助手或自動化系統(tǒng)時，給這些系統(tǒng)一定的"試錯空間"可能比要求它們每次都給出完美答案更加實用。用戶往往更愿意與一個能夠主動探索、快速調整的AI系統(tǒng)交互，而不是一個反應遲緩但理論上更"準確"的系統(tǒng)。

九、現(xiàn)實應用前景和發(fā)展方向

這項研究的成果已經(jīng)開始在實際應用中顯示出價值。在網(wǎng)頁自動化任務中，比如自動填寫表單、自動搜索信息、自動比較產(chǎn)品等場景，TTI訓練的智能體表現(xiàn)出明顯的優(yōu)勢。這些應用場景在電商、金融、教育等行業(yè)都有廣泛需求。

想象一下未來的智能購物助手：它不會只是簡單地根據(jù)你的要求搜索商品，而是會像一個經(jīng)驗豐富的購物顧問一樣，主動瀏覽多個商店，比較不同產(chǎn)品的特點，甚至會根據(jù)當前的促銷活動調整推薦策略。當遇到缺貨或價格變動時，它能夠快速調整搜索策略，找到最佳的替代方案。

在客戶服務領域，這種技術可以創(chuàng)造出更加智能和靈活的客服系統(tǒng)。傳統(tǒng)的客服機器人往往只能根據(jù)預設的規(guī)則回答問題，但基于TTI技術的客服系統(tǒng)可以主動搜索相關信息，在多個數(shù)據(jù)源之間交叉驗證，甚至可以在發(fā)現(xiàn)信息不準確時主動更新知識庫。

研究團隊也坦誠地指出了當前技術的局限性和未來的發(fā)展方向。目前的方法主要在網(wǎng)頁環(huán)境中得到驗證，但現(xiàn)實世界的應用場景往往更加復雜。比如，在物理機器人控制、復雜的軟件操作或多模態(tài)交互中，如何應用交互擴展的思想還需要進一步研究。

另一個重要的發(fā)展方向是如何在保持探索能力的同時提高效率。雖然更多的交互步驟能夠帶來更好的結果，但也意味著更高的計算成本和更長的響應時間。如何在效果和效率之間找到最佳平衡點，是未來研究需要重點關注的問題。

安全性和可控性也是需要考慮的重要因素。給AI智能體更多的自主探索能力，也意味著需要更好的監(jiān)控和控制機制，確保它們的行為始終在預期范圍內(nèi)。這就像給一個實習生更多自主權的同時，也需要建立相應的指導和監(jiān)督機制。

研究團隊還提到了與其他AI技術結合的可能性。比如，將交互擴展與大語言模型的推理能力相結合，可能創(chuàng)造出既善于思考又善于行動的智能體。將其與多模態(tài)AI相結合，可能開發(fā)出能夠同時處理文本、圖像、聲音等多種信息的綜合智能助手。

說到底，這項研究為我們展示了AI發(fā)展的一個新方向：不是讓AI變得更像一個深思熟慮的哲學家，而是讓它變得更像一個靈活適應的實踐者。在這個信息爆炸、環(huán)境快速變化的時代，也許我們真正需要的智能助手不是那種能夠給出完美理論答案的系統(tǒng)，而是那種能夠在復雜現(xiàn)實中快速學習、靈活調整、持續(xù)改進的伙伴。

這種認識提醒我們，真正的智能可能不僅僅在于深度思考的能力，更在于在行動中學習、在實踐中成長的能力。正如這項研究所揭示的，有時候最好的策略不是"三思而后行"，而是"邊行邊思，在行動中完善思考"。對于AI的未來發(fā)展來說，這無疑開辟了一個充滿可能性的新領域。未來的AI系統(tǒng)可能會更加主動、更加適應性強，也更加貼近人類在復雜環(huán)境中解決問題的真實方式。

這項研究還給我們一個重要啟示：在評估AI系統(tǒng)的能力時，我們也許應該更多地關注它們在動態(tài)環(huán)境中的適應能力，而不僅僅是在靜態(tài)測試中的表現(xiàn)。畢竟，現(xiàn)實世界是一個充滿變化和不確定性的地方，真正有用的AI助手需要能夠在這樣的環(huán)境中茁壯成長，而不是僅僅在實驗室的理想條件下表現(xiàn)出色。