這項由加州大學洛杉磯分校（UCLA）的洪宜寧、孫銳、李炳軒、姚星成、吳美心、錢亞歷山大、尹達、吳應(yīng)念、王哲燦·詹姆斯、張凱維等研究者共同完成的突破性研究，于2025年6月18日以預(yù)印本形式發(fā)布在arXiv平臺上。有興趣深入了解的讀者可以通過https://embodied-web-agent.github.io/訪問完整項目資源。這項研究首次提出了"具身網(wǎng)絡(luò)智能體"的全新概念，創(chuàng)造了一種能夠同時在物理世界和數(shù)字世界中自由行動的AI系統(tǒng)。

我們?nèi)粘Ｉ钪薪?jīng)常會遇到這樣的場景：你想做一道新菜，需要先在網(wǎng)上查找食譜，然后去超市買缺少的食材，回到廚房按照食譜步驟烹飪。或者你想去一個陌生的地方旅行，需要在地圖軟件上查找路線，然后在現(xiàn)實中按照導航走到目的地，沿途還可能需要查詢某個建筑物的歷史背景。這些看似簡單的任務(wù)，實際上需要我們不斷在"數(shù)字世界"（網(wǎng)絡(luò)、手機應(yīng)用）和"物理世界"（真實環(huán)境、實際行動）之間切換。

然而令人驚訝的是，目前的AI系統(tǒng)卻無法像人類一樣自然地完成這種跨域任務(wù)。現(xiàn)有的AI要么專注于網(wǎng)絡(luò)信息處理，能夠搜索資料、理解文本，但無法在現(xiàn)實中行動；要么專注于物理世界的操作，比如機器人能夠移動、抓取物體，但無法主動上網(wǎng)獲取信息。這就像讓一個人只能用左手或者只能用右手生活一樣，嚴重限制了AI的實用性。

UCLA的研究團隊意識到，真正有用的AI助手應(yīng)該能夠像人類一樣，同時具備"數(shù)字智慧"和"物理能力"。他們創(chuàng)造性地提出了"具身網(wǎng)絡(luò)智能體"這一概念，開發(fā)出了能夠在現(xiàn)實世界中行走、觀察、操作物品，同時又能夠上網(wǎng)搜索信息、閱讀網(wǎng)頁、進行在線購物的AI系統(tǒng)。這種智能體不僅能夠理解"在網(wǎng)上找到土豆炒蛋的食譜"這樣的數(shù)字任務(wù)，還能夠在現(xiàn)實廚房中識別食材、操作炊具，完成真正的烹飪過程。

為了驗證這種新型智能體的能力，研究團隊構(gòu)建了一個包含約1500個任務(wù)的綜合測試平臺，涵蓋了烹飪、導航、購物、旅游和地理定位五個主要場景。他們使用GPT-4o、Gemini 2.0 Flash、Qwen-VL-Plus和InternVL2.5等當前最先進的大型語言模型進行測試，結(jié)果發(fā)現(xiàn)這些AI系統(tǒng)在跨域任務(wù)上的表現(xiàn)遠遠不如人類。這一發(fā)現(xiàn)不僅揭示了當前AI技術(shù)的局限性，也為未來AI發(fā)展指明了新的方向。

一、當前AI的"數(shù)字-物理"鴻溝究竟有多深

在我們的日常生活中，數(shù)字世界和物理世界的界限正在變得越來越模糊。當你餓了想吃飯時，你可能會先在手機上查看美食應(yīng)用，然后根據(jù)評價和距離選擇餐廳，接著使用地圖導航到達目的地，最后在現(xiàn)實中享用美食。整個過程看似簡單，但實際上需要你的大腦在兩個不同的世界之間無縫切換：一個是充滿信息的數(shù)字世界，另一個是需要實際行動的物理世界。

然而，當前的AI系統(tǒng)卻面臨著嚴重的"分裂癥"問題。一類AI專門處理網(wǎng)絡(luò)信息，它們可以快速搜索數(shù)百萬網(wǎng)頁，理解復雜文本，甚至能夠與人類進行智能對話，但它們就像被困在屏幕里的智慧生物，無法伸出"手"來觸摸現(xiàn)實世界。另一類AI則專注于物理操作，比如工廠里的機器人手臂能夠精準地裝配零件，掃地機器人能夠在房間里自主導航，但它們就像"信息盲人"，無法主動獲取網(wǎng)絡(luò)上的最新信息來優(yōu)化自己的行為。

這種分割帶來了嚴重的實用性問題。以烹飪?yōu)槔?，一個專門處理網(wǎng)絡(luò)信息的AI可以為你推薦完美的食譜，詳細解釋每一個步驟，甚至能夠根據(jù)你的飲食偏好進行個性化調(diào)整。但當涉及到實際烹飪時，它卻無法幫你識別冰箱里的食材是否新鮮，無法判斷炒菜時火候是否合適，更無法在發(fā)現(xiàn)缺少某種調(diào)料時主動建議你去哪家超市購買。

相反，一個專門處理物理任務(wù)的機器人可能能夠切菜、炒菜，甚至完成相當復雜的烹飪動作，但它無法理解"今天想吃點清淡的"這樣的抽象需求，也無法在制作過程中遇到問題時上網(wǎng)查找解決方案。更重要的是，它無法像人類一樣，在烹飪過程中突然想到"這道菜的歷史背景是什么"而去搜索相關(guān)信息，然后在餐桌上與家人分享這些有趣的知識。

研究團隊發(fā)現(xiàn)，這種分割不僅僅是技術(shù)實現(xiàn)上的問題，更是概念框架上的根本缺陷。傳統(tǒng)的AI研究往往將"智能"分為兩個獨立的領(lǐng)域：一個是基于符號和語言的"認知智能"，另一個是基于感知和行動的"具身智能"。這就像試圖分別訓練一個人的左腦和右腦，而忽視了大腦作為一個整體系統(tǒng)的協(xié)調(diào)工作機制。

更深層的問題在于，現(xiàn)實世界的任務(wù)往往天然地需要這兩種能力的協(xié)同。當你在一個陌生城市旅行時，你需要在手機地圖上查找路線（數(shù)字能力），然后在現(xiàn)實街道中按照指示行走（物理能力），在看到有趣的建筑時用搜索引擎查詢其歷史背景（數(shù)字能力），最后拍照留念并在社交媒體上分享（物理+數(shù)字能力的組合）。這種能力的切換是如此自然和頻繁，以至于我們通常意識不到自己在不斷地跨越兩個世界的邊界。

研究團隊意識到，如果AI要真正成為人類的智能助手，它必須能夠像人類一樣在這兩個世界之間自由穿梭。這不僅僅是技術(shù)上的挑戰(zhàn)，更是對AI智能定義的重新思考。他們提出，真正的智能應(yīng)該是"統(tǒng)一的智能"，能夠?qū)?shù)字世界的無限信息資源與物理世界的實際操作能力結(jié)合起來，形成一種全新的智能形態(tài)。

二、革命性的"具身網(wǎng)絡(luò)智能體"橫空出世

面對AI世界中這道看似無法跨越的鴻溝，UCLA研究團隊提出了一個大膽而創(chuàng)新的解決方案：具身網(wǎng)絡(luò)智能體（Embodied Web Agents）。這個概念聽起來可能有些抽象，但可以用一個簡單的比喻來理解：如果傳統(tǒng)的AI是要么只有"大腦"（能思考但不能行動），要么只有"身體"（能行動但缺乏豐富知識），那么具身網(wǎng)絡(luò)智能體就是擁有完整"大腦+身體+互聯(lián)網(wǎng)連接"的智能存在。

這種新型智能體的核心理念是"無縫融合"。它不是簡單地將兩種不同的AI系統(tǒng)拼接在一起，而是從根本上重新設(shè)計了智能體的架構(gòu)，使其能夠像人類一樣自然地在數(shù)字世界和物理世界之間切換。比如，當智能體在廚房里發(fā)現(xiàn)缺少某種食材時，它不需要等待人類的指令，而是能夠主動訪問購物網(wǎng)站，查找該食材的價格和庫存信息，甚至直接下單購買，然后繼續(xù)進行烹飪?nèi)蝿?wù)。

為了實現(xiàn)這一愿景，研究團隊需要解決幾個關(guān)鍵的技術(shù)挑戰(zhàn)。首先是"感知對齊"問題，也就是如何讓智能體將抽象的網(wǎng)絡(luò)指令與具體的物理觀察聯(lián)系起來。比如，當食譜上寫著"將土豆炒至金黃色"時，智能體需要能夠通過視覺觀察判斷土豆是否達到了"金黃色"的狀態(tài)。這要求智能體不僅要理解語言描述，還要能夠?qū)⑦@些描述映射到實際的視覺特征上。

第二個挑戰(zhàn)是"跨域規(guī)劃"問題。在傳統(tǒng)的單域AI系統(tǒng)中，規(guī)劃相對簡單：要么制定一系列網(wǎng)絡(luò)操作步驟，要么規(guī)劃一系列物理動作。但在跨域系統(tǒng)中，智能體需要能夠動態(tài)地決定何時應(yīng)該轉(zhuǎn)向網(wǎng)絡(luò)搜索，何時應(yīng)該回到物理操作，尤其是當兩個域的信息出現(xiàn)沖突時該如何處理。比如，網(wǎng)絡(luò)地圖顯示某條路可以通行，但實際觀察發(fā)現(xiàn)道路正在施工，智能體需要能夠重新規(guī)劃路線。

第三個挑戰(zhàn)是"持續(xù)記憶"問題。由于跨域任務(wù)往往比較復雜且耗時較長，智能體需要能夠在不同域之間保持一致的記憶和狀態(tài)。它需要記住在網(wǎng)絡(luò)上查找到的信息，并在物理操作中應(yīng)用這些信息，同時還要能夠?qū)⑽锢硎澜绲挠^察結(jié)果反饋到網(wǎng)絡(luò)搜索中，形成一個完整的信息循環(huán)。

為了應(yīng)對這些挑戰(zhàn)，研究團隊開發(fā)了一個創(chuàng)新的三層架構(gòu)系統(tǒng)。底層是環(huán)境感知層，包括室內(nèi)3D環(huán)境（基于AI2-THOR平臺）、室外街景環(huán)境（基于Google Street View）和網(wǎng)絡(luò)環(huán)境（包括多個功能性網(wǎng)站）。中層是融合推理層，負責處理跨域的信息整合和決策制定。頂層是任務(wù)執(zhí)行層，能夠根據(jù)當前情況選擇合適的操作模式。

這種架構(gòu)的巧妙之處在于，它將整個系統(tǒng)視為一個統(tǒng)一的狀態(tài)空間，其中物理狀態(tài)和數(shù)字狀態(tài)被平等對待。智能體的每一次決策都可能涉及狀態(tài)空間的跨域轉(zhuǎn)換，比如從"在廚房切菜"轉(zhuǎn)換到"在購物網(wǎng)站查找調(diào)料"，然后再轉(zhuǎn)換到"根據(jù)配送時間調(diào)整烹飪計劃"。這種設(shè)計使得智能體能夠像人類一樣自然地在不同任務(wù)模式之間切換。

更重要的是，這種架構(gòu)支持真正的"協(xié)同智能"。傳統(tǒng)的AI系統(tǒng)往往是"單向"的：要么從輸入到輸出，要么從感知到行動。但具身網(wǎng)絡(luò)智能體創(chuàng)造了一個"多向循環(huán)"：網(wǎng)絡(luò)信息可以指導物理行動，物理觀察可以觸發(fā)網(wǎng)絡(luò)搜索，而新的網(wǎng)絡(luò)信息又可以修正之前的物理操作。這種循環(huán)使得智能體能夠在復雜的現(xiàn)實任務(wù)中表現(xiàn)出真正的適應(yīng)性和創(chuàng)造性。

三、構(gòu)建跨域智能體的技術(shù)魔法

要讓AI智能體同時在數(shù)字世界和物理世界中自如操作，就像要求一個人同時成為出色的網(wǎng)絡(luò)偵探和靈巧的手工藝師。這需要一套完全不同于傳統(tǒng)AI的技術(shù)架構(gòu)。UCLA團隊巧妙地將這個復雜系統(tǒng)分解為三個相互配合的環(huán)境模塊，每個模塊都有其獨特的功能和挑戰(zhàn)。

室外環(huán)境模塊就像為智能體提供了一雙"千里眼"。研究團隊沒有選擇創(chuàng)建虛擬的3D城市模型，而是直接利用了Google Street View的真實街景數(shù)據(jù)。這個決策看似簡單，但實際上解決了一個巨大的技術(shù)難題：如何讓AI在真實世界的復雜環(huán)境中導航。他們選擇了紐約、波士頓、費城和匹茲堡四個城市，這些城市的街道布局復雜多樣，為智能體提供了豐富的測試場景。

這種基于真實數(shù)據(jù)的方法帶來了意想不到的好處。與那些在理想化虛擬環(huán)境中訓練的AI不同，這些智能體需要處理真實世界的"噪音"：模糊的街景圖像、不完整的路標、甚至是拍攝時的天氣條件變化。這些看似"缺陷"的因素實際上讓智能體變得更加robust，更接近人類在現(xiàn)實中面臨的挑戰(zhàn)。智能體需要學會從四個方向的街景圖像中提取有用信息，理解相鄰地點之間的空間關(guān)系，并根據(jù)距離和方向信息做出導航?jīng)Q策。

室內(nèi)環(huán)境模塊則扮演了"精工坊"的角色。基于AI2-THOR平臺，研究團隊創(chuàng)建了高度逼真的廚房場景，其中包含了各種食材、烹飪設(shè)備和存儲容器。這個環(huán)境的精妙之處在于，它不僅僅是靜態(tài)的3D模型，而是一個動態(tài)的物理仿真系統(tǒng)。當智能體切西紅柿時，西紅柿會真的被分成幾塊；當它加熱食物時，食物的狀態(tài)會發(fā)生相應(yīng)變化；當它打開冰箱時，里面的物品布局會根據(jù)之前的操作而改變。

這種動態(tài)特性使得烹飪?nèi)蝿?wù)變得極具挑戰(zhàn)性。智能體不僅需要理解"將雞蛋煎至半熟"這樣的指令，還需要通過視覺觀察來判斷雞蛋是否達到了理想狀態(tài)。它需要學會協(xié)調(diào)多個任務(wù)：一邊攪拌湯，一邊觀察面包的烘烤程度，同時還要記住食譜中的下一個步驟。這種多任務(wù)協(xié)調(diào)能力正是人類烹飪技能的核心，也是傳統(tǒng)AI系統(tǒng)難以掌握的。

網(wǎng)絡(luò)環(huán)境模塊則充當了"信息中樞"的作用。研究團隊沒有簡單地使用現(xiàn)有的網(wǎng)站，而是精心設(shè)計了五個功能性網(wǎng)站，每個都針對特定的任務(wù)需求。食譜網(wǎng)站不僅提供烹飪步驟，還支持基于食材、飲食偏好和難度級別的智能篩選。購物網(wǎng)站模擬了完整的電商體驗，包括商品搜索、價格比較、購物車管理和結(jié)賬流程。地圖網(wǎng)站基于OpenStreetMap，提供交互式的位置搜索和路線規(guī)劃功能。

最有趣的是，這些網(wǎng)站之間通過一個中央"主頁"連接，模擬了真實的網(wǎng)絡(luò)瀏覽體驗。智能體可以在不同網(wǎng)站之間切換，打開多個瀏覽器標簽，甚至需要處理網(wǎng)頁加載時間和網(wǎng)絡(luò)連接問題。這種設(shè)計讓智能體的網(wǎng)絡(luò)行為更加接近人類，需要學會管理注意力和記憶，在復雜的信息環(huán)境中保持任務(wù)焦點。

系統(tǒng)的核心創(chuàng)新在于"狀態(tài)同步"機制。當智能體在物理環(huán)境中發(fā)現(xiàn)缺少某種食材時，這個信息不僅會影響其在廚房中的行為，還會自動觸發(fā)網(wǎng)絡(luò)搜索任務(wù)。智能體會訪問購物網(wǎng)站，查找該食材的可用性和價格，甚至會考慮配送時間對整個烹飪計劃的影響。這種跨域信息流動是傳統(tǒng)AI系統(tǒng)無法實現(xiàn)的，它要求系統(tǒng)在不同的狀態(tài)空間之間建立動態(tài)映射關(guān)系。

更令人印象深刻的是"上下文保持"能力。在復雜的跨域任務(wù)中，智能體需要記住大量的上下文信息：食譜的步驟、購物清單、導航指令、時間約束等等。傳統(tǒng)的AI系統(tǒng)往往在任務(wù)切換時丟失這些信息，但具身網(wǎng)絡(luò)智能體通過創(chuàng)新的記憶架構(gòu)，能夠在不同操作模式之間保持完整的任務(wù)上下文。比如，在前往商店購買食材的路上，它依然記得回到廚房后需要進行的具體烹飪步驟。

四、五大挑戰(zhàn)場景：讓AI接受"現(xiàn)實世界大考"

為了全面測試具身網(wǎng)絡(luò)智能體的能力，UCLA團隊精心設(shè)計了五個不同的挑戰(zhàn)場景，每個場景都模擬了人類日常生活中需要跨域思維的典型情況。這些測試不僅要求智能體掌握單一技能，更要考驗它們在復雜現(xiàn)實情境中的綜合應(yīng)變能力。

導航任務(wù)就像給智能體上了一堂"現(xiàn)實地理課"。這些任務(wù)遠比簡單的"從A點到B點"復雜得多。智能體需要先在OpenStreetMap網(wǎng)站上輸入起點和終點，理解生成的路線指示，然后在真實的街景環(huán)境中按照這些指示進行移動。聽起來簡單，但實際操作中卻充滿挑戰(zhàn)。網(wǎng)絡(luò)地圖可能顯示"向東走300米后左轉(zhuǎn)"，但在實際街景中，智能體需要識別哪個方向是東，如何判斷已經(jīng)走了大約300米，以及在眾多的分岔路口中選擇正確的左轉(zhuǎn)方向。

更復雜的是，網(wǎng)絡(luò)信息和現(xiàn)實觀察之間經(jīng)常出現(xiàn)不一致。地圖上顯示的直路在現(xiàn)實中可能因為施工而被封閉，標注的商店可能已經(jīng)搬遷，甚至街道名稱在地圖和實際路標之間可能存在差異。智能體需要學會在這種不確定性中做出合理的決策，既要相信網(wǎng)絡(luò)信息的總體指導，又要根據(jù)實際觀察靈活調(diào)整路線。

購物任務(wù)則將智能體推入了"消費決策"的復雜世界。這不僅僅是找到商品并點擊購買那么簡單，而是需要綜合考慮多個因素的優(yōu)化問題。比如，任務(wù)可能要求智能體"購買最便宜的有機雞蛋"，這就需要它在購物網(wǎng)站上比較不同商家的價格，理解"有機"這個概念，并考慮配送費用和配送時間等隱性成本。

最有趣的是，購物任務(wù)往往與導航任務(wù)相互交織。智能體可能需要比較在線購買和實體店購買的優(yōu)劣，這就要求它能夠計算前往不同商店的時間成本，評估商品的即時可得性，甚至考慮購物體驗的差異。有些任務(wù)還要求智能體在多個瀏覽器標簽之間切換，同時管理購物網(wǎng)站和地圖網(wǎng)站，這種多任務(wù)處理能力對AI系統(tǒng)來說是極大的挑戰(zhàn)。

旅游任務(wù)將智能體變成了"文化探索者"。這類任務(wù)通常從一個簡單的導航請求開始，比如"從現(xiàn)代藝術(shù)博物館走到洛克菲勒中心"，但在途中會遇到各種有趣的建筑物或地標。智能體需要識別這些地標，然后主動使用Wikipedia搜索相關(guān)信息。比如，當它遇到一座哥特式建筑時，需要拍照記錄，搜索該建筑的歷史背景，了解哥特式建筑風格的特點，甚至可能需要在Reddit等社交平臺上分享自己的發(fā)現(xiàn)和感受。

這種任務(wù)的難點在于"主動探索"和"知識整合"。與傳統(tǒng)的被動式信息檢索不同，智能體需要學會在物理探索過程中主動識別值得關(guān)注的對象，然后將視覺觀察與網(wǎng)絡(luò)知識進行匹配。它需要理解"這座建筑看起來很特別"這種抽象概念，并將其轉(zhuǎn)化為具體的搜索查詢。更重要的是，它需要將獲得的信息與實際觀察相結(jié)合，形成完整的理解。

烹飪?nèi)蝿?wù)可能是所有挑戰(zhàn)中最復雜的，因為它需要精確的物理操作和持續(xù)的狀態(tài)監(jiān)控。智能體需要在食譜網(wǎng)站上找到合適的菜譜，理解復雜的烹飪指令，然后在廚房中執(zhí)行這些指令。但現(xiàn)實中的烹飪遠比食譜描述的復雜：不同的爐灶溫度不同，食材的新鮮程度會影響烹飪時間，甚至環(huán)境濕度都可能影響最終效果。

最有挑戰(zhàn)性的是"動態(tài)適應(yīng)"要求。當智能體發(fā)現(xiàn)缺少某種食材時，它不能簡單地停止任務(wù)，而是需要決定是尋找替代品、在線訂購、還是調(diào)整整個菜譜。這種決策需要綜合考慮時間約束、成本效益、味道影響等多個因素。有時智能體甚至需要在烹飪過程中暫停，上網(wǎng)搜索"如果沒有百里香可以用什么代替"這樣的具體問題。

地理定位任務(wù)則將智能體變成了"地理偵探"。與傳統(tǒng)的圖像識別不同，這種任務(wù)允許智能體在環(huán)境中自由移動，收集多角度的視覺信息，并結(jié)合網(wǎng)絡(luò)搜索來推斷自己的位置。比如，智能體可能看到一個寫著"109"的商店招牌，然后搜索"109商店"，發(fā)現(xiàn)這是日本澀谷的著名地標，從而推斷出自己在東京。

這種任務(wù)的精妙之處在于"信息融合"和"推理鏈構(gòu)建"。智能體需要將多個看似無關(guān)的線索串聯(lián)起來：建筑風格、文字符號、植被類型、天氣狀況等等，然后通過網(wǎng)絡(luò)搜索驗證自己的推測。更有趣的是，即使網(wǎng)絡(luò)搜索結(jié)果不夠準確，搜索過程本身也會幫助智能體形成更清晰的推理思路。

五、當最強AI遭遇現(xiàn)實：令人深思的測試結(jié)果

當研究團隊將當前最先進的AI模型—包括GPT-4o、Gemini 2.0 Flash、Qwen-VL-Plus和InternVL2.5—投入到這些跨域挑戰(zhàn)中時，結(jié)果既令人驚訝又發(fā)人深省。這些在單一領(lǐng)域表現(xiàn)出色的AI巨頭，在面對需要跨域協(xié)作的現(xiàn)實任務(wù)時，表現(xiàn)得就像剛學會走路的孩子一樣磕磕絆絆。

在導航任務(wù)中，表現(xiàn)最好的GPT-4o僅達到了34.72%的總體成功率，這意味著即使是最先進的AI，在十次導航任務(wù)中也會失敗六次以上。更有趣的是，這些AI在處理網(wǎng)絡(luò)部分（比如理解地圖指示）時表現(xiàn)相對較好，達到了69.44%的成功率，但一旦需要將這些指示轉(zhuǎn)化為實際的物理移動，成功率就大幅下降到48.61%。這就像一個人能夠完美地閱讀菜譜，但一進廚房就手忙腳亂。

購物任務(wù)的結(jié)果更加令人擔憂。GPT-4o的總體成功率只有25.46%，這意味著在四次購物任務(wù)中，AI會失敗三次?？紤]到在線購物已經(jīng)是人類的日?；顒樱@樣的成功率顯然遠遠不夠?qū)嵱?。問題的核心在于，AI需要同時處理價格比較、庫存查詢、配送選擇等多個變量，然后還要將在線購買決策與實際的物理位置（比如商店距離）相結(jié)合。

最令人印象深刻的是烹飪?nèi)蝿?wù)的測試結(jié)果。在這個最復雜的跨域挑戰(zhàn)中，即使是表現(xiàn)最好的GPT-4o，其總體成功率也僅有6.4%，而人類的成功率達到了77.08%。這個巨大的差距暴露了當前AI在處理復雜多步驟任務(wù)時的根本性局限。更有趣的是，研究團隊發(fā)現(xiàn)，當使用文本形式（而非視覺形式）描述環(huán)境狀態(tài)時，AI的表現(xiàn)會有所改善，這說明當前的視覺理解能力仍然是AI的一個重要瓶頸。

然而，最令人鼓舞的結(jié)果來自地理定位任務(wù)。在這個任務(wù)中，具身網(wǎng)絡(luò)智能體的表現(xiàn)顯著超越了僅使用靜態(tài)圖像的傳統(tǒng)方法。比如，GPT-4o在靜態(tài)圖像定位中只能達到1.41%的精確定位率，但在允許移動和網(wǎng)絡(luò)搜索的具身環(huán)境中，這個數(shù)字躍升到了3.52%。雖然絕對數(shù)字仍然不高，但這種提升證明了跨域協(xié)作的潛在價值。

深入分析這些失敗案例，研究團隊發(fā)現(xiàn)了一個重要模式：AI的主要問題不在于單一領(lǐng)域的技能缺失，而在于跨域協(xié)調(diào)的困難。在烹飪?nèi)蝿?wù)的錯誤分析中，66.6%的失敗都源于"跨域錯誤"，比如智能體在網(wǎng)絡(luò)和物理環(huán)境之間切換時出現(xiàn)混亂，或者無法將網(wǎng)絡(luò)指示正確映射到物理操作上。

最常見的失敗模式是"單域陷阱"。在23.6%的失敗案例中，智能體會困在物理環(huán)境中重復執(zhí)行無意義的動作，完全忘記了需要返回網(wǎng)絡(luò)獲取下一步指示。另外13.2%的失敗則相反，智能體會困在網(wǎng)絡(luò)環(huán)境中無休止地點擊"下一步"，而忘記了需要回到物理世界執(zhí)行實際操作。這種行為就像一個人在廚房里反復攪拌空鍋，或者在手機上無休止地刷食譜而從不開始烹飪。

還有一類有趣的失敗是"指令-行動錯位"，占總失敗的11.8%。智能體可能理解了"切蘋果"的指令，但實際上卻去切生菜。這種錯誤暴露了當前AI在將抽象語言指令轉(zhuǎn)化為具體物理行動時的困難。它們就像一個聽力很好但手眼協(xié)調(diào)有問題的人，能夠完美理解指示，但在執(zhí)行時卻出現(xiàn)偏差。

更深層的問題在于"上下文丟失"。在長期的跨域任務(wù)中，智能體往往會忘記之前的操作歷史或當前的任務(wù)目標。比如，在購買食材后返回廚房時，它可能已經(jīng)忘記了最初想要制作的菜品，或者在查詢建筑歷史后忘記了原本的導航目標。這種短期記憶問題在人類中也存在，但AI的情況更加嚴重。

六、展望未來：跨域智能的無限可能

盡管當前的測試結(jié)果顯示了巨大的挑戰(zhàn)，但UCLA團隊的研究為AI發(fā)展開辟了一個全新的方向。具身網(wǎng)絡(luò)智能體的概念不僅僅是技術(shù)創(chuàng)新，更是對AI未來形態(tài)的重新想象。這種能夠同時駕馭數(shù)字世界和物理世界的智能體，可能會在未來幾年內(nèi)徹底改變我們與AI交互的方式。

從技術(shù)角度來看，這項研究暴露了當前AI技術(shù)的幾個關(guān)鍵瓶頸，同時也指明了解決方向。首先是"跨域狀態(tài)管理"問題。未來的AI系統(tǒng)需要開發(fā)更強大的記憶架構(gòu)，能夠在不同操作模式之間保持完整的任務(wù)上下文。這可能需要借鑒人類大腦中海馬體的工作機制，開發(fā)能夠動態(tài)編碼和檢索跨域信息的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。

其次是"多模態(tài)融合"能力的提升。當前的AI在將視覺信息、文本信息和空間信息進行整合時仍然存在困難。未來的系統(tǒng)需要能夠像人類一樣，將"這個蘋果看起來很新鮮"的視覺判斷與"食譜要求使用新鮮蘋果"的文本信息無縫結(jié)合，并據(jù)此做出合理的行動決策。

從應(yīng)用前景來看，具身網(wǎng)絡(luò)智能體可能會催生全新的AI應(yīng)用模式。在教育領(lǐng)域，這種智能體可以成為真正的"實踐導師"，不僅傳授理論知識，還能在現(xiàn)實環(huán)境中指導學生進行實際操作。比如，一個化學學習智能體可以在網(wǎng)絡(luò)上查找實驗原理，然后在實驗室中指導學生安全地進行實驗操作。

在醫(yī)療保健領(lǐng)域，具身網(wǎng)絡(luò)智能體可能會成為"全能護理助手"。它們可以在網(wǎng)絡(luò)上查找最新的醫(yī)療指南，然后在現(xiàn)實中協(xié)助醫(yī)生進行診斷和治療。更重要的是，它們可以在家庭環(huán)境中提供持續(xù)的健康監(jiān)護，根據(jù)在線健康數(shù)據(jù)和實際觀察來調(diào)整護理方案。

在城市管理方面，這種智能體可能會成為"智慧城市的神經(jīng)系統(tǒng)"。它們可以同時監(jiān)控網(wǎng)絡(luò)數(shù)據(jù)流和物理基礎(chǔ)設(shè)施，在發(fā)現(xiàn)問題時能夠快速協(xié)調(diào)線上資源和線下行動。比如，當檢測到某個區(qū)域的空氣質(zhì)量下降時，智能體可以同時調(diào)用網(wǎng)絡(luò)數(shù)據(jù)分析污染源，并協(xié)調(diào)實際的環(huán)境治理行動。

然而，這種技術(shù)發(fā)展也帶來了新的挑戰(zhàn)和思考。首先是隱私保護問題。具身網(wǎng)絡(luò)智能體需要同時訪問用戶的物理環(huán)境和網(wǎng)絡(luò)活動，這可能會帶來前所未有的隱私風險。如何在提供智能服務(wù)的同時保護用戶隱私，將成為一個重要的技術(shù)和法律挑戰(zhàn)。

其次是"雙重幻覺"問題。傳統(tǒng)的AI可能在單一領(lǐng)域產(chǎn)生錯誤信息，但跨域AI可能會在兩個領(lǐng)域同時產(chǎn)生錯誤，并且這些錯誤可能會相互強化。比如，智能體可能錯誤地識別了某個地標，然后基于這個錯誤識別在網(wǎng)絡(luò)上搜索了錯誤信息，最終形成完全偏離現(xiàn)實的認知。

最重要的是，我們需要重新思考人機關(guān)系。當AI能夠同時在數(shù)字世界和物理世界中行動時，它們可能會對人類的生活產(chǎn)生更加深刻和直接的影響。如何確保這種影響是積極的，如何在享受智能便利的同時保持人類的自主性和創(chuàng)造性，這些都是需要深入探討的問題。

說到底，UCLA團隊的這項研究雖然揭示了當前AI技術(shù)的局限性，但更重要的是，它為我們描繪了一個AI與人類更加緊密協(xié)作的未來圖景。在這個圖景中，AI不再是被動的工具，而是能夠主動理解和參與人類活動的智能伙伴。雖然距離這個目標還有很長的路要走，但這項研究已經(jīng)為我們指明了前進的方向。

通過構(gòu)建這個包含1500多個跨域任務(wù)的綜合測試平臺，研究團隊不僅創(chuàng)造了一個評估AI跨域能力的標準，更為整個AI研究社區(qū)提供了一個新的研究范式。未來的AI研究可能會越來越關(guān)注這種"統(tǒng)一智能"的發(fā)展，而不是繼續(xù)在分離的領(lǐng)域中各自為政。這種轉(zhuǎn)向可能會帶來AI技術(shù)的重大突破，最終實現(xiàn)真正能夠理解和適應(yīng)復雜現(xiàn)實世界的智能系統(tǒng)。

Q&A

Q1：具身網(wǎng)絡(luò)智能體是什么？它和普通AI有什么區(qū)別？ A：具身網(wǎng)絡(luò)智能體是一種能夠同時在現(xiàn)實世界和網(wǎng)絡(luò)世界中行動的AI系統(tǒng)。與傳統(tǒng)AI不同，它不僅能搜索網(wǎng)絡(luò)信息、理解文本，還能在現(xiàn)實環(huán)境中移動、觀察、操作物品。就像給AI裝上了"身體"和"網(wǎng)絡(luò)連接"，讓它既能動手又能動腦。

Q2：這種AI技術(shù)現(xiàn)在能實際應(yīng)用嗎？成功率怎么樣？ A：目前還不能實際應(yīng)用。測試顯示，即使是最先進的AI模型，在跨域任務(wù)中的成功率也很低。比如在烹飪?nèi)蝿?wù)中，GPT-4o的成功率只有6.4%，而人類達到77%。主要問題是AI無法很好地在物理操作和網(wǎng)絡(luò)搜索之間協(xié)調(diào)。

Q3：這項研究對未來AI發(fā)展有什么意義？ A：這項研究開創(chuàng)了AI研究的新方向，即"統(tǒng)一智能"。它揭示了當前AI的關(guān)鍵局限—無法跨域協(xié)作，并提供了解決思路。未來可能應(yīng)用于智能家居、醫(yī)療護理、教育等領(lǐng)域，讓AI成為真正能理解和參與人類復雜活動的智能伙伴。