這項(xiàng)由俄亥俄州立大學(xué)孫歡教授、蘇宇教授等人領(lǐng)導(dǎo)的國際研究團(tuán)隊(duì)在2025年6月發(fā)表于arXiv平臺，論文編號為arXiv:2506.21506v1，感興趣的讀者可以通過https://osu-nlp-group.github.io/Mind2Web-2/訪問完整研究。

現(xiàn)在的AI搜索已經(jīng)不再是簡單地給你一堆網(wǎng)頁鏈接了。當(dāng)你在Perplexity或ChatGPT Search中提問時(shí)，這些智能助手會(huì)像專業(yè)研究員一樣，主動(dòng)瀏覽網(wǎng)頁、收集信息，然后給你一個(gè)完整的答案。但問題來了：我們?nèi)绾沃肋@些AI搜索到底有多可靠？

設(shè)想一個(gè)場景：你需要為新公寓購買一套白色家具，預(yù)算在200到600美元之間，需要床架、書桌、椅子、落地?zé)艉碗p門衣柜，而且必須從宜家購買。傳統(tǒng)搜索會(huì)讓你在無數(shù)個(gè)網(wǎng)頁間跳轉(zhuǎn)，逐一查看價(jià)格、顏色、規(guī)格。但智能搜索系統(tǒng)會(huì)像貼心的購物助手，自動(dòng)瀏覽宜家網(wǎng)站，篩選符合條件的產(chǎn)品，最后給你一個(gè)完整的購物清單。

然而，當(dāng)前對這類智能搜索系統(tǒng)的評估方法還停留在石器時(shí)代?，F(xiàn)有的測試就像只考察學(xué)生能否正確回答"1+1等于幾"，但實(shí)際應(yīng)用中，智能搜索面對的是"幫我規(guī)劃一個(gè)完整的歐洲旅行路線"這樣的復(fù)雜任務(wù)。

俄亥俄州立大學(xué)的研究團(tuán)隊(duì)意識到了這個(gè)問題。他們開發(fā)了Mind2Web 2測試平臺，這是迄今為止最全面、最現(xiàn)實(shí)的智能搜索評測系統(tǒng)。就像駕照考試需要實(shí)際上路一樣，這個(gè)平臺讓AI系統(tǒng)面對真實(shí)世界的復(fù)雜搜索任務(wù)。

研究團(tuán)隊(duì)花費(fèi)超過1000小時(shí)人工時(shí)間，精心設(shè)計(jì)了130個(gè)現(xiàn)實(shí)任務(wù)。這些任務(wù)涵蓋了生活?yuàn)蕵贰⒖茖W(xué)研究、職業(yè)教育等六大領(lǐng)域，每個(gè)任務(wù)都需要AI系統(tǒng)像真正的研究助手一樣工作：瀏覽多個(gè)網(wǎng)站，收集信息，整合答案，并提供可靠的信息來源。

更重要的是，研究團(tuán)隊(duì)還開發(fā)了"AI判官"系統(tǒng)。傳統(tǒng)評估就像只看答案對不對，但"AI判官"會(huì)像嚴(yán)格的老師一樣，檢查每個(gè)事實(shí)是否有可靠來源支撐，每個(gè)推理步驟是否正確，就像驗(yàn)證一篇研究報(bào)告的嚴(yán)謹(jǐn)性。

經(jīng)過對九個(gè)前沿智能搜索系統(tǒng)的全面測試，研究發(fā)現(xiàn)了一些令人意外的結(jié)果。最強(qiáng)的系統(tǒng)OpenAI Deep Research已經(jīng)能達(dá)到人類表現(xiàn)的50-70%，而且速度快了一倍。但所有系統(tǒng)都在需要實(shí)時(shí)信息的任務(wù)上表現(xiàn)不佳，就像在快速變化的股市中，它們往往提供過時(shí)的信息。

這項(xiàng)研究不僅揭示了當(dāng)前智能搜索的能力邊界，更為未來的發(fā)展指明了方向。正如研究團(tuán)隊(duì)所說，智能搜索正在改變我們與信息世界的互動(dòng)方式，而如何確保這種變化是可靠和有益的，正是這項(xiàng)研究想要回答的核心問題。

一、當(dāng)搜索變得智能：從關(guān)鍵詞到對話

回想一下最初使用搜索引擎的經(jīng)歷。你需要思考用什么關(guān)鍵詞，然后在返回的十個(gè)藍(lán)色鏈接中逐一點(diǎn)擊，自己判斷哪個(gè)網(wǎng)頁有用，最后在大腦中將這些零散信息拼接成答案。這個(gè)過程就像在圖書館里找資料，你需要自己翻閱每本書，然后在腦海中整理出完整的知識結(jié)構(gòu)。

傳統(tǒng)搜索引擎的核心機(jī)制經(jīng)歷了幾十年的發(fā)展。從最初的TF-IDF詞頻統(tǒng)計(jì)，到后來的PageRank網(wǎng)頁排名算法，再到機(jī)器學(xué)習(xí)的排序優(yōu)化，這些技術(shù)讓搜索結(jié)果越來越準(zhǔn)確。但本質(zhì)上，它們?nèi)匀皇?信息檢索員"的角色：幫你找到可能有用的網(wǎng)頁，但理解和整合信息的工作仍然需要你自己完成。

智能搜索的出現(xiàn)徹底改變了這個(gè)模式。現(xiàn)在的系統(tǒng)更像是一個(gè)專業(yè)的研究助理。當(dāng)你提出問題時(shí)，它不會(huì)簡單地返回一堆鏈接，而是會(huì)主動(dòng)分解你的問題，制定搜索策略，在多個(gè)網(wǎng)站間穿梭收集信息，然后像寫報(bào)告一樣給你一個(gè)完整的答案，甚至還會(huì)標(biāo)注每個(gè)信息的來源。

這種轉(zhuǎn)變的背后是大語言模型技術(shù)的突破。這些模型不僅能理解自然語言，還能模擬人類的推理過程。當(dāng)你問"幫我找一個(gè)性價(jià)比高的筆記本電腦"時(shí)，智能搜索會(huì)像人類助手一樣思考：什么是性價(jià)比？用戶可能的用途是什么？需要比較哪些方面？然后有針對性地搜索相關(guān)信息。

從簡單的搜索增強(qiáng)版本（如ChatGPT Search和Perplexity Search），到能夠自主瀏覽網(wǎng)頁的智能代理，再到專門為深度研究設(shè)計(jì)的Deep Research系統(tǒng)，智能搜索正在快速演進(jìn)。最新的系統(tǒng)甚至能像人類研究員一樣，花費(fèi)30分鐘或更長時(shí)間來徹底調(diào)查一個(gè)復(fù)雜問題。

這種變化不僅僅是技術(shù)升級，更是認(rèn)知負(fù)擔(dān)的轉(zhuǎn)移。過去，搜索的認(rèn)知重?fù)?dān)在用戶身上：你需要想關(guān)鍵詞、篩選結(jié)果、理解內(nèi)容、整合信息?，F(xiàn)在，這些工作正在轉(zhuǎn)移給AI系統(tǒng)，讓人類能夠?qū)Ｗ⒂诟邔哟蔚乃伎己蜎Q策。

然而，這種轉(zhuǎn)變也帶來了新的挑戰(zhàn)。當(dāng)AI系統(tǒng)代替我們處理信息收集和初步分析時(shí)，我們?nèi)绾未_保它們的工作是準(zhǔn)確和可靠的？這正是Mind2Web 2研究想要解決的核心問題。

二、評估的困境：如何給看不見的過程打分

評估智能搜索系統(tǒng)就像評估一個(gè)看不見的廚師。傳統(tǒng)搜索引擎的評估相對簡單：給定查詢詞，看返回的網(wǎng)頁是否相關(guān)，排序是否合理。這就像評判圖書管理員，主要看他能否找到正確的書籍。

但智能搜索系統(tǒng)的評估完全不同。系統(tǒng)可能需要一個(gè)小時(shí)，訪問幾十個(gè)網(wǎng)站，執(zhí)行數(shù)百個(gè)操作，最后生成一份包含幾千字的詳細(xì)報(bào)告。這個(gè)過程就像評估一個(gè)專業(yè)顧問：你不僅要看最終報(bào)告的質(zhì)量，還要驗(yàn)證每個(gè)論點(diǎn)是否有充分依據(jù)，每個(gè)數(shù)據(jù)是否準(zhǔn)確可靠。

現(xiàn)有的評估方法存在明顯局限性。許多測試平臺為了便于自動(dòng)評估，只關(guān)注有標(biāo)準(zhǔn)答案的簡單問題。這就像用小學(xué)數(shù)學(xué)題來測試大學(xué)生的數(shù)學(xué)能力一樣不夠全面。這些測試忽略了智能搜索最重要的應(yīng)用場景：處理開放性、復(fù)雜性的現(xiàn)實(shí)問題。

更大的挑戰(zhàn)在于答案的時(shí)效性。智能搜索經(jīng)常需要獲取實(shí)時(shí)信息，比如最新的產(chǎn)品價(jià)格、當(dāng)前的活動(dòng)安排、實(shí)時(shí)的庫存狀態(tài)。傳統(tǒng)評估依賴預(yù)設(shè)的標(biāo)準(zhǔn)答案，但這些答案可能在幾小時(shí)內(nèi)就過時(shí)了。這就像用去年的地圖來測試導(dǎo)航系統(tǒng)的準(zhǔn)確性一樣不現(xiàn)實(shí)。

另一個(gè)復(fù)雜性來自答案的多樣性。同一個(gè)問題，不同的智能搜索系統(tǒng)可能采用完全不同的策略，產(chǎn)生風(fēng)格迥異但都正確的答案。就像讓三個(gè)專家分析同一個(gè)商業(yè)案例，他們可能從不同角度切入，得出不同但都有價(jià)值的洞察。如何公平地評估這些多樣化的答案？

還有一個(gè)關(guān)鍵問題是信息來源的驗(yàn)證。智能搜索系統(tǒng)不僅要給出答案，還要證明答案的可靠性。這需要驗(yàn)證每個(gè)事實(shí)陳述是否確實(shí)來自所引用的網(wǎng)頁，每個(gè)數(shù)據(jù)是否準(zhǔn)確無誤。傳統(tǒng)的自動(dòng)評估很難處理這種細(xì)致的驗(yàn)證工作。

面對這些挑戰(zhàn)，研究團(tuán)隊(duì)意識到需要一套全新的評估方法。這套方法不僅要處理復(fù)雜的、開放性的任務(wù)，還要能夠驗(yàn)證時(shí)效性信息，評估多樣化的答案風(fēng)格，并且能夠細(xì)致地檢查信息來源的可靠性。

Mind2Web 2的創(chuàng)新之處在于，它不回避這些評估難題，而是正面應(yīng)對。研究團(tuán)隊(duì)開發(fā)了能夠處理實(shí)時(shí)信息的任務(wù)設(shè)計(jì)，創(chuàng)建了能夠評估復(fù)雜答案的"AI判官"系統(tǒng)，建立了驗(yàn)證信息來源的嚴(yán)格標(biāo)準(zhǔn)。這套評估框架的目標(biāo)不是簡化問題，而是真實(shí)反映智能搜索在現(xiàn)實(shí)世界中面臨的挑戰(zhàn)。

三、Mind2Web 2：搭建真實(shí)世界的考場

設(shè)計(jì)一個(gè)真正有效的智能搜索評測系統(tǒng)，就像為奧運(yùn)會(huì)設(shè)計(jì)比賽項(xiàng)目。項(xiàng)目既要具有挑戰(zhàn)性，能夠區(qū)分出不同水平的選手，又要貼近實(shí)際應(yīng)用，反映真實(shí)世界的需求。Mind2Web 2正是這樣一個(gè)精心設(shè)計(jì)的"智能搜索奧運(yùn)會(huì)"。

研究團(tuán)隊(duì)首先面臨的是任務(wù)設(shè)計(jì)的挑戰(zhàn)。什么樣的任務(wù)才算是好的測試？經(jīng)過深入思考，他們確定了四個(gè)核心標(biāo)準(zhǔn)。首先是現(xiàn)實(shí)性，任務(wù)必須來自真實(shí)的生活需求，而不是為了測試而生造的人工問題。其次是復(fù)雜性，任務(wù)需要足夠繁瑣，需要大量搜索和信息整合工作，就像現(xiàn)實(shí)中那些讓人頭疼的信息收集任務(wù)。第三是客觀性，任務(wù)的完成標(biāo)準(zhǔn)必須明確，可以通過檢查答案內(nèi)容和信息來源來驗(yàn)證。最后是時(shí)效性，鼓勵(lì)那些需要獲取實(shí)時(shí)信息的任務(wù)，因?yàn)檫@正是智能搜索的重要應(yīng)用場景。

為了確保任務(wù)質(zhì)量，研究團(tuán)隊(duì)建立了嚴(yán)格的三階段流程。就像電影制作有編劇、導(dǎo)演、制片人分工一樣，任務(wù)創(chuàng)建也有三個(gè)不同角色。任務(wù)提議者根據(jù)自己的真實(shí)需求或靈感提出任務(wù)想法，確保初始的現(xiàn)實(shí)性。精化專家與提議者密切合作，反復(fù)修改任務(wù)描述，確保符合所有設(shè)計(jì)標(biāo)準(zhǔn)。驗(yàn)證專家則像嚴(yán)格的質(zhì)檢員，實(shí)際完成每個(gè)任務(wù)，檢查可行性和評估標(biāo)準(zhǔn)的合理性。只有通過至少兩名驗(yàn)證專家獨(dú)立確認(rèn)的任務(wù)才能進(jìn)入最終的測試集。

通過這個(gè)流程，研究團(tuán)隊(duì)最終收集了130個(gè)高質(zhì)量任務(wù)，涵蓋生活?yuàn)蕵?、科學(xué)研究、職業(yè)教育、旅行交通等六大領(lǐng)域24個(gè)子類別。這些任務(wù)的復(fù)雜程度可以從統(tǒng)計(jì)數(shù)據(jù)看出：平均每個(gè)任務(wù)需要人類花費(fèi)18分鐘，訪問8個(gè)網(wǎng)站，瀏覽110個(gè)網(wǎng)頁才能完成。最復(fù)雜的任務(wù)甚至需要44分鐘，訪問31個(gè)網(wǎng)站，瀏覽375個(gè)網(wǎng)頁。

但收集現(xiàn)實(shí)任務(wù)只是第一步，更大的挑戰(zhàn)是如何自動(dòng)評估這些復(fù)雜任務(wù)的答案。傳統(tǒng)的答案匹配方法完全不適用，因?yàn)橥粋€(gè)任務(wù)可能有多種正確的答案方式。研究團(tuán)隊(duì)需要開發(fā)一個(gè)能夠理解答案內(nèi)容、驗(yàn)證信息來源的智能評估系統(tǒng)。

這就引出了Mind2Web 2的另一個(gè)重要?jiǎng)?chuàng)新：基于樹狀結(jié)構(gòu)的評估框架。每個(gè)任務(wù)的評估被分解成一棵樹，樹的葉子節(jié)點(diǎn)是簡單的二元判斷（正確或錯(cuò)誤），內(nèi)部節(jié)點(diǎn)負(fù)責(zé)匯總下級結(jié)果。這種設(shè)計(jì)就像法院的審判程序：復(fù)雜的案件被分解成多個(gè)具體的爭議點(diǎn)，每個(gè)爭議點(diǎn)都有明確的判斷標(biāo)準(zhǔn)，最后根據(jù)各個(gè)爭議點(diǎn)的結(jié)果得出總體判決。

樹狀結(jié)構(gòu)還引入了"關(guān)鍵節(jié)點(diǎn)"和"非關(guān)鍵節(jié)點(diǎn)"的概念。關(guān)鍵節(jié)點(diǎn)代表必須滿足的基本要求，如果失敗就會(huì)導(dǎo)致整個(gè)評估失敗。非關(guān)鍵節(jié)點(diǎn)允許部分得分，反映任務(wù)的增量完成程度。這種設(shè)計(jì)既保證了嚴(yán)格性，又允許合理的靈活性。

最復(fù)雜的評估樹包含603個(gè)節(jié)點(diǎn)，平均每個(gè)任務(wù)有50個(gè)評估節(jié)點(diǎn)。這種細(xì)致程度確保了評估的全面性和公正性，但也帶來了實(shí)施上的挑戰(zhàn)。為了解決這個(gè)問題，研究團(tuán)隊(duì)開發(fā)了"AI判官"系統(tǒng)。

四、AI判官：讓機(jī)器評價(jià)機(jī)器

開發(fā)"AI判官"系統(tǒng)就像訓(xùn)練一位精通各個(gè)領(lǐng)域的專業(yè)評審。這個(gè)系統(tǒng)需要能夠理解復(fù)雜的任務(wù)要求，分析長達(dá)數(shù)千字的答案，驗(yàn)證每個(gè)信息點(diǎn)的準(zhǔn)確性，并且給出公正的評分。

"AI判官"的核心思想來自一個(gè)重要洞察：雖然生成答案很困難，但驗(yàn)證答案相對容易。就像數(shù)學(xué)證明一樣，想出證明可能需要天才的靈感，但驗(yàn)證證明的正確性卻有明確的步驟可循。研究團(tuán)隊(duì)正是利用這種"生成困難，驗(yàn)證相對容易"的不對稱性來設(shè)計(jì)評估系統(tǒng)。

系統(tǒng)的工作流程包含兩個(gè)主要組件：信息提取器和準(zhǔn)確性驗(yàn)證器。信息提取器就像一個(gè)細(xì)心的圖書管理員，能夠從冗長的答案中準(zhǔn)確提取出關(guān)鍵信息，比如產(chǎn)品名稱、價(jià)格、網(wǎng)頁鏈接等。驗(yàn)證器則像一個(gè)嚴(yán)格的事實(shí)核查員，會(huì)將提取的信息與原始網(wǎng)頁內(nèi)容進(jìn)行對比，判斷是否準(zhǔn)確一致。

為了確保驗(yàn)證的準(zhǔn)確性，研究團(tuán)隊(duì)開發(fā)了網(wǎng)頁緩存系統(tǒng)。每當(dāng)需要驗(yàn)證某個(gè)信息時(shí)，系統(tǒng)會(huì)保存相關(guān)網(wǎng)頁在答案生成時(shí)刻的快照。這樣即使網(wǎng)頁內(nèi)容后來發(fā)生變化，評估仍然基于答案生成時(shí)的實(shí)際情況。這種設(shè)計(jì)就像法庭證據(jù)保全，確保評估的一致性和公平性。

"AI判官"的開發(fā)過程也很巧妙。考慮到手工編寫每個(gè)任務(wù)的評估程序工作量巨大，研究團(tuán)隊(duì)開發(fā)了自動(dòng)代碼生成流程。他們首先讓大語言模型根據(jù)任務(wù)描述和評估框架自動(dòng)生成初始評估代碼，然后通過自動(dòng)調(diào)試和自我反思來改進(jìn)代碼質(zhì)量，最后由人類專家進(jìn)行最終驗(yàn)證和優(yōu)化。

這個(gè)過程就像軟件開發(fā)中的持續(xù)集成：機(jī)器負(fù)責(zé)編寫初始代碼和基本測試，人類專家負(fù)責(zé)代碼審查和質(zhì)量把關(guān)。通過這種人機(jī)協(xié)作的方式，研究團(tuán)隊(duì)在保證質(zhì)量的同時(shí)大大提高了開發(fā)效率。

為了驗(yàn)證"AI判官"的可靠性，研究團(tuán)隊(duì)進(jìn)行了嚴(yán)格的人工評估。他們讓熟悉任務(wù)但不了解評估系統(tǒng)的專家獨(dú)立評估一批答案，然后與"AI判官"的結(jié)果進(jìn)行對比。結(jié)果顯示，"AI判官"的準(zhǔn)確率達(dá)到99%，遠(yuǎn)超之前類似系統(tǒng)通常低于90%的表現(xiàn)。

這種高準(zhǔn)確率的背后是精心設(shè)計(jì)的評估架構(gòu)。通過將復(fù)雜評估分解為簡單的二元判斷，利用明確的驗(yàn)證標(biāo)準(zhǔn)，結(jié)合人工驗(yàn)證和機(jī)器自動(dòng)化的優(yōu)勢，"AI判官"系統(tǒng)實(shí)現(xiàn)了既嚴(yán)格又可擴(kuò)展的評估能力。

更重要的是，這個(gè)系統(tǒng)是開放和透明的。每個(gè)評估決定都有明確的依據(jù)和推理過程，研究人員可以檢查和改進(jìn)評估邏輯。這種透明性對于建立對評估結(jié)果的信任至關(guān)重要。

五、九大智能搜索系統(tǒng)的實(shí)力大比拼

在Mind2Web 2的考場上，九個(gè)代表當(dāng)前最高水平的智能搜索系統(tǒng)同臺競技。這場比試就像一次全面的技能測試，不僅要看最終成績，還要分析每個(gè)系統(tǒng)的優(yōu)勢和弱點(diǎn)。

參賽選手涵蓋了智能搜索的三大流派。第一類是搜索增強(qiáng)型系統(tǒng)，以ChatGPT Search和Perplexity Pro Search為代表。這類系統(tǒng)就像配備了搜索工具的聊天機(jī)器人，能夠快速給出簡潔的答案，但搜索深度有限。第二類是網(wǎng)頁瀏覽型系統(tǒng)，以O(shè)penAI Operator為代表。這類系統(tǒng)能夠像人類一樣直接操作瀏覽器，點(diǎn)擊、滾動(dòng)、填寫表單，獲取搜索引擎無法索引的動(dòng)態(tài)內(nèi)容。第三類是深度研究型系統(tǒng)，包括OpenAI Deep Research、Gemini Deep Research、Grok DeepSearch等。這類系統(tǒng)專門為復(fù)雜研究任務(wù)設(shè)計(jì)，能夠持續(xù)工作30分鐘甚至更長時(shí)間，像專業(yè)研究員一樣進(jìn)行深入調(diào)查。

測試結(jié)果揭示了一些意外的發(fā)現(xiàn)。在整體表現(xiàn)上，深度研究型系統(tǒng)明顯優(yōu)于其他類型。最強(qiáng)的OpenAI Deep Research在部分完成度上達(dá)到54%，完全成功率為28%，而搜索增強(qiáng)型系統(tǒng)的部分完成度只有26-28%，完全成功率僅為6-8%。

令人驚訝的是，OpenAI Operator這個(gè)被寄予厚望的網(wǎng)頁瀏覽系統(tǒng)表現(xiàn)并不理想。部分完成度只有26%，甚至低于一些深度研究系統(tǒng)。深入分析發(fā)現(xiàn)，雖然Operator能夠像人類一樣瀏覽網(wǎng)頁，但它在長期記憶管理和信息整合方面存在明顯短板。在處理需要訪問數(shù)十個(gè)網(wǎng)頁、整合大量信息的復(fù)雜任務(wù)時(shí)，它往往會(huì)"迷失方向"，無法保持一致的搜索策略。

時(shí)間與質(zhì)量的關(guān)系也很有趣。數(shù)據(jù)顯示，投入更多時(shí)間通常能獲得更好的結(jié)果。深度研究系統(tǒng)平均花費(fèi)5-8分鐘完成任務(wù)，而搜索增強(qiáng)系統(tǒng)幾乎在1分鐘內(nèi)就給出答案。這種差異反映了不同系統(tǒng)的設(shè)計(jì)哲學(xué)：是要快速響應(yīng)還是深度分析？

答案長度的差異更加極端。Gemini Deep Research平均生成3357字的詳細(xì)報(bào)告，而OpenAI Operator只生成160字的簡潔答案。有趣的是，答案長度與質(zhì)量并不總是正相關(guān)。一些系統(tǒng)生成了數(shù)千字的華麗報(bào)告，但關(guān)鍵信息的準(zhǔn)確性并不比簡潔答案更好。這提醒我們，在信息時(shí)代，價(jià)值在于準(zhǔn)確性和相關(guān)性，而不是篇幅。

人類表現(xiàn)提供了重要的參照基準(zhǔn)。在30個(gè)樣本任務(wù)上，人類的部分完成度達(dá)到79%，完全成功率為54%，但平均需要18分鐘。最好的AI系統(tǒng)已經(jīng)能達(dá)到人類表現(xiàn)的50-70%，而且速度快了一倍。這表明AI系統(tǒng)在某些方面已經(jīng)展現(xiàn)出實(shí)用價(jià)值。

更細(xì)致的分析揭示了不同系統(tǒng)的特色。OpenAI Deep Research在準(zhǔn)確性和效率之間達(dá)到了很好的平衡，既能深入研究又能控制答案長度。Grok系統(tǒng)在處理需要大量細(xì)節(jié)的任務(wù)時(shí)表現(xiàn)出色，但有時(shí)會(huì)過度冗長。搜索增強(qiáng)系統(tǒng)雖然快速，但經(jīng)常在復(fù)雜任務(wù)的中途"放棄"，無法完成深入的信息收集。

最重要的發(fā)現(xiàn)是關(guān)于時(shí)效性任務(wù)。研究團(tuán)隊(duì)特別標(biāo)記了57個(gè)需要實(shí)時(shí)信息的任務(wù)，如查詢當(dāng)前價(jià)格、驗(yàn)證最新可用性等。結(jié)果顯示，大多數(shù)系統(tǒng)在這類任務(wù)上表現(xiàn)明顯下降。只有具備實(shí)時(shí)網(wǎng)頁瀏覽能力的系統(tǒng)（如OpenAI Operator和OpenAI Deep Research）能夠在時(shí)效性任務(wù)上保持相對穩(wěn)定的表現(xiàn)。

六、錯(cuò)誤模式解析：AI搜索的軟肋在哪里

深入分析智能搜索系統(tǒng)的錯(cuò)誤模式，就像醫(yī)生診斷病情一樣，能夠幫助我們理解這些系統(tǒng)的局限性和改進(jìn)方向。研究團(tuán)隊(duì)對30個(gè)樣本任務(wù)進(jìn)行了詳細(xì)的錯(cuò)誤分析，發(fā)現(xiàn)了一些令人擔(dān)憂但也啟發(fā)性的問題。

最嚴(yán)重的問題是信息幻覺。幾乎所有系統(tǒng)都存在編造信息的現(xiàn)象，就像一個(gè)不誠實(shí)的顧問，為了顯得博學(xué)而隨口胡謅。即使是表現(xiàn)最好的OpenAI Deep Research，也有23%的任務(wù)出現(xiàn)信息幻覺。其他系統(tǒng)的幻覺率更是高達(dá)50%以上。這些幻覺主要表現(xiàn)為兩種形式：編造根本不存在的網(wǎng)頁鏈接，或者聲稱某個(gè)網(wǎng)頁支持某個(gè)觀點(diǎn)，但實(shí)際檢查發(fā)現(xiàn)網(wǎng)頁內(nèi)容完全不相關(guān)。

信息遺漏是另一個(gè)普遍問題。許多系統(tǒng)就像懶惰的學(xué)生，完成作業(yè)時(shí)偷工減料。比如任務(wù)要求找到2004-2024年的諾貝爾物理學(xué)獎(jiǎng)獲得者，但系統(tǒng)只提供了2004-2014年的信息就聲稱完成了。這種不完整性在搜索增強(qiáng)型系統(tǒng)中特別明顯，它們往往在搜索幾輪后就"滿足"于部分結(jié)果。

標(biāo)準(zhǔn)違反錯(cuò)誤反映了系統(tǒng)理解能力的不足。就像顧客要求預(yù)算200-600美元的購物清單，但系統(tǒng)卻推薦了總價(jià)1277美元的商品。有趣的是，這類錯(cuò)誤在人類身上也很常見，主要是因?yàn)槿蝿?wù)的復(fù)雜性導(dǎo)致注意力分散。但令人意外的是，一些AI系統(tǒng)在遵循明確規(guī)則方面反而比疲勞的人類表現(xiàn)更好。

最技術(shù)性的錯(cuò)誤是信息來源問題。系統(tǒng)經(jīng)常提供失效的鏈接，或者引用了完全不相關(guān)的網(wǎng)頁。這就像學(xué)術(shù)論文中的引用錯(cuò)誤，嚴(yán)重影響了可信度。分析發(fā)現(xiàn)，一些系統(tǒng)會(huì)直接生成"看起來正確"的URL，而不是真正訪問這些網(wǎng)頁。這種做法就像偽造參考文獻(xiàn)一樣，是對用戶信任的嚴(yán)重背叛。

開源系統(tǒng)面臨特殊挑戰(zhàn)。HuggingFace Open Deep Research作為唯一的開源系統(tǒng)，經(jīng)常出現(xiàn)系統(tǒng)性錯(cuò)誤，如無法正確調(diào)用搜索工具或生成無效代碼。這表明僅僅使用現(xiàn)成的大語言模型，而不進(jìn)行專門訓(xùn)練，很難構(gòu)建可靠的智能搜索系統(tǒng)。這就像用通用工具來做專業(yè)工作，往往力不從心。

人類錯(cuò)誤提供了有趣的對比。人類的錯(cuò)誤主要來自粗心大意：拼寫錯(cuò)誤、事實(shí)記憶錯(cuò)誤、注意力不集中導(dǎo)致的遺漏。這些錯(cuò)誤大多是一次性的，不會(huì)系統(tǒng)性地重復(fù)。相比之下，AI系統(tǒng)的錯(cuò)誤往往是系統(tǒng)性的，反映了訓(xùn)練或設(shè)計(jì)中的根本問題。

網(wǎng)頁瀏覽系統(tǒng)的特殊問題也值得關(guān)注。OpenAI Operator雖然能像人類一樣瀏覽網(wǎng)頁，但經(jīng)常出現(xiàn)"導(dǎo)航失誤"：明明訪問了正確的網(wǎng)頁，但在最終答案中卻報(bào)告了錯(cuò)誤的鏈接。這就像一個(gè)導(dǎo)游帶你找到了目的地，但在報(bào)告中卻寫成了其他地址。這種錯(cuò)誤可能源于長上下文管理的困難，系統(tǒng)在處理大量信息時(shí)容易混淆細(xì)節(jié)。

綜合錯(cuò)誤模式的分析，可以看出當(dāng)前智能搜索系統(tǒng)的三大軟肋：可靠性不足（容易幻覺）、完整性欠缺（容易偷懶）、準(zhǔn)確性有待提高（容易出錯(cuò)）。這些問題并非無法解決，但需要在系統(tǒng)設(shè)計(jì)、訓(xùn)練方法、評估標(biāo)準(zhǔn)等多個(gè)層面進(jìn)行改進(jìn)。

七、人類與AI的正面較量

在Mind2Web 2的競技場上，最引人關(guān)注的對決是人類與AI的直接比較。研究團(tuán)隊(duì)邀請了經(jīng)驗(yàn)豐富的人類完成者參與測試，為AI系統(tǒng)的表現(xiàn)提供了最直觀的參照標(biāo)準(zhǔn)。

人類完成者的表現(xiàn)設(shè)定了一個(gè)現(xiàn)實(shí)的上限。在30個(gè)樣本任務(wù)中，人類的部分完成度達(dá)到79%，完全成功率為54%。這個(gè)結(jié)果看似不高，但考慮到任務(wù)的復(fù)雜性，實(shí)際上反映了現(xiàn)實(shí)世界中信息搜索的真實(shí)難度。即使是經(jīng)驗(yàn)豐富的人類，面對需要訪問數(shù)十個(gè)網(wǎng)站、處理數(shù)百個(gè)網(wǎng)頁的復(fù)雜任務(wù)時(shí)，也會(huì)感到認(rèn)知負(fù)擔(dān)過重。

時(shí)間投入的對比特別有啟發(fā)性。人類平均需要18分鐘完成一個(gè)任務(wù)，最長的任務(wù)甚至需要44分鐘。而最好的AI系統(tǒng)OpenAI Deep Research平均只需要8分鐘，幾乎快了一倍。這種效率優(yōu)勢對于實(shí)際應(yīng)用具有重要意義，特別是對于那些需要頻繁進(jìn)行信息搜索的專業(yè)工作。

更細(xì)致的行為分析揭示了人類和AI的不同工作模式。人類傾向于采用"廣度優(yōu)先"的搜索策略，先快速瀏覽多個(gè)信息源，建立整體認(rèn)知框架，然后再深入具體細(xì)節(jié)。AI系統(tǒng)則更多采用"深度優(yōu)先"的方式，往往在單個(gè)信息源上花費(fèi)更多時(shí)間，進(jìn)行更徹底的分析。

在錯(cuò)誤模式上，人類和AI表現(xiàn)出互補(bǔ)的特點(diǎn)。人類的錯(cuò)誤主要來自認(rèn)知疲勞和注意力分散：長時(shí)間搜索后容易出現(xiàn)拼寫錯(cuò)誤、事實(shí)記憶錯(cuò)誤、遺漏重要信息等。這些錯(cuò)誤往往是隨機(jī)的、一次性的。相比之下，AI系統(tǒng)很少出現(xiàn)"累了"或"分心"導(dǎo)致的錯(cuò)誤，但容易出現(xiàn)系統(tǒng)性的問題，如信息幻覺或邏輯推理錯(cuò)誤。

在某些特定類型的任務(wù)上，AI系統(tǒng)甚至超越了人類表現(xiàn)。特別是那些需要大量細(xì)節(jié)核對、數(shù)據(jù)整理、格式標(biāo)準(zhǔn)化的任務(wù)。人類在處理這類重復(fù)性、精確性要求高的工作時(shí)容易出錯(cuò)，而AI系統(tǒng)能夠保持一致的準(zhǔn)確性。這就像計(jì)算器在數(shù)學(xué)運(yùn)算上超越人類一樣，AI在某些認(rèn)知任務(wù)上也展現(xiàn)出了優(yōu)勢。

但人類在創(chuàng)造性思維和常識推理方面仍然保持優(yōu)勢。當(dāng)任務(wù)需要跨領(lǐng)域的知識整合、創(chuàng)新性的問題解決方案或者對隱含信息的推理時(shí)，人類往往能夠找到AI系統(tǒng)忽略的解決路徑。這種差異反映了當(dāng)前AI系統(tǒng)在創(chuàng)造性和靈活性方面的局限。

最有趣的發(fā)現(xiàn)是關(guān)于時(shí)效性任務(wù)的表現(xiàn)。人類和具備實(shí)時(shí)瀏覽能力的AI系統(tǒng)在需要最新信息的任務(wù)上表現(xiàn)相當(dāng)，這表明實(shí)時(shí)信息獲取能力對于智能搜索的重要性。那些只能依賴搜索引擎索引的系統(tǒng)在這類任務(wù)上明顯落后。

協(xié)作潛力的發(fā)現(xiàn)也很重要。數(shù)據(jù)顯示，人類和AI的錯(cuò)誤類型往往不重疊，這意味著人機(jī)協(xié)作可能比單獨(dú)使用任一方都更有效。AI可以承擔(dān)大量的信息收集和初步分析工作，而人類可以負(fù)責(zé)最終的判斷、創(chuàng)造性整合和質(zhì)量把關(guān)。

這種比較最終揭示了一個(gè)重要洞察：當(dāng)前階段的智能搜索并不是要完全替代人類，而是要成為強(qiáng)大的認(rèn)知工具。最好的AI系統(tǒng)已經(jīng)能夠處理大部分繁重的信息搜索工作，讓人類能夠?qū)⒂邢薜恼J(rèn)知資源集中在更有價(jià)值的思考和決策上。

八、AI判官系統(tǒng)的可靠性驗(yàn)證

開發(fā)出"AI判官"系統(tǒng)只是第一步，證明它的可靠性才是關(guān)鍵。就像新藥上市前需要嚴(yán)格的臨床試驗(yàn)一樣，AI評估系統(tǒng)也需要接受人類專家的嚴(yán)格檢驗(yàn)。研究團(tuán)隊(duì)設(shè)計(jì)了一套全面的驗(yàn)證流程，來測試"AI判官"是否真的能夠勝任這項(xiàng)重要工作。

驗(yàn)證過程分為兩個(gè)層次。首先是整體評估框架的合理性檢驗(yàn)。研究團(tuán)隊(duì)邀請了一位經(jīng)驗(yàn)豐富但從未參與系統(tǒng)開發(fā)的專家，獨(dú)立審查15個(gè)任務(wù)的評估框架。這位專家就像第三方審計(jì)員，需要判斷每個(gè)評估樹的設(shè)計(jì)是否合理、全面、公正。

結(jié)果令人鼓舞：專家對所有15個(gè)評估框架都表示完全同意，認(rèn)為它們準(zhǔn)確反映了任務(wù)要求，評估邏輯清晰合理。對于其中兩個(gè)框架，專家提出了關(guān)于評分嚴(yán)格程度的建議，但同時(shí)也承認(rèn)現(xiàn)有設(shè)計(jì)是合理的。這種高度一致性表明，"AI判官"的設(shè)計(jì)理念和實(shí)施方案得到了專業(yè)認(rèn)可。

更嚴(yán)格的測試來自節(jié)點(diǎn)級別的詳細(xì)比較。研究團(tuán)隊(duì)讓同一位專家對720個(gè)具體評估節(jié)點(diǎn)進(jìn)行獨(dú)立判斷，然后與"AI判官"的結(jié)果進(jìn)行逐一對比。這就像讓兩位醫(yī)生獨(dú)立診斷同一批病例，然后比較診斷結(jié)果的一致性。

初步比較發(fā)現(xiàn)了35個(gè)不一致的判斷。但深入分析后發(fā)現(xiàn)，其中27個(gè)差異實(shí)際上是人類專家的錯(cuò)誤。這個(gè)發(fā)現(xiàn)本身就很有意義：它說明了復(fù)雜答案評估的認(rèn)知負(fù)擔(dān)是如此之重，即使是經(jīng)驗(yàn)豐富的專家也容易在長時(shí)間、高強(qiáng)度的評估工作中出錯(cuò)。這進(jìn)一步證明了自動(dòng)化評估系統(tǒng)的必要性。

剩下的8個(gè)真正分歧中，有3個(gè)源于"AI判官"過于嚴(yán)格或?qū)捤傻呐袛鄻?biāo)準(zhǔn)，4個(gè)源于網(wǎng)頁信息隱藏在折疊內(nèi)容中導(dǎo)致的自動(dòng)檢索失敗，1個(gè)源于多個(gè)信息源之間的不一致。排除人為錯(cuò)誤和信息源不一致的情況，"AI判官"在720個(gè)判斷中只有7個(gè)錯(cuò)誤，準(zhǔn)確率達(dá)到99.03%。

這個(gè)準(zhǔn)確率遠(yuǎn)超之前類似系統(tǒng)的表現(xiàn)。傳統(tǒng)的網(wǎng)頁任務(wù)自動(dòng)評估方法通常只能達(dá)到90%以下的準(zhǔn)確率，而Mind2Web 2的"AI判官"系統(tǒng)實(shí)現(xiàn)了質(zhì)的飛躍。這種提升主要?dú)w功于三個(gè)方面的創(chuàng)新：樹狀結(jié)構(gòu)將復(fù)雜評估分解為簡單判斷，基于大語言模型的智能驗(yàn)證器能夠理解自然語言內(nèi)容，以及嚴(yán)格的人工驗(yàn)證和改進(jìn)流程。

驗(yàn)證過程還揭示了一些有趣的細(xì)節(jié)。比如，人類專家在處理大量重復(fù)性判斷時(shí)容易出現(xiàn)"疲勞錯(cuò)誤"，而AI系統(tǒng)能夠保持一致的判斷標(biāo)準(zhǔn)。另一方面，AI系統(tǒng)有時(shí)會(huì)因?yàn)檫^度嚴(yán)格的字面匹配而錯(cuò)過語義相等的表達(dá)，這需要在系統(tǒng)設(shè)計(jì)中加入更多的語義理解能力。

最重要的是，這次驗(yàn)證證明了"AI判官"系統(tǒng)的透明性和可解釋性。每個(gè)判斷都有明確的依據(jù)和推理過程，人類專家可以理解和驗(yàn)證系統(tǒng)的決策邏輯。這種透明性對于建立對自動(dòng)評估系統(tǒng)的信任至關(guān)重要，也為未來的改進(jìn)提供了明確的方向。

整個(gè)驗(yàn)證過程本身也成為了系統(tǒng)改進(jìn)的重要輸入。基于專家反饋，研究團(tuán)隊(duì)對部分評估邏輯進(jìn)行了優(yōu)化，提高了系統(tǒng)處理邊緣情況的能力。這種持續(xù)改進(jìn)的機(jī)制確保了"AI判官"系統(tǒng)能夠不斷提升其評估質(zhì)量。

九、未來展望：智能搜索的發(fā)展方向

Mind2Web 2的研究結(jié)果不僅揭示了當(dāng)前智能搜索系統(tǒng)的能力邊界，更重要的是為未來發(fā)展指明了方向。就像GPS導(dǎo)航告訴我們當(dāng)前位置和目的地一樣，這項(xiàng)研究為智能搜索的進(jìn)步提供了清晰的路線圖。

實(shí)時(shí)信息處理能力是最緊迫的改進(jìn)方向。研究發(fā)現(xiàn)，幾乎所有系統(tǒng)在處理時(shí)效性任務(wù)時(shí)表現(xiàn)都明顯下降。這個(gè)問題的根源在于，許多系統(tǒng)過度依賴搜索引擎的預(yù)建索引，而無法獲取那些需要實(shí)時(shí)交互才能獲得的信息。未來的智能搜索系統(tǒng)需要更好地集成網(wǎng)頁瀏覽能力，能夠像人類一樣直接與動(dòng)態(tài)網(wǎng)站交互。

信息可靠性是另一個(gè)關(guān)鍵挑戰(zhàn)。當(dāng)前系統(tǒng)普遍存在的信息幻覺問題嚴(yán)重影響了用戶信任。解決這個(gè)問題需要從多個(gè)角度入手：改進(jìn)訓(xùn)練方法以減少模型的幻覺傾向，開發(fā)更強(qiáng)的事實(shí)驗(yàn)證機(jī)制，建立信息來源的可信度評估體系。更重要的是，系統(tǒng)需要學(xué)會(huì)誠實(shí)地承認(rèn)不確定性，而不是編造看似合理的答案。

長期記憶和信息整合能力需要大幅提升。當(dāng)前的系統(tǒng)在處理需要整合大量信息的復(fù)雜任務(wù)時(shí)經(jīng)常"力不從心"。這就像一個(gè)研究員在圖書館里迷路，雖然能夠閱讀每本書，但無法將不同書籍的信息有效整合。未來系統(tǒng)需要開發(fā)更好的工作記憶管理機(jī)制，能夠在長時(shí)間的搜索過程中保持一致的策略和目標(biāo)。

個(gè)性化和適應(yīng)性也是重要的發(fā)展方向。不同用戶對信息的需求、理解水平、使用習(xí)慣都不相同。一個(gè)為學(xué)術(shù)研究者設(shè)計(jì)的深度分析可能對普通消費(fèi)者來說過于復(fù)雜，而簡化的答案又可能無法滿足專業(yè)用戶的需求。未來的智能搜索需要能夠根據(jù)用戶特點(diǎn)和情境調(diào)整其搜索策略和答案風(fēng)格。

多模態(tài)信息處理是另一個(gè)有潛力的方向。當(dāng)前的系統(tǒng)主要處理文本信息，但現(xiàn)實(shí)世界的信息往往包含圖像、視頻、音頻等多種形式。能夠理解和整合多模態(tài)信息的系統(tǒng)將能夠處理更廣泛的任務(wù)，提供更豐富的答案。

評估方法的持續(xù)改進(jìn)也至關(guān)重要。Mind2Web 2雖然在評估復(fù)雜性和現(xiàn)實(shí)性方面取得了突破，但仍有改進(jìn)空間。比如，如何評估創(chuàng)造性答案的質(zhì)量？如何處理主觀性較強(qiáng)的任務(wù)？如何平衡自動(dòng)評估的效率和人工評估的準(zhǔn)確性？這些都是需要持續(xù)探索的問題。

人機(jī)協(xié)作模式的探索可能是最有前途的方向。研究結(jié)果表明，人類和AI在不同類型的錯(cuò)誤上表現(xiàn)出互補(bǔ)性，這意味著最佳的解決方案可能不是完全的AI自動(dòng)化，而是智能的人機(jī)分工。AI負(fù)責(zé)大量的信息收集和初步分析，人類負(fù)責(zé)創(chuàng)造性思考和最終決策。

開源生態(tài)系統(tǒng)的建設(shè)也很重要。目前表現(xiàn)出色的智能搜索系統(tǒng)主要由大型科技公司開發(fā)，普通研究者和開發(fā)者很難參與改進(jìn)。建設(shè)開源的智能搜索平臺，分享數(shù)據(jù)集、模型和評估工具，將有助于加速整個(gè)領(lǐng)域的發(fā)展。

最后，倫理和安全考慮將變得越來越重要。隨著智能搜索系統(tǒng)變得更加強(qiáng)大和普及，它們對信息生態(tài)的影響也會(huì)更加深遠(yuǎn)。如何確保這些系統(tǒng)不會(huì)傳播錯(cuò)誤信息？如何保護(hù)用戶隱私？如何防止惡意使用？這些問題需要技術(shù)界、學(xué)術(shù)界和政策制定者的共同努力。

說到底，Mind2Web 2的研究告訴我們，智能搜索正處在一個(gè)關(guān)鍵的轉(zhuǎn)折點(diǎn)。當(dāng)前的系統(tǒng)已經(jīng)展現(xiàn)出令人鼓舞的能力，在某些方面甚至超越了人類表現(xiàn)。但要真正實(shí)現(xiàn)"智能助理"的愿景，還需要在可靠性、實(shí)時(shí)性、集成能力等多個(gè)方面取得突破。

這個(gè)過程就像人類從學(xué)會(huì)走路到能夠奔跑一樣，需要時(shí)間、耐心和持續(xù)的努力。但可以肯定的是，隨著技術(shù)的不斷進(jìn)步和評估方法的不斷完善，我們正在朝著一個(gè)更智能、更可靠、更有用的信息世界穩(wěn)步前進(jìn)。那個(gè)時(shí)候，搜索信息將變得像問朋友問題一樣簡單自然，而我們的認(rèn)知能力將被解放出來，用于更有創(chuàng)造性和意義的思考。

Q&A

Q1：Mind2Web 2是什么？它與傳統(tǒng)搜索評測有什么不同？ A：Mind2Web 2是俄亥俄州立大學(xué)開發(fā)的智能搜索評測平臺，專門測試ChatGPT Search、Perplexity等AI搜索系統(tǒng)。與傳統(tǒng)評測不同，它包含130個(gè)現(xiàn)實(shí)復(fù)雜任務(wù)，需要AI系統(tǒng)像研究員一樣花費(fèi)數(shù)十分鐘瀏覽多個(gè)網(wǎng)站并整合信息，而不是簡單的關(guān)鍵詞匹配。

Q2：AI搜索系統(tǒng)目前的表現(xiàn)如何？能替代人類搜索嗎？ A：最好的系統(tǒng)(OpenAI Deep Research)已達(dá)到人類表現(xiàn)的50-70%，速度還快一倍。但所有系統(tǒng)都存在信息幻覺問題，準(zhǔn)確率還需提升。目前更適合作為人類助手，承擔(dān)繁重的信息收集工作，而非完全替代。

Q3：什么是"AI判官"系統(tǒng)？它可靠嗎？ A："AI判官"是研究團(tuán)隊(duì)開發(fā)的自動(dòng)評估系統(tǒng)，能夠驗(yàn)證AI搜索答案的準(zhǔn)確性和信息來源可靠性。經(jīng)過嚴(yán)格測試，其準(zhǔn)確率達(dá)到99%，遠(yuǎn)超之前同類系統(tǒng)的90%以下表現(xiàn)，可以有效評估復(fù)雜的、包含數(shù)千字的AI搜索答案。