就在幾個月前，斯坦福大學安全AI中心的研究團隊發(fā)表了一項引人深思的研究成果。這項由Long Phan、Mantas Mazeika、Andy Zou和Dan Hendrycks領(lǐng)導的研究發(fā)表于2025年8月，論文題目為《TEXTQUESTS: HOW GOOD ARE LLMS AT TEXT-BASED VIDEO GAMES?》，有興趣深入了解的讀者可以通過arXiv:2507.23701v2訪問完整論文。

這個研究團隊做了一件看似簡單卻意義深遠的事情：他們讓當今最先進的大語言模型去玩1980年代的經(jīng)典文字冒險游戲。聽起來好像是在開玩笑，但實際上這是一個非常嚴肅的科學實驗。研究人員選擇了25款來自著名游戲公司Infocom的經(jīng)典作品，包括大家可能聽說過的《銀河系漫游指南》和《魔域傳奇》等游戲。

為什么要讓AI玩這些老游戲呢？答案比你想象的更有趣。這些文字冒險游戲就像是一個完美的實驗室，可以測試AI在復雜環(huán)境中的推理能力。當人類玩家玩這些游戲時，需要記住大量信息，從錯誤中學習，制定長期策略，并且要有極強的耐心——有些游戲需要數(shù)百個精確的操作和超過30小時的游戲時間才能通關(guān)。

研究團隊想要回答一個關(guān)鍵問題：當AI面臨需要長期思考和反復嘗試的復雜任務時，它們的表現(xiàn)到底如何？這個問題的答案對于理解AI的真實能力至關(guān)重要，因為現(xiàn)實世界中的大多數(shù)重要任務都需要這種持續(xù)的、自主的推理能力。

一、游戲世界里的AI大考驗

要理解這項研究的重要性，我們首先需要了解什么是文字冒險游戲?；氐?980年代，還沒有精美的3D畫面和華麗的視覺效果，玩家完全通過閱讀文字描述來了解游戲世界，然后輸入簡單的文字命令來控制角色行動。比如，游戲可能會告訴你"你站在一座古老城堡的門前，門緊緊關(guān)閉著，旁邊有一把生銹的鑰匙"，然后你需要輸入"拿起鑰匙"或"用鑰匙開門"這樣的命令。

這聽起來很簡單，但實際上這些游戲極其復雜。玩家需要探索龐大的虛擬世界，解決復雜的謎題，管理物品清單，記住各種線索，并且要在沒有任何視覺提示的情況下構(gòu)建整個游戲世界的心理地圖。更重要的是，玩家經(jīng)常會遇到死胡同或者做出錯誤的決定，需要回頭重新思考策略。

研究團隊選擇了25款這樣的經(jīng)典游戲作為測試平臺。這些游戲包括《魔域傳奇》系列、《銀河系漫游指南》、《見證人》等經(jīng)典作品。每一款游戲都有自己獨特的挑戰(zhàn)：有些需要解決復雜的邏輯謎題，有些需要精確的時間管理，還有些需要玩家具備偵探般的推理能力。

為了讓測試更加公平和全面，研究團隊設(shè)計了兩種不同的測試模式。第一種是"無提示模式"，AI必須完全依靠自己的推理能力來玩游戲，就像一個完全沒有游戲經(jīng)驗的新手玩家。第二種是"有提示模式"，AI可以訪問游戲的官方提示手冊。這些提示手冊在當年是單獨銷售的，包含了解決各種謎題的漸進式提示，但即使有了這些提示，玩家仍然需要理解如何將提示應用到具體的游戲情況中。

研究團隊還引入了一個重要的功能：自動保存機制。就像人類玩家會定期保存游戲進度一樣，AI也可以在任何時候回到之前的游戲狀態(tài)。這個功能特別重要，因為在文字冒險游戲中，玩家經(jīng)常需要嘗試不同的策略，或者從錯誤的決定中恢復過來。

為了準確衡量AI的表現(xiàn)，研究團隊開發(fā)了一個新的評估標準。傳統(tǒng)的游戲評分系統(tǒng)并不能很好地反映玩家在主要任務上的真實進展，因為這些分數(shù)往往獎勵探索和實驗，而不是朝向游戲結(jié)局的實際進步。因此，研究團隊創(chuàng)建了"游戲進度"指標，通過標記游戲中的關(guān)鍵檢查點來衡量AI是否真正朝著完成游戲的目標前進。

二、當頂級AI遭遇古老智慧

當研究團隊讓當今最先進的大語言模型開始這場游戲大冒險時，結(jié)果既令人驚訝又發(fā)人深省。他們測試了包括GPT-5、Claude Opus、Grok 4、Gemini 2.5 Pro等在內(nèi)的多個頂級模型，這些都是目前被認為最聰明的AI系統(tǒng)。

在沒有任何提示的情況下，即使是最強大的GPT-5也只能完成37.8%的游戲進度，而且竟然沒有一個AI能夠完整通關(guān)任何一款游戲。這個結(jié)果相當震撼，要知道這些AI在回答各種知識問題、編寫代碼、甚至進行復雜推理時都表現(xiàn)得相當出色，但面對需要長期規(guī)劃和持續(xù)探索的文字冒險游戲時，它們的表現(xiàn)卻如此有限。

更有趣的是，當AI獲得了游戲的官方提示手冊后，情況有了明顯改善，但仍然遠未達到令人滿意的水平。GPT-5的游戲進度提升到了71.2%，成功通關(guān)了5款游戲。Claude Opus達到了68%的進度，通關(guān)了4款游戲。其他模型的表現(xiàn)也都有不同程度的提升，但整體來說，即使有了詳細的提示，大多數(shù)AI仍然無法掌握游戲的精髓。

這個現(xiàn)象特別值得深思。這些AI模型擁有龐大的知識庫，能夠處理復雜的語言任務，但當面對需要在長時間內(nèi)保持連貫思考、從試錯中學習、構(gòu)建空間概念的任務時，它們顯露出了明顯的局限性。

研究團隊發(fā)現(xiàn)了一個有趣的規(guī)律：模型的規(guī)模越大，在這類任務上的表現(xiàn)越好。GPT-5比GPT-5-mini表現(xiàn)明顯更好，Gemini 2.5 Pro比Gemini 2.5 Flash表現(xiàn)更出色。這表明處理這類復雜的探索性任務確實需要更強大的計算能力和更復雜的推理機制。

通過分析AI在游戲中的具體表現(xiàn)，研究團隊還發(fā)現(xiàn)了一些引人注目的行為模式。隨著游戲進行，AI需要處理的文本信息越來越多，有些情況下會超過10萬個文本單元。在這種情況下，AI開始出現(xiàn)各種問題：它們會忘記之前拾取過的物品，錯誤地認為自己已經(jīng)完成了某些任務，或者在同一個地方反復打轉(zhuǎn)而不知道自己已經(jīng)陷入了循環(huán)。

一個典型的例子發(fā)生在《魔域傳奇》游戲中。AI需要記住自己之前把一本火柴冊放在了工作室，但在數(shù)百步的游戲進行后，它卻錯誤地認為火柴冊被放在了亞特蘭蒂斯房間。這種錯誤看似微小，但卻導致了游戲策略的完全偏差。另一個例子是在《許愿者》游戲中，AI需要沿著懸崖向下走，這只需要反向執(zhí)行之前向上爬的操作序列，但AI卻無法從自己的游戲歷史中準確提取這個信息。

三、AI思維的深層局限性

通過深入分析AI在文字冒險游戲中的表現(xiàn)，研究團隊揭示了當前大語言模型在長期推理方面的幾個關(guān)鍵局限性。這些發(fā)現(xiàn)不僅對游戲AI有重要意義，更對我們理解AI的認知能力提供了寶貴洞察。

首先是長文本理解能力的衰減問題。隨著游戲的進行，AI需要處理的信息量呈指數(shù)級增長。每一次行動都會產(chǎn)生新的觀察結(jié)果，而這些信息都需要被保存在AI的"記憶"中。當文本長度超過一定閾值后，AI開始出現(xiàn)明顯的記憶混亂。它們會產(chǎn)生虛假記憶，比如認為自己做過實際上沒有做的事情，或者完全忘記重要的游戲事件。

這個問題在空間推理任務中表現(xiàn)得尤為明顯。在文字冒險游戲中，玩家需要在腦海中構(gòu)建一個完整的游戲世界地圖，記住各個房間之間的連接關(guān)系，物品的位置，以及各種交互的可能性。人類玩家通常會在紙上畫出地圖，或者在腦海中形成清晰的空間概念。但AI缺乏這種空間建模能力，經(jīng)常在相同的地點之間來回移動，或者迷失在簡單的空間結(jié)構(gòu)中。

另一個有趣的發(fā)現(xiàn)是AI的"重復陷阱"現(xiàn)象。隨著上下文長度的增加，AI越來越傾向于重復之前的行動，而不是嘗試新的策略。這種行為模式類似于人類在壓力或疲勞狀態(tài)下的表現(xiàn)，但對于AI來說，這種重復行為往往導致游戲進度的停滯。

研究團隊還觀察到了AI在處理時間序列信息方面的困難。在文字冒險游戲中，事件的發(fā)生順序往往至關(guān)重要。比如，玩家必須先獲得某個物品，然后才能解鎖特定的區(qū)域或觸發(fā)某個事件。雖然AI能夠理解單個的因果關(guān)系，但當這些關(guān)系形成復雜的時間鏈條時，AI經(jīng)常會混淆先后順序，導致策略執(zhí)行失敗。

特別值得注意的是AI在試錯學習方面的表現(xiàn)。人類玩家在遇到失敗時，通常會分析失敗的原因，調(diào)整策略，然后嘗試新的方法。這種學習過程是游戲進步的關(guān)鍵。然而，AI往往缺乏這種反思能力。即使有了自動保存功能，可以回到之前的游戲狀態(tài)，AI也很少能夠有效地利用這個機制來進行策略實驗和優(yōu)化。

研究團隊通過對比不同模型的表現(xiàn)，發(fā)現(xiàn)了一個關(guān)鍵洞察：那些在標準語言任務上表現(xiàn)相似的模型，在這種長期推理任務上的表現(xiàn)卻有顯著差異。這表明文字冒險游戲測試的能力維度是傳統(tǒng)AI評估中缺失的重要組成部分。

四、效率與智慧的平衡藝術(shù)

在分析AI表現(xiàn)的過程中，研究團隊發(fā)現(xiàn)了一個特別有趣的現(xiàn)象：AI的"思考成本"問題。不同的AI模型在處理相同任務時，消耗的計算資源差異巨大，這直接影響了它們的實用性和可擴展性。

一些AI模型，特別是那些具有"推理模式"的系統(tǒng)，在每一步游戲中都會進行大量的內(nèi)部思考。這就像一個棋手在每一步棋前都要深思熟慮幾分鐘一樣。雖然這種深度思考有時能夠帶來更好的決策，但在文字冒險游戲的許多情況下，這種"過度思考"反而是不必要的浪費。

比如，當AI需要執(zhí)行一個簡單的移動命令，比如"向北走"時，實際上不需要進行復雜的推理。但一些模型卻會為這樣的簡單操作消耗大量的計算資源，就像用大炮打蚊子一樣。相反，當遇到真正復雜的謎題時，這些模型卻需要更多的思考資源，但之前的浪費已經(jīng)消耗了大量的計算預算。

研究團隊通過分析發(fā)現(xiàn)，理想的AI助手應該具備"動態(tài)思考"的能力，也就是根據(jù)任務的復雜程度來調(diào)整思考深度。對于簡單的導航任務，快速決策就足夠了；對于復雜的謎題解決，則需要更深入的推理。這種能力對于實際應用中的AI系統(tǒng)尤為重要，因為計算資源總是有限的。

有趣的是，研究團隊發(fā)現(xiàn)那些在效率和效果之間找到最佳平衡點的模型，往往在長期任務中表現(xiàn)更好。這就像馬拉松運動員需要合理分配體力一樣，AI也需要合理分配其計算資源，以確保在整個游戲過程中保持穩(wěn)定的表現(xiàn)水平。

這個發(fā)現(xiàn)對AI的實際應用有重要啟示。在現(xiàn)實世界中，AI助手需要處理各種各樣的任務，從簡單的信息查詢到復雜的問題解決。如果AI不能根據(jù)任務復雜度動態(tài)調(diào)整其思考深度，就很容易在簡單任務上浪費資源，而在關(guān)鍵任務上資源不足。

五、超越游戲的深層意義

雖然這項研究表面上是關(guān)于AI玩游戲的能力，但其深層意義遠遠超出了娛樂范疇。文字冒險游戲?qū)嶋H上是現(xiàn)實世界復雜任務的一個絕佳模擬器，研究結(jié)果揭示了當前AI技術(shù)在面對真實挑戰(zhàn)時可能遇到的問題。

當我們思考AI在實際應用中的表現(xiàn)時，會發(fā)現(xiàn)許多相似的模式。比如，一個AI客服系統(tǒng)需要在長時間的對話中保持上下文理解，記住客戶之前提到的問題，并且能夠從之前的交互中學習。如果AI在文字冒險游戲中都無法很好地處理長期上下文，那么在實際客服應用中也很可能出現(xiàn)類似問題。

再比如，AI在科學研究中的應用也面臨類似挑戰(zhàn)?？茖W研究往往需要長期的探索過程，研究者需要記住大量的實驗結(jié)果，從失敗中學習，調(diào)整研究策略，并且在復雜的知識網(wǎng)絡(luò)中導航。這些要求與文字冒險游戲中的挑戰(zhàn)remarkably相似。

研究團隊特別強調(diào)了一個重要觀點：當前許多AI評估都依賴于外部工具和輔助系統(tǒng)。比如，AI可以調(diào)用搜索引擎、計算器、或者其他專門的工具來完成任務。雖然這種工具使用能力很重要，但它也掩蓋了AI內(nèi)在推理能力的真實水平。文字冒險游戲的測試環(huán)境迫使AI完全依靠自己的內(nèi)在能力，從而提供了對AI核心智能的更純粹的評估。

這個發(fā)現(xiàn)對AI的未來發(fā)展具有重要指導意義。如果我們希望構(gòu)建真正智能的AI系統(tǒng)，就不能僅僅依賴外部工具的堆疊，而需要提升AI的內(nèi)在推理能力。這就像培養(yǎng)一個學生一樣，雖然可以讓他隨時查閱資料和使用計算器，但最終還是需要培養(yǎng)他獨立思考和解決問題的能力。

研究還揭示了AI在道德推理方面的表現(xiàn)。這些經(jīng)典文字冒險游戲中包含各種道德選擇和倫理困境，AI需要在游戲過程中做出符合道德標準的決定。研究團隊通過特殊的評估框架發(fā)現(xiàn)，不同的AI模型在道德推理方面存在顯著差異，這對AI的安全應用具有重要意義。

六、通向更智能AI的新路徑

基于這項研究的發(fā)現(xiàn)，研究團隊為AI的未來發(fā)展指出了幾個重要方向。首先是長期記憶和上下文理解能力的提升。當前的AI模型雖然能夠處理很長的文本，但在真正理解和利用長期上下文方面仍有很大改進空間。

研究表明，簡單地增加AI的"記憶容量"并不能解決問題，關(guān)鍵在于提升AI對信息的組織、檢索和利用能力。就像人類大腦不是簡單地存儲所有信息，而是通過復雜的關(guān)聯(lián)網(wǎng)絡(luò)來組織和訪問記憶一樣，AI也需要發(fā)展更sophisticated的信息管理機制。

另一個重要方向是空間推理和心理建模能力。在文字冒險游戲中，AI需要構(gòu)建虛擬世界的心理模型，這種能力在現(xiàn)實應用中同樣重要。無論是機器人導航、城市規(guī)劃，還是復雜系統(tǒng)的管理，都需要AI具備強大的空間推理和模型構(gòu)建能力。

研究還強調(diào)了試錯學習和策略適應能力的重要性?，F(xiàn)實世界充滿不確定性，AI需要能夠從失敗中學習，調(diào)整策略，并且在面對新情況時保持適應性。這種能力不能僅僅通過更多的訓練數(shù)據(jù)來獲得，而需要在AI的核心架構(gòu)中體現(xiàn)出來。

值得注意的是，研究團隊提出了"內(nèi)在智能"與"工具增強智能"的區(qū)別概念。雖然讓AI調(diào)用各種外部工具很有用，但我們不應該忽視對AI內(nèi)在推理能力的培養(yǎng)。只有當AI具備了強大的內(nèi)在智能，外部工具才能發(fā)揮最大的效用。

從技術(shù)實現(xiàn)的角度來看，這項研究為AI評估方法學提供了新的思路。傳統(tǒng)的AI評估往往關(guān)注單次任務的表現(xiàn)，但現(xiàn)實中的許多重要應用都需要AI在長期交互中保持高質(zhì)量的表現(xiàn)。文字冒險游戲提供了一個標準化、可重復的長期任務評估平臺，這對于推動AI技術(shù)的發(fā)展具有重要價值。

研究團隊還開源了他們的評估平臺，使其他研究者能夠在相同的標準下測試和比較不同的AI模型。這種開放性對于推動整個AI領(lǐng)域的進步非常重要，因為它提供了一個公平、透明的比較基準。

說到底，這項研究告訴我們，雖然當前的AI技術(shù)在許多方面都表現(xiàn)出色，但在需要長期推理、復雜規(guī)劃和持續(xù)學習的任務上，還有很大的改進空間。文字冒險游戲雖然看起來簡單古老，但它們揭示了AI智能的一些根本局限性。

歸根結(jié)底，這個研究提醒我們，真正的智能不僅僅是回答問題或執(zhí)行單個任務的能力，更是在復雜、動態(tài)環(huán)境中持續(xù)學習、適應和推理的能力。當AI能夠像人類玩家一樣沉浸在這些經(jīng)典游戲中，耐心探索、從錯誤中學習、制定長期策略時，我們才能說它們真正具備了接近人類的智能水平。

對于普通人來說，這個研究的啟示是：我們在與AI交互時，需要理解它們的局限性，特別是在需要長期規(guī)劃和復雜推理的場景中。同時，這個研究也讓我們對AI的未來發(fā)展充滿期待，因為它指出了明確的改進方向和評估標準。隨著技術(shù)的不斷進步，相信未來的AI將能夠在這些經(jīng)典游戲中展現(xiàn)出更加智能和human-like的表現(xiàn)，那時的AI將真正成為我們在復雜任務中的得力助手。

Q&A

Q1：TEXTQUESTS基準測試是什么？它為什么重要？

A：TEXTQUESTS是斯坦福安全AI中心開發(fā)的AI評估平臺，使用25款1980年代經(jīng)典文字冒險游戲來測試大語言模型的長期推理能力。這些游戲需要AI進行數(shù)百步操作、持續(xù)30多小時才能通關(guān)，能夠真實評估AI在復雜探索環(huán)境中的自主推理能力，而不依賴外部工具輔助。

Q2：當前最先進的AI模型在文字冒險游戲中表現(xiàn)如何？

A：表現(xiàn)相當有限。即使是最強的GPT-5，在沒有提示的情況下也只能完成37.8%的游戲進度，沒有任何AI能完整通關(guān)游戲。即使提供了官方提示手冊，GPT-5的進度也只提升到71.2%，僅通關(guān)5款游戲。這顯示出AI在長期推理和復雜規(guī)劃方面存在明顯局限。

Q3：這項研究對AI未來發(fā)展有什么啟示？

A：研究揭示了AI需要在三個關(guān)鍵領(lǐng)域改進：長期記憶和上下文理解能力、空間推理和心理建模能力，以及從試錯中學習的適應能力。研究強調(diào)不能僅依賴外部工具增強，而要提升AI的內(nèi)在推理能力，這對構(gòu)建真正智能的AI系統(tǒng)至關(guān)重要。