這項由三星SAIL蒙特利爾實驗室的Alexia Jolicoeur-Martineau領導的研究發(fā)表于2025年1月，論文標題為《Multi-Agent Game Generation and Evaluation via Audio-Visual Recordings》。有興趣深入了解的讀者可以通過https://github.com/SamsungSAILMontreal/AVR-Eval-Agent訪問完整代碼和論文。

當我們看到一個孩子學會騎自行車的過程時，會發(fā)現一個有趣的現象：孩子不僅會聽大人的指導，還會觀察自己的動作，看到自己搖搖晃晃就知道要調整。現在，三星的研究團隊讓AI也學會了這種"邊看邊學"的能力，不過它們學的不是騎車，而是制作視頻游戲。

這個研究解決了一個看似簡單卻極其復雜的問題：如何讓電腦自動制作出好玩的游戲？你可能覺得現在AI不是已經很厲害了嗎，寫代碼、畫圖、寫文章樣樣都行。但是制作游戲卻是另一回事。游戲不僅要有代碼，還要有圖片、音效、3D模型，更重要的是，這些元素必須協(xié)調配合才能創(chuàng)造出流暢有趣的體驗。就像制作一道復雜的菜肴，僅僅有好食材是不夠的，還需要知道何時加鹽、何時翻炒、火候如何掌握。

研究團隊的創(chuàng)新點在于開發(fā)了兩個相互配合的AI系統(tǒng)。第一個叫做AVR-Eval，就像是一個專業(yè)的游戲評測師，它能夠錄下游戲運行的畫面和聲音，然后像人類玩家一樣判斷哪個游戲更好玩。第二個叫做AVR-Agent，則是真正的游戲制作專家，它不僅能寫代碼，還能從資源庫中挑選合適的圖片和音效，更神奇的是，它能根據AVR-Eval的反饋不斷改進自己的作品。

一、AI評測師是如何工作的

要理解這個研究的巧妙之處，我們先來看看AVR-Eval這個AI評測師是怎么判斷游戲好壞的。傳統(tǒng)的方法就像是只看菜譜來評判一道菜的好壞，而AVR-Eval的做法更像是真的品嘗這道菜。

當兩個游戲擺在AVR-Eval面前時，它會像一個認真的美食評委一樣工作。首先，它會錄制每個游戲的完整運行過程，包括畫面和聲音，就像錄制烹飪節(jié)目一樣。然后，一個專門處理音視頻的AI模型會仔細觀察這些錄像，描述每個游戲的表現。這個過程就像一個專業(yè)品酒師在品嘗紅酒時，會仔細觀察酒的顏色、聞香氣、品口感。

AI評測師使用了多個維度來判斷游戲質量。它會檢查游戲是否符合預期描述，比如要求制作一個彈球游戲，結果做出來的是俄羅斯方塊，那顯然不合格。它還會評估視覺設計是否吸引人，音效是否搭配得當，游戲行為是否正常運行。對于游戲類內容，它還會特別關注游戲性是否有趣、AI控制的角色是否表現得聰明。對于動畫類內容，它則更注重動作的流暢性和創(chuàng)意表現。

最有趣的是，AVR-Eval不是一個模型單打獨斗，而是兩個AI的通力合作。第一個AI專門負責觀看游戲錄像并做出初步判斷，就像一個經驗豐富的游戲測試員。然后，一個更強大的文本AI會審查這個判斷，做出最終決定，就像一個資深編輯在審核測試員的報告。

研究團隊通過大量測試驗證了這個評測系統(tǒng)的可靠性。他們發(fā)現，AVR-Eval幾乎不會被有問題的游戲蒙騙，比如遇到只顯示標題畫面的半成品游戲，它只有0.91%的概率會給出好評。面對內容不符的游戲，比如要求做煙花動畫卻做成了彈球游戲，它只有6.47%的概率會搞錯。更重要的是，當把人類制作的高質量游戲和AI生成的游戲放在一起比較時，AVR-Eval在67.78%的情況下都能正確識別出人類作品更優(yōu)秀。

二、多才多藝的游戲制作大師

有了可靠的評測師，接下來就該看看真正的游戲制作專家AVR-Agent是如何工作的。如果說制作游戲就像烹飪一道復雜的大餐，那么AVR-Agent就是一個既懂得挑選食材，又掌握烹飪技巧，還能根據食客反饋不斷改進的全能廚師。

AVR-Agent的工作流程就像一個有條不紊的創(chuàng)作過程。首先，當收到制作游戲的需求時，比如"制作一個2D平臺跳躍游戲"，它會像一個經驗豐富的廚師準備食材一樣，從龐大的資源庫中精心挑選合適的圖片、音效和3D模型。這個資源庫就像一個裝備齊全的廚房，里面有各種風格的游戲資源，從復古像素風格到現代3D模型應有盡有。

接下來進入最關鍵的創(chuàng)作階段。AVR-Agent不會只做一個版本就滿足，而是像一個追求完美的藝術家，會先制作好幾個不同的初始版本。然后，它會請AVR-Eval這個專業(yè)評測師來看看哪個版本最有潛力，選出最好的那個作為基礎繼續(xù)改進。這就像一個畫家會先畫幾個草稿，選出最滿意的那個再精心雕琢。

最精彩的部分是迭代改進過程。AVR-Agent會讓自己制作的游戲真正運行起來，就像廚師會親自品嘗自己做的菜一樣。它會錄制游戲的運行畫面和聲音，然后請一個專門的AI助手觀看這些錄像，提供詳細的反饋意見。這個AI助手就像一個誠實的朋友，會指出游戲哪里做得好，哪里還需要改進。同時，AVR-Agent還會檢查代碼運行過程中是否出現錯誤信息，就像廚師會注意爐火是否正常、調料是否充足。

基于這些多方面的反饋，AVR-Agent會對游戲進行修改和完善。這個過程可能會重復很多次，每一次都讓游戲變得更好一點。研究團隊設定的默認流程是進行10到20次這樣的改進循環(huán)，就像一個工匠會反復打磨自己的作品直到滿意為止。

特別值得一提的是，AVR-Agent在處理游戲時還考慮了一個實際問題：游戲需要玩家操作才能展現其魅力。為了讓評測過程能夠順利進行，AVR-Agent會為每個游戲自動添加AI控制功能，讓虛擬玩家能夠智能地玩游戲，展示游戲的各種特性。當然，它也會保留人類玩家接管控制的選項。

三、實戰(zhàn)測試的意外發(fā)現

研究團隊對這套系統(tǒng)進行了全面的實戰(zhàn)測試，結果既有令人欣喜的成功，也有出人意料的發(fā)現。他們選擇了10個不同類型的項目進行測試，包括5個動畫項目（彈球物理模擬、3D立方體旋轉、煙花粒子效果、鐘擺運動、太陽系軌道模擬）和5個游戲項目（2D平臺跳躍、格斗游戲、保齡球、紙牌接龍、放置類游戲）。

測試涉及了9個不同的編程AI模型，從閉源的商業(yè)模型到開源的社區(qū)模型，規(guī)模從160億參數的輕量級模型到6710億參數的超大規(guī)模模型。這就像是邀請了各種水平的廚師來參加同一個烹飪比賽，有的是米其林餐廳的主廚，有的是剛剛學會基本技能的新手。

最令人鼓舞的發(fā)現是，AVR-Agent確實能夠顯著提升游戲制作質量。在對比測試中，使用AVR-Agent制作的游戲比簡單的一次性生成要好得多。具體來說，在所有測試案例中，有79.2%的情況下AVR-Agent的最終作品都比初始版本更優(yōu)秀。這就像是告訴我們，反復修改和完善確實能讓作品變得更好。

特別有趣的是關于"選擇最佳初始版本"策略的發(fā)現。研究發(fā)現，與其花費同樣的計算資源來進行更多輪次的改進，不如在開始時就制作多個候選版本，然后選擇最好的那個進行后續(xù)改進。這個發(fā)現就像是告訴我們，在雕刻一塊木頭之前，先從幾塊原材料中挑選質地最好的那塊，比在質地一般的木頭上花費更多工夫要明智得多。

然而，最出人意料的發(fā)現是關于資源和反饋的作用。按照常理推測，給AI提供高質量的圖片、音效等資源，應該能幫助它制作出更好的游戲，就像給廚師提供優(yōu)質食材應該能做出更好的菜一樣。但測試結果顯示，當前的AI模型并不能有效利用這些外部資源。同樣令人困惑的是，盡管AVR-Agent能夠獲得詳細的音視頻反饋，但這些反饋對改進效果的幫助也很有限。

這個發(fā)現揭示了人類和AI在創(chuàng)作過程中的根本性差異。對于人類游戲開發(fā)者來說，高質量的美術資源和來自測試玩家的反饋是制作優(yōu)秀游戲的關鍵要素。但對于當前的AI模型來說，它們似乎更依賴于自身的訓練數據和內在邏輯，而不太善于整合外部資源和反饋信息。

四、不同模型的表現差異

在這場AI游戲制作大賽中，不同模型的表現差異相當明顯。Qwen3-Coder-480B這個擁有4800億參數的超大模型表現最為出色，緊隨其后的是Kimi-K2-1T模型。這兩個模型就像是經驗豐富的全能開發(fā)者，不僅代碼寫得好，對游戲設計也很有見解。

有趣的是，模型規(guī)模并不總是決定性因素。一些專門針對編程任務優(yōu)化的中等規(guī)模模型，表現往往比通用的大型模型更好。這就像專業(yè)的面包師在制作糕點時，往往比全能的大廚更有優(yōu)勢一樣。研究團隊發(fā)現，那些在大量代碼數據上專門訓練過的模型，更容易理解游戲制作的復雜需求。

令人意外的是，一些較小的模型，比如只有240億參數的Devstral-Small-2505，在某些測試中表現得非常不錯。這說明模型的訓練質量和專業(yè)化程度比純粹的規(guī)模更重要。就像一個專精某種菜系的小餐廳主廚，可能比大酒店的總廚在特定菜品上做得更出色。

五、技術細節(jié)的巧思

這項研究在技術實現上有許多巧妙的設計。比如在處理網頁音頻播放的問題上，由于瀏覽器的安全策略通常禁止自動播放音頻，AVR-Agent會聰明地在游戲中添加一個特定的開始按鈕，并讓測試系統(tǒng)自動點擊這個按鈕來啟動音頻。這種細節(jié)考慮就像一個貼心的管家，會提前解決客人可能遇到的小麻煩。

為了確保游戲測試的全面性，AVR-Agent還為每個游戲自動添加了AI玩家功能。這些虛擬玩家會智能地操作游戲，展示游戲的各種特性和功能。同時，它們也保留了讓人類玩家隨時接管的選項。這就像是為每道菜都配備了專業(yè)的品鑒師，確保每個細節(jié)都能被充分展示和評估。

評測系統(tǒng)AVR-Eval采用了多輪對話的方式來提高判斷準確性。它不是簡單地一次性對比兩個游戲，而是先分別詳細觀察和描述每個游戲，然后再進行比較。這種方法就像是一個認真的評委，會先仔細品味每道菜，記錄詳細的感受，最后再做出綜合判斷。

六、面向未來的設想

研究團隊已經考慮到了技術發(fā)展的趨勢，設計了AVR-Agent 2.0的框架。目前的系統(tǒng)需要兩個不同的AI分工合作：一個專門寫代碼，另一個專門分析音視頻。但隨著多模態(tài)AI技術的發(fā)展，未來可能會出現既能編程又能直接處理音視頻的全能AI模型。到那時，整個系統(tǒng)會變得更加簡潔高效，就像從需要多個專業(yè)廚師協(xié)作的復雜廚房，進化為一個全能大廚獨立操作的高效工作臺。

研究團隊還準備了一個更具挑戰(zhàn)性的測試基準，包括需要大型團隊多年開發(fā)的3A級游戲項目，比如包含多個星系和行星的3D太空開放世界游戲，或者擁有多個角色和不同技能樹的角色扮演游戲。這些項目就像是烹飪界的"滿漢全席"，目前的AI還無法勝任，但為未來的技術發(fā)展提供了明確的目標。

七、對普通人意味著什么

這項研究的意義遠超出了游戲制作領域。它展示了AI如何通過觀察自己的"作品"來進行自我改進，這種能力可能會在很多創(chuàng)作領域發(fā)揮作用。將來，我們可能會看到AI不僅能制作游戲，還能創(chuàng)作交互式教育內容、制作個性化的娛樂體驗，甚至幫助普通人實現自己的創(chuàng)意想法。

對于游戲愛好者來說，這項技術可能會讓游戲制作變得更加平民化。以前需要掌握編程、美術、音效等多種技能才能制作游戲，現在或許只需要用自然語言描述自己的想法，AI就能幫助實現。這就像從需要專業(yè)烹飪技能才能做出美食，變成了只需要描述口味偏好就能獲得定制菜譜一樣。

不過，這項研究也提醒我們，AI雖然在某些方面已經很強大，但在整合多種資源和利用反饋方面還有很大的提升空間。這說明人類的創(chuàng)造力和綜合判斷能力在很長時間內仍然是不可替代的。AI更像是一個強大的工具，能夠幫助人類更好地表達創(chuàng)意，而不是完全取代人類的創(chuàng)造過程。

研究團隊坦誠地指出了當前技術的局限性。他們發(fā)現，雖然AVR-Eval已經相當可靠，但仍然會在0.91%的情況下對有問題的內容給出錯誤評價。此外，這個系統(tǒng)目前還沒有直接接受人類偏好測試，所以我們還不確定它的判斷是否真的符合普通玩家的喜好。

說到底，這項研究就像是給AI裝上了一雙能夠觀察自己作品的眼睛，讓它能夠不斷學習和改進。雖然目前的AI還不能完全像人類那樣靈活地運用各種資源和反饋，但這種"邊做邊學"的能力本身就是一個重大突破。隨著技術的不斷發(fā)展，我們有理由期待未來的AI能夠成為更加得力的創(chuàng)作伙伴，幫助更多人將創(chuàng)意變成現實。

這個研究最有價值的地方可能在于它提出了一個全新的思路：不是讓AI一次性生成完美的作品，而是讓它學會持續(xù)改進。這種思路不僅適用于游戲制作，還可能在很多其他創(chuàng)作領域發(fā)揮作用，最終讓AI成為真正理解創(chuàng)作過程的智能助手。

Q&A

Q1：AVR-Eval是什么？它是如何判斷游戲好壞的？

A：AVR-Eval是一個AI游戲評測系統(tǒng)，它通過錄制游戲的畫面和聲音來判斷質量。工作時會先讓專門的AI觀看游戲錄像并描述表現，然后由更強大的文本AI做出最終評判，就像專業(yè)評委品嘗美食一樣仔細分析每個細節(jié)。

Q2：AVR-Agent制作的游戲質量如何？比人工制作的好嗎？

A：AVR-Agent制作的游戲比簡單的一次性AI生成要好很多，在79.2%的測試中都優(yōu)于初始版本。但與人類制作的高質量游戲相比還有差距，人類作品在67.78%的情況下被評為更優(yōu)秀。不過它已經能制作出可以正常運行和游玩的完整游戲。

Q3：普通人能使用這個技術制作游戲嗎？什么時候能普及？

A：目前這還是研究階段的技術，普通人暫時無法直接使用。研究團隊已經在GitHub上開源了代碼，但需要一定的技術背景才能運行。隨著技術發(fā)展，未來可能會出現更簡單易用的版本，讓普通人也能通過描述想法來制作游戲。