這項(xiàng)由沙特阿拉伯阿卜杜拉國王科技大學(xué)（KAUST）生成式人工智能卓越中心的陳一盟等研究人員領(lǐng)導(dǎo)的研究，于2025年7月發(fā)表在預(yù)印本網(wǎng)站arXiv上，論文編號為arXiv:2507.15550v1。感興趣的讀者可以通過該編號在arXiv.org上找到完整論文。研究團(tuán)隊(duì)還包括來自瑞士人工智能實(shí)驗(yàn)室和NNAISENSE公司的研究人員。

當(dāng)我們看到一個(gè)鐘擺在擺動(dòng)時(shí)，物理學(xué)家的大腦會自動(dòng)開始思考：擺動(dòng)周期和繩子長度有什么關(guān)系？如果改變重力會怎樣？這種從現(xiàn)象到規(guī)律的思考過程，正是科學(xué)發(fā)現(xiàn)的核心。現(xiàn)在，研究人員想知道：人工智能是否也能學(xué)會這樣的科學(xué)思維？

這個(gè)問題比想象中復(fù)雜得多。目前的大語言模型雖然在很多任務(wù)上表現(xiàn)出色，但它們在科學(xué)發(fā)現(xiàn)方面的能力卻很難評估。就像考試一樣，如果你給學(xué)生提供了所有答案的線索，很難判斷他們是真正理解了原理，還是僅僅善于模式匹配。同樣，如果AI模型在解決物理問題時(shí)已經(jīng)知道了變量名稱（比如"質(zhì)量"、"重力"）和問題背景，那它可能只是在調(diào)用訓(xùn)練時(shí)見過的知識，而不是真正進(jìn)行科學(xué)推理。

為了解決這個(gè)評估難題，KAUST的研究團(tuán)隊(duì)開發(fā)了一個(gè)全新的測試平臺，叫做PHYSGYM（物理體育館）。這個(gè)平臺的巧妙之處在于，它可以精確控制給AI提供多少"線索"，從而真正測試AI的科學(xué)推理能力。

PHYSGYM的核心創(chuàng)新在于它的"先驗(yàn)知識控制系統(tǒng)"。研究人員將這種控制比作給偵探不同數(shù)量的線索來破案。在最高級別（Level 1）中，AI得到完整的案件描述、所有物理量的詳細(xì)說明和規(guī)范的變量命名。這就像給偵探提供完整的案件檔案、所有證人證詞和清晰的線索標(biāo)簽。在這種情況下，AI主要需要進(jìn)行推理和模式匹配。

隨著級別的降低，研究團(tuán)隊(duì)開始逐漸"剝奪"AI的線索。在Level 2中，AI失去了問題的完整描述，只知道變量的物理含義。這就像偵探失去了案件背景資料，但還能識別每個(gè)證據(jù)的類型。到了Level 3，變量的物理含義也被隱藏，AI只能看到意義不明的描述。最嚴(yán)苛的Level 4中，甚至連變量的名稱都被匿名化為"var1"、"var2"等，AI必須完全靠實(shí)驗(yàn)和觀察來發(fā)現(xiàn)規(guī)律，就像偵探在沒有任何背景信息的情況下，純憑現(xiàn)場證據(jù)破案。

這個(gè)設(shè)計(jì)理念反映了科學(xué)發(fā)現(xiàn)的本質(zhì)區(qū)別。當(dāng)我們拿到一個(gè)已知是"簡諧振子"的鐘擺問題，并且看到"長度"、"重力"這樣的變量名時(shí)，答案幾乎是顯而易見的。但如果你不知道這是什么系統(tǒng)，變量也只是神秘的數(shù)字編號，那就必須通過大量實(shí)驗(yàn)來發(fā)現(xiàn)其中的規(guī)律，這才是真正的科學(xué)發(fā)現(xiàn)過程。

PHYSGYM包含了97個(gè)精心設(shè)計(jì)的物理問題，涵蓋力學(xué)、電學(xué)、光學(xué)、熱力學(xué)、現(xiàn)代物理和高級物理六個(gè)領(lǐng)域。每個(gè)問題都不是靜態(tài)的題目，而是一個(gè)可以互動(dòng)的虛擬實(shí)驗(yàn)環(huán)境。AI可以像真正的科學(xué)家一樣，設(shè)計(jì)實(shí)驗(yàn)、收集數(shù)據(jù)、提出假設(shè)、驗(yàn)證理論。

這個(gè)平臺的工作原理類似于一個(gè)復(fù)雜的實(shí)驗(yàn)室管理系統(tǒng)。AI研究員可以向系統(tǒng)申請進(jìn)行特定參數(shù)設(shè)置的實(shí)驗(yàn)，系統(tǒng)會返回相應(yīng)的觀測結(jié)果。同時(shí)，系統(tǒng)還設(shè)置了實(shí)驗(yàn)預(yù)算限制，就像真實(shí)研究中的時(shí)間和資源約束一樣。AI必須在有限的實(shí)驗(yàn)次數(shù)內(nèi)，找出隱藏在數(shù)據(jù)背后的物理定律。

評估系統(tǒng)也相當(dāng)嚴(yán)格。PHYSGYM不僅檢查AI提出的公式是否在數(shù)學(xué)上等價(jià)于正確答案，還評估這個(gè)公式與實(shí)驗(yàn)數(shù)據(jù)的擬合程度。這就像科學(xué)期刊的同行評議，不僅要求理論正確，還要求與實(shí)驗(yàn)證據(jù)吻合。

研究團(tuán)隊(duì)選擇了三個(gè)代表性的大語言模型進(jìn)行測試：谷歌的Gemini-2.5-flash、OpenAI的o4-mini和Anthropic的Claude-3.7-Sonnet。前兩個(gè)是具有"推理能力"的模型，而Claude則是傳統(tǒng)的對話模型。

實(shí)驗(yàn)結(jié)果既在意料之中，又頗為令人意外。正如預(yù)期，隨著先驗(yàn)知識的減少，所有模型的成功率都顯著下降。在擁有完整信息的Level 1中，Gemini和o4-mini的成功率分別達(dá)到66%和63%，而在最困難的Level 4中，成功率降至31%和28%。這表明當(dāng)前的AI模型確實(shí)嚴(yán)重依賴于先驗(yàn)知識。

更有趣的是，研究人員發(fā)現(xiàn)了一些反直覺的現(xiàn)象。有些問題在信息較少的情況下反而被解決了，而在信息更豐富時(shí)卻失敗了。這說明有時(shí)候過多的先驗(yàn)信息可能會誤導(dǎo)模型，讓它過分依賴已有知識而忽視實(shí)驗(yàn)證據(jù)。

Claude模型的表現(xiàn)尤其值得關(guān)注。它的整體成功率較低，但在不同級別間的差異也較小。這暗示著它可能更多地依賴內(nèi)在偏見，而不是有效利用給定的信息進(jìn)行推理。

當(dāng)研究人員按問題復(fù)雜度分析結(jié)果時(shí)，發(fā)現(xiàn)了另一個(gè)重要規(guī)律：對于簡單問題，先驗(yàn)知識的作用相對有限；但對于復(fù)雜問題（涉及10個(gè)或更多變量），模型幾乎完全依賴于完整的先驗(yàn)信息。這揭示了當(dāng)前AI在處理高維復(fù)雜系統(tǒng)時(shí)的局限性。

從實(shí)驗(yàn)設(shè)計(jì)的角度看，當(dāng)先驗(yàn)信息減少時(shí)，所有模型都增加了實(shí)驗(yàn)次數(shù)，這是一個(gè)積極的信號。這說明它們確實(shí)在嘗試通過更多的數(shù)據(jù)收集來彌補(bǔ)信息的不足。Gemini從Level 1的平均10.6次實(shí)驗(yàn)增加到Level 4的20.6次，o4-mini從7.2次增加到20.1次。

然而，僅僅增加實(shí)驗(yàn)次數(shù)是不夠的。研究人員發(fā)現(xiàn)，模型在實(shí)驗(yàn)設(shè)計(jì)上仍有很大改進(jìn)空間。以一個(gè)相對論性反射鏡的問題為例，所有模型都只在Level 1成功解決了問題。在缺少背景信息時(shí)，它們無法設(shè)計(jì)出足夠極端的實(shí)驗(yàn)條件來觀察相對論效應(yīng)，總是選擇保守的參數(shù)范圍，導(dǎo)致觀測到的都是平凡的結(jié)果。

另一個(gè)有趣的案例涉及電磁學(xué)中的管狀電場問題。在這個(gè)問題中，某些級別的表現(xiàn)竟然比信息更完整的級別更差。研究人員分析發(fā)現(xiàn)，這是因?yàn)樽兞棵钠?。?dāng)變量保持物理意義的命名時(shí)，模型傾向于構(gòu)造符合命名習(xí)慣的公式，但這些公式可能偏離正確答案。而當(dāng)變量完全匿名化時(shí)，模型反而能更客觀地基于數(shù)據(jù)進(jìn)行推理。

第三個(gè)案例展示了先驗(yàn)知識如何限制創(chuàng)新。在一個(gè)旋轉(zhuǎn)速度測控裝置的問題中，擁有完整背景信息的模型反而表現(xiàn)更差。研究人員發(fā)現(xiàn)，這是因?yàn)楸尘靶畔⒆屇Ｐ瓦^分拘泥于"現(xiàn)實(shí)可能"的參數(shù)范圍，而不敢嘗試可能揭示真實(shí)規(guī)律的極端條件。

這些發(fā)現(xiàn)對AI科學(xué)發(fā)現(xiàn)的未來發(fā)展具有重要意義。首先，當(dāng)前的大語言模型在真正的科學(xué)發(fā)現(xiàn)任務(wù)中仍有很大局限性，尤其是在缺乏先驗(yàn)知識的情況下。其次，先驗(yàn)知識并非總是有益的，有時(shí)甚至可能成為創(chuàng)新的障礙。最后，有效的實(shí)驗(yàn)設(shè)計(jì)能力是科學(xué)發(fā)現(xiàn)的關(guān)鍵，而這正是當(dāng)前AI模型最需要改進(jìn)的方面。

PHYSGYM平臺的意義不僅在于暴露了當(dāng)前AI的不足，更在于為改進(jìn)AI科學(xué)家提供了一個(gè)標(biāo)準(zhǔn)化的訓(xùn)練和測試環(huán)境。就像體育訓(xùn)練需要標(biāo)準(zhǔn)化的測試來衡量運(yùn)動(dòng)員的真實(shí)水平一樣，AI科學(xué)家的培養(yǎng)也需要這樣的"體育館"。

研究團(tuán)隊(duì)還計(jì)劃擴(kuò)展PHYSGYM的功能。目前的問題集雖然覆蓋了物理學(xué)的主要領(lǐng)域，但仍相對固定。未來他們希望開發(fā)自動(dòng)生成新物理環(huán)境的方法，讓這個(gè)平臺能夠持續(xù)提供新的挑戰(zhàn)。同時(shí)，他們也在思考如何更好地量化問題復(fù)雜度，不僅僅依賴方程長度和變量數(shù)量這些簡單指標(biāo)。

這項(xiàng)研究還揭示了一個(gè)更深層的哲學(xué)問題：什么是真正的科學(xué)發(fā)現(xiàn)？是基于已有知識的邏輯推演，還是在未知領(lǐng)域的探索和假設(shè)驗(yàn)證？PHYSGYM的設(shè)計(jì)暗示，真正的科學(xué)發(fā)現(xiàn)更接近后者。這也提醒我們，在開發(fā)AI科學(xué)家時(shí)，不能只關(guān)注其存儲和調(diào)用知識的能力，更要培養(yǎng)其在不確定環(huán)境中的探索和推理能力。

從技術(shù)角度看，這項(xiàng)研究為評估和改進(jìn)AI的科學(xué)推理能力提供了寶貴的工具。研究人員可以使用PHYSGYM來測試不同AI架構(gòu)、訓(xùn)練方法和提示策略的效果，從而推動(dòng)AI科學(xué)家技術(shù)的發(fā)展。

對普通公眾而言，這項(xiàng)研究展示了AI發(fā)展的一個(gè)重要方向：從被動(dòng)的信息處理者轉(zhuǎn)變?yōu)橹鲃?dòng)的知識發(fā)現(xiàn)者。雖然當(dāng)前的AI在這方面還有很大局限性，但PHYSGYM這樣的研究正在為實(shí)現(xiàn)真正的AI科學(xué)家鋪平道路?；蛟S在不遠(yuǎn)的將來，我們真的能看到AI獨(dú)立發(fā)現(xiàn)新的物理定律，為人類的科學(xué)探索開辟全新的道路。

說到底，PHYSGYM不僅僅是一個(gè)測試平臺，更是對科學(xué)發(fā)現(xiàn)本質(zhì)的深刻思考。它提醒我們，真正的科學(xué)發(fā)現(xiàn)需要的不只是知識的積累，更需要在未知中探索的勇氣和智慧。當(dāng)我們的AI助手能夠像優(yōu)秀的科學(xué)家一樣，在面對完全陌生的現(xiàn)象時(shí)仍能設(shè)計(jì)巧妙的實(shí)驗(yàn)、提出大膽的假設(shè)、進(jìn)行嚴(yán)謹(jǐn)?shù)尿?yàn)證，那才是真正的人工智能科學(xué)家的誕生。這個(gè)目標(biāo)或許還需要時(shí)間來實(shí)現(xiàn)，但PHYSGYM已經(jīng)為我們指明了方向，讓我們看到了AI科學(xué)發(fā)現(xiàn)的無限可能。

Q&A

Q1：PHYSGYM是什么？它能測試AI的哪些能力？ A：PHYSGYM是由KAUST團(tuán)隊(duì)開發(fā)的AI科學(xué)推理測試平臺，包含97個(gè)物理問題的虛擬實(shí)驗(yàn)環(huán)境。它能測試AI在不同信息條件下進(jìn)行科學(xué)發(fā)現(xiàn)的能力，特別是實(shí)驗(yàn)設(shè)計(jì)、假設(shè)形成和規(guī)律發(fā)現(xiàn)等核心科學(xué)推理技能。

Q2：為什么減少先驗(yàn)知識會讓AI表現(xiàn)變差？這說明了什么問題？ A：減少先驗(yàn)知識讓AI無法依賴訓(xùn)練時(shí)見過的模式進(jìn)行匹配，必須真正進(jìn)行科學(xué)推理。結(jié)果顯示所有模型的成功率都大幅下降，說明當(dāng)前AI主要靠知識匹配而非真正的科學(xué)發(fā)現(xiàn)能力，這暴露了AI在創(chuàng)新性思維方面的局限。

Q3：PHYSGYM對未來AI科學(xué)家的發(fā)展有什么意義？ A：PHYSGYM提供了標(biāo)準(zhǔn)化的訓(xùn)練和測試環(huán)境，讓研究人員能夠系統(tǒng)評估和改進(jìn)AI的科學(xué)推理能力。它不僅暴露了當(dāng)前AI的不足，還為培養(yǎng)真正具備科學(xué)發(fā)現(xiàn)能力的AI指明了方向，推動(dòng)AI從信息處理者向知識發(fā)現(xiàn)者轉(zhuǎn)變。