當(dāng)你參加考試時(shí)，如果考題只是把數(shù)字稍微改一下，比如將"小明有5個(gè)蘋果"變成"小明有7個(gè)蘋果"，你還能做對(duì)嗎？答案當(dāng)然是肯定的。但如果讓當(dāng)今最先進(jìn)的AI模型來回答這樣的問題，結(jié)果可能會(huì)讓你大吃一驚。

這項(xiàng)由微軟研究院劍橋分校的許心諾（Xinnuo Xu）、瑞秋·勞倫斯（Rachel Lawrence）等研究人員，以及微軟研究院印度分校的團(tuán)隊(duì)共同完成的研究，發(fā)表于2025年6月18日的arXiv預(yù)印本平臺(tái)（論文編號(hào)：arXiv:2506.15455v1 [cs.CL]）。有興趣深入了解的讀者可以通過該論文編號(hào)在arXiv平臺(tái)上訪問完整論文。研究團(tuán)隊(duì)開發(fā)了一個(gè)名為RE-IMAGINE的創(chuàng)新框架，專門用來檢驗(yàn)大型語言模型（也就是像ChatGPT這樣的AI系統(tǒng)）是否真的具備推理能力，還是僅僅在背誦答案。

你可能會(huì)疑惑，AI模型在各種標(biāo)準(zhǔn)測(cè)試中表現(xiàn)得如此優(yōu)秀，甚至在一些推理任務(wù)上超越了人類，為什么還要質(zhì)疑它們的推理能力呢？關(guān)鍵問題在于，這些模型可能只是記住了訓(xùn)練數(shù)據(jù)中的答案模式，而非真正理解了解題的邏輯。就像一個(gè)學(xué)生可能背會(huì)了所有練習(xí)題的答案，但遇到稍有變化的新題就不會(huì)做了。

為了深入探究這個(gè)問題，研究團(tuán)隊(duì)受到了著名統(tǒng)計(jì)學(xué)家朱迪亞·珀?duì)枺↗udea Pearl）的"因果推理階梯"理論啟發(fā)。珀?duì)枌⑷祟愓J(rèn)知分為三個(gè)層次：觀察層面（看到什么）、干預(yù)層面（如果我們改變什么會(huì)發(fā)生什么）和反事實(shí)層面（如果當(dāng)時(shí)情況不同會(huì)怎樣）。基于這個(gè)理論，研究團(tuán)隊(duì)設(shè)計(jì)了一個(gè)三層次的推理能力評(píng)估體系。

第一個(gè)層次叫做"觀察"，這是最基礎(chǔ)的層面。在這個(gè)層面，AI模型需要解決原始的、未經(jīng)修改的問題。比如一道數(shù)學(xué)題："珍妮每天讀80頁書，貝琳達(dá)每天讀30頁書，6天后珍妮比貝琳達(dá)多讀了多少頁？"這就像是給學(xué)生出一道標(biāo)準(zhǔn)的練習(xí)題，大多數(shù)先進(jìn)的AI模型在這類問題上表現(xiàn)都相當(dāng)不錯(cuò)，準(zhǔn)確率可以達(dá)到95%左右。

第二個(gè)層次是"變化"，這里開始變得有趣了。研究團(tuán)隊(duì)會(huì)對(duì)原題進(jìn)行各種修改，但保持核心的推理邏輯不變。他們可能會(huì)改變題目中的數(shù)字，比如把"80頁"改成"90頁"，或者添加一些無關(guān)信息，比如"珍妮住在紐約"。還可能會(huì)改變變量的名字，把"珍妮"改成"艾米"。這些改動(dòng)對(duì)于真正理解題目邏輯的人來說毫無影響，但對(duì)于只是記住了答案模式的系統(tǒng)來說，就可能造成困擾。

第三個(gè)層次叫做"想象"，這是最具挑戰(zhàn)性的層面。在這里，研究團(tuán)隊(duì)會(huì)在原題基礎(chǔ)上添加新的邏輯條件，甚至可能與原有條件相矛盾。比如在原題后面加上"假設(shè)貝琳達(dá)實(shí)際上每天讀50頁書而不是30頁"。這就像是在考試中臨時(shí)改變了題目條件，需要考生重新分析整個(gè)問題。這種改動(dòng)不僅測(cè)試模型是否記住了答案，更測(cè)試它是否真正理解了問題的邏輯結(jié)構(gòu)。

為了讓這套評(píng)估系統(tǒng)能夠大規(guī)模使用，研究團(tuán)隊(duì)開發(fā)了一個(gè)自動(dòng)化的"問題變形工廠"。這個(gè)系統(tǒng)的工作原理頗為巧妙，可以比作一個(gè)精密的翻譯和改裝車間。首先，系統(tǒng)會(huì)將自然語言的題目轉(zhuǎn)換成可執(zhí)行的代碼形式，就像把一個(gè)菜譜翻譯成機(jī)器能理解的操作指令。然后，系統(tǒng)會(huì)對(duì)這些代碼進(jìn)行各種修改，就像在裝配線上對(duì)產(chǎn)品進(jìn)行不同的改裝。最后，系統(tǒng)再將修改后的代碼重新轉(zhuǎn)換回自然語言，形成新的題目，同時(shí)自動(dòng)計(jì)算出正確答案。

這個(gè)自動(dòng)化系統(tǒng)的最大優(yōu)勢(shì)是可以無限制地生成題目變體。傳統(tǒng)的方法需要研究人員手工編寫每一道新題目，既費(fèi)時(shí)又費(fèi)力，而且很難保證大規(guī)模的一致性。而這個(gè)系統(tǒng)就像是有了一個(gè)永不疲倦的出題機(jī)器，可以從一道原題生成成千上萬道不同但相關(guān)的題目。

研究團(tuán)隊(duì)在四個(gè)不同領(lǐng)域的基準(zhǔn)測(cè)試上驗(yàn)證了他們的框架。第一個(gè)是GSM8K，這是一個(gè)包含小學(xué)水平數(shù)學(xué)應(yīng)用題的數(shù)據(jù)集。第二個(gè)是CLadder，專門測(cè)試因果推理能力，涉及概率和因果關(guān)系的推斷。第三個(gè)和第四個(gè)分別是CRUXEval和Loop，這兩個(gè)都是關(guān)于代碼理解的測(cè)試，前者測(cè)試對(duì)Python函數(shù)輸入輸出的預(yù)測(cè)能力，后者測(cè)試對(duì)循環(huán)不變量的推理能力。

在數(shù)學(xué)推理測(cè)試中，研究團(tuán)隊(duì)發(fā)現(xiàn)了一些令人意外的結(jié)果。當(dāng)面對(duì)最簡單的變化，比如僅僅改變題目中的數(shù)值時(shí)，幾乎所有被測(cè)試的模型準(zhǔn)確率都下降了約10%。這相當(dāng)于一個(gè)原本能考95分的學(xué)生，僅僅因?yàn)轭}目中的數(shù)字換了一下，就只能考85分了。更有趣的是，當(dāng)研究人員添加無關(guān)信息時(shí)，較大的模型表現(xiàn)相對(duì)較好，說明它們有一定能力識(shí)別和忽略干擾信息，但較小的模型就容易被這些"噪音"所影響。

到了第三層次的"想象"測(cè)試，情況變得更加嚴(yán)峻。所有模型的表現(xiàn)都出現(xiàn)了顯著下降，即使是目前最先進(jìn)的GPT-o1模型也不例外。這就像是讓一個(gè)習(xí)慣了標(biāo)準(zhǔn)化考試的學(xué)生突然面對(duì)開放式的創(chuàng)新題目，很多之前有效的解題套路都不再適用。

在代碼理解測(cè)試中，結(jié)果同樣令人深思。即使是對(duì)代碼進(jìn)行最微小的修改，比如將一個(gè)加號(hào)改成減號(hào)，或者改變一個(gè)字符串的內(nèi)容，模型的準(zhǔn)確率也會(huì)明顯下降。這表明這些模型可能過度依賴于對(duì)特定代碼模式的記憶，而非真正理解代碼的邏輯。

研究團(tuán)隊(duì)還進(jìn)行了一項(xiàng)特別有趣的實(shí)驗(yàn)，叫做"雙重反事實(shí)"測(cè)試。這項(xiàng)測(cè)試專門檢驗(yàn)?zāi)Ｐ蛯?duì)因果關(guān)系的理解。簡單來說，就是測(cè)試模型是否能正確判斷"如果原因發(fā)生，結(jié)果會(huì)出現(xiàn)"以及"如果原因不發(fā)生，結(jié)果就不會(huì)出現(xiàn)"這樣的因果邏輯。結(jié)果顯示，即使是表現(xiàn)最好的模型在這種測(cè)試中也表現(xiàn)不佳，這暗示當(dāng)前的AI系統(tǒng)在真正的因果推理方面還有很大的提升空間。

研究團(tuán)隊(duì)還探索了一個(gè)實(shí)用性很強(qiáng)的問題：能否通過改變訓(xùn)練示例來提高模型在變化題目上的表現(xiàn)？他們發(fā)現(xiàn)，如果在訓(xùn)練時(shí)既提供原始題目又提供變化后的題目作為示例，模型的表現(xiàn)確實(shí)會(huì)有顯著改善。這就像是讓學(xué)生既練習(xí)標(biāo)準(zhǔn)題目，又練習(xí)各種變形題目，自然會(huì)提高應(yīng)對(duì)能力。但即使如此，模型在最具挑戰(zhàn)性的"想象"層次測(cè)試中表現(xiàn)仍然不夠理想。

從技術(shù)實(shí)現(xiàn)的角度來看，這個(gè)框架的創(chuàng)新性體現(xiàn)在幾個(gè)方面。首先是自動(dòng)化程度高，傳統(tǒng)方法需要大量人工參與，而這個(gè)系統(tǒng)可以自動(dòng)生成題目變體。其次是適用范圍廣，同一套方法可以應(yīng)用于數(shù)學(xué)、代碼、邏輯等不同領(lǐng)域。最后是評(píng)估體系的系統(tǒng)性，三個(gè)層次的設(shè)計(jì)能夠全面反映模型的推理能力。

這項(xiàng)研究的意義遠(yuǎn)超學(xué)術(shù)范疇。在實(shí)際應(yīng)用中，AI系統(tǒng)經(jīng)常需要處理與訓(xùn)練數(shù)據(jù)稍有不同的新情況。比如一個(gè)用于醫(yī)療診斷的AI系統(tǒng)，如果只是記住了教科書上的典型病例，那么面對(duì)實(shí)際病人的復(fù)雜情況時(shí)可能就會(huì)出錯(cuò)。同樣，用于自動(dòng)駕駛的AI系統(tǒng)如果不能真正理解交通規(guī)則的邏輯，而只是記住了訓(xùn)練場(chǎng)景，那么在遇到新的路況時(shí)就可能出現(xiàn)危險(xiǎn)。

研究結(jié)果還揭示了當(dāng)前AI模型的一個(gè)重要局限性：它們?cè)诤艽蟪潭壬弦蕾囉诮y(tǒng)計(jì)模式的記憶，而非真正的邏輯推理。這解釋了為什么這些模型在一些標(biāo)準(zhǔn)測(cè)試中表現(xiàn)優(yōu)異，但在面對(duì)需要靈活應(yīng)變的現(xiàn)實(shí)問題時(shí)卻經(jīng)常出錯(cuò)。這個(gè)發(fā)現(xiàn)對(duì)于AI安全也有重要意義，因?yàn)樗嵝盐覀冊(cè)诓渴餉I系統(tǒng)時(shí)必須充分考慮其在面對(duì)新情況時(shí)的可靠性。

從研究方法學(xué)的角度來看，這項(xiàng)工作也為其他研究者提供了有價(jià)值的工具和思路。RE-IMAGINE框架不僅可以用于評(píng)估現(xiàn)有模型，也可以用于指導(dǎo)新模型的訓(xùn)練和改進(jìn)。研究團(tuán)隊(duì)已經(jīng)將他們的代碼和數(shù)據(jù)公開，這將推動(dòng)整個(gè)領(lǐng)域在模型評(píng)估方法上的進(jìn)步。

此外，這項(xiàng)研究還涉及了深入的數(shù)學(xué)分析。研究團(tuán)隊(duì)通過控制推理步驟的數(shù)量來確保觀察到的性能下降確實(shí)來自于題目變化本身，而非額外的計(jì)算復(fù)雜度。他們發(fā)現(xiàn)，即使在控制了推理復(fù)雜度的情況下，模型在變化題目上的表現(xiàn)仍然明顯不如原始題目，這進(jìn)一步證實(shí)了模型存在過度依賴記憶的問題。

值得注意的是，不同類型的模型在這些測(cè)試中表現(xiàn)出了不同的特點(diǎn)。較大的模型通常在處理無關(guān)信息方面表現(xiàn)更好，這可能是因?yàn)樗鼈冇懈鼜?qiáng)的能力識(shí)別和過濾干擾信息。但即使是最大的模型在面對(duì)邏輯變化時(shí)仍然表現(xiàn)不佳，這說明模型大小本身并不能解決根本的推理問題。

研究團(tuán)隊(duì)還觀察到了一個(gè)有趣的現(xiàn)象：當(dāng)題目中出現(xiàn)明顯的"垃圾"信息時(shí)（比如添加明顯無關(guān)的變量名），模型的表現(xiàn)下降幅度相對(duì)較小，但當(dāng)無關(guān)信息被巧妙地融入題目時(shí)，模型就更容易被誤導(dǎo)。這說明當(dāng)前的AI模型雖然具備一定的信息過濾能力，但這種能力還不夠精細(xì)和可靠。

從更廣闊的視角來看，這項(xiàng)研究實(shí)際上觸及了人工智能領(lǐng)域的一個(gè)核心問題：什么是真正的智能？如果一個(gè)系統(tǒng)只能在見過的情況下表現(xiàn)良好，而在面對(duì)新情況時(shí)就出錯(cuò)，那么我們能說它真正"理解"了問題嗎？這個(gè)問題不僅關(guān)乎技術(shù)發(fā)展，也涉及我們對(duì)智能本質(zhì)的理解。

研究結(jié)果對(duì)于AI教育和培訓(xùn)也有重要啟示。目前的模型訓(xùn)練方法主要依賴于大量數(shù)據(jù)的統(tǒng)計(jì)學(xué)習(xí)，但這項(xiàng)研究表明，僅僅增加數(shù)據(jù)量可能不足以產(chǎn)生真正的推理能力。未來可能需要開發(fā)新的訓(xùn)練方法，讓模型不僅學(xué)會(huì)記憶模式，更能理解問題的內(nèi)在邏輯結(jié)構(gòu)。

對(duì)于AI從業(yè)者來說，這項(xiàng)研究提供了重要的實(shí)踐指導(dǎo)。在開發(fā)和部署AI系統(tǒng)時(shí)，應(yīng)該更加重視對(duì)模型在新情況下表現(xiàn)的測(cè)試，而不僅僅關(guān)注其在標(biāo)準(zhǔn)測(cè)試集上的性能。同時(shí)，在設(shè)計(jì)AI應(yīng)用時(shí)，應(yīng)該考慮到模型可能在面對(duì)訓(xùn)練數(shù)據(jù)之外的情況時(shí)表現(xiàn)不佳，因此需要設(shè)計(jì)相應(yīng)的安全機(jī)制和人工監(jiān)督環(huán)節(jié)。

這項(xiàng)研究也為政策制定者提供了有價(jià)值的參考。隨著AI技術(shù)在各個(gè)領(lǐng)域的廣泛應(yīng)用，理解其局限性變得越來越重要。這項(xiàng)研究表明，即使是最先進(jìn)的AI模型在推理能力方面仍有重要缺陷，這提醒我們?cè)谥贫ˋI相關(guān)政策時(shí)需要充分考慮技術(shù)的局限性，特別是在涉及安全關(guān)鍵應(yīng)用的領(lǐng)域。

從科學(xué)發(fā)現(xiàn)的角度來看，這項(xiàng)研究也具有重要的理論價(jià)值。它為我們理解當(dāng)前AI模型的工作機(jī)制提供了新的視角，揭示了這些模型在表面上的優(yōu)異表現(xiàn)背后可能隱藏的深層問題。這種理解對(duì)于未來AI技術(shù)的發(fā)展方向具有重要指導(dǎo)意義。

研究團(tuán)隊(duì)在論文中特別強(qiáng)調(diào)了他們框架的可擴(kuò)展性。RE-IMAGINE不僅可以應(yīng)用于他們測(cè)試的四個(gè)領(lǐng)域，理論上可以擴(kuò)展到任何可以用符號(hào)表示的推理任務(wù)。這意味著這個(gè)框架有可能成為評(píng)估AI推理能力的通用工具，為整個(gè)AI研究社區(qū)提供標(biāo)準(zhǔn)化的評(píng)估方法。

最后，這項(xiàng)研究也提出了一些有趣的未來研究方向。比如，如何設(shè)計(jì)更好的訓(xùn)練方法來提高模型的真實(shí)推理能力？如何在模型架構(gòu)層面改進(jìn)以更好地支持邏輯推理？如何平衡模型的記憶能力和推理能力？這些問題都值得進(jìn)一步探索。

說到底，這項(xiàng)研究就像是給當(dāng)前的AI熱潮潑了一盆"理性的冷水"。它提醒我們，盡管AI模型在很多任務(wù)上表現(xiàn)驚人，但它們距離真正的智能推理還有相當(dāng)大的距離。這并不是要否定AI技術(shù)的價(jià)值，而是要讓我們更清醒地認(rèn)識(shí)到當(dāng)前技術(shù)的邊界，從而更好地利用它們的優(yōu)勢(shì)，同時(shí)避免過度依賴可能帶來的風(fēng)險(xiǎn)。這種清醒的認(rèn)識(shí)對(duì)于AI技術(shù)的健康發(fā)展至關(guān)重要，也為未來的研究指明了重要的方向。

Q&A

Q1：RE-IMAGINE是什么？它是怎么工作的？ A：RE-IMAGINE是微軟研究院開發(fā)的AI推理能力測(cè)試框架。它像一個(gè)"問題變形工廠"，能自動(dòng)將原始題目轉(zhuǎn)換成代碼，然后進(jìn)行各種修改，最后轉(zhuǎn)換回自然語言形成新題目。通過觀察AI模型在原題和變化題目上的表現(xiàn)差異，來判斷模型是真正理解了邏輯還是只是記住了答案模式。

Q2：為什么要質(zhì)疑AI的推理能力？它們?cè)跍y(cè)試中表現(xiàn)不是很好嗎？ A：雖然AI模型在標(biāo)準(zhǔn)測(cè)試中表現(xiàn)優(yōu)異，但這項(xiàng)研究發(fā)現(xiàn)，當(dāng)題目稍有變化時(shí)（比如只是改個(gè)數(shù)字），模型準(zhǔn)確率就會(huì)明顯下降。這表明模型可能只是記住了訓(xùn)練數(shù)據(jù)中的模式，而非真正理解問題邏輯。就像一個(gè)學(xué)生背會(huì)了所有練習(xí)題答案，但遇到變化就不會(huì)做了。

Q3：這項(xiàng)研究對(duì)普通人有什么意義？ A：這項(xiàng)研究提醒我們要理性看待AI能力。雖然AI在很多方面很強(qiáng)大，但在需要靈活應(yīng)變的情況下可能會(huì)出錯(cuò)。這對(duì)使用AI產(chǎn)品的普通人來說很重要，比如不要完全依賴AI做重要決策，在醫(yī)療、法律等關(guān)鍵領(lǐng)域使用AI時(shí)要特別謹(jǐn)慎，需要人工監(jiān)督和驗(yàn)證。