這項由四川大學黃友成、秦博文、黃晨等研究者以及北京智源人工智能研究院、新加坡國立大學學者聯(lián)合完成的研究于2025年8月發(fā)表在arXiv預印本平臺，論文編號為arXiv:2508.11252v1。感興趣的讀者可以通過https://arxiv.org/abs/2508.11252訪問完整論文。

當你遇到一道數(shù)學題缺少關(guān)鍵信息時，你會怎么做？正常人的反應肯定是："等等，這道題好像少了點什么信息，我需要問一下。"然而，令人意外的是，目前最先進的大語言推理模型卻不會這樣做。它們就像那些不好意思承認自己不懂的學生一樣，即使題目信息不完整，也會硬著頭皮給出一個看似合理的答案。

這個發(fā)現(xiàn)來自四川大學和北京智源人工智能研究院的研究團隊。他們注意到一個奇怪的現(xiàn)象：我們一直在用完整、清晰的數(shù)學題來測試AI的推理能力，但現(xiàn)實世界中的問題往往是不完整的。就好比你問朋友"我的客廳6米長，需要多少塊60厘米的瓷磚"，任何正常人都會問"客廳寬度是多少"，但AI卻會自己假設(shè)一個寬度然后給你計算結(jié)果。

研究團隊深入調(diào)查了這個問題，發(fā)現(xiàn)了一個令人震驚的事實：當前的大語言推理模型普遍存在"裝懂"行為。面對信息不完整的數(shù)學問題，它們不是主動詢問缺失的信息，而是選擇"腦補"答案。這就像一個學生在考試中遇到看不清的題目，不敢舉手問老師，而是胡亂猜測題目內(nèi)容然后作答。

更有趣的是，研究者發(fā)現(xiàn)這些AI在"裝懂"的時候會表現(xiàn)出三種典型行為模式。第一種是"思維背叛"——它們在內(nèi)心獨白中其實意識到了信息不足，甚至想好了要問什么問題，但最終輸出時卻背叛了自己的想法，硬給出答案。第二種是"過度思考"——面對缺少信息的問題，它們會陷入長時間的內(nèi)心糾結(jié)，就像一個人在房間里來回踱步，試圖通過更多思考來彌補信息不足。第三種是"幻覺填空"——當問題缺少目標時，它們會自己編造一個目標然后去解決。

為了系統(tǒng)研究這個問題，研究團隊構(gòu)建了一個名為CRITIC-math的數(shù)據(jù)集。這個數(shù)據(jù)集就像一個專門的"考場"，里面裝滿了各種信息不完整的數(shù)學題。他們將完整的數(shù)學題目進行"破壞"，要么去掉關(guān)鍵前提條件，要么刪除問題的具體目標，然后觀察不同的AI模型會如何反應。

數(shù)據(jù)集的構(gòu)建過程就像拆解和重組積木一樣。研究者首先將每道完整的數(shù)學題分解成三個部分：目標（要解決什么問題）、前提條件（已知信息）和背景信息（輔助說明）。然后他們有選擇性地移除其中的關(guān)鍵部分，創(chuàng)造出兩類不完整問題：一類是"缺少前提條件"的題目，就像問"一輛車以某個速度行駛，多久能到達目的地"但不告訴你距離；另一類是"缺少目標"的題目，就像告訴你"有5個蘋果和3個橙子"但不說要你計算什么。

研究團隊測試了當前最先進的幾個AI推理模型，包括DeepSeek-R1、OpenAI的o3-mini、谷歌的Gemini等。測試結(jié)果令人大跌眼鏡：這些被譽為"數(shù)學天才"的AI模型在面對不完整信息時，主動提問的比例竟然只有25%左右。即使研究者明確提示它們"如果需要更多信息請?zhí)釂?，這個比例也只能提升到50%。這就好比班里一半的學生在遇到不清楚的題目時寧愿瞎猜也不愿意舉手問老師。

更令人擔憂的是，研究者發(fā)現(xiàn)問題越難，AI越不愿意承認信息不足。這種現(xiàn)象恰恰與我們的期望相反——越是復雜的問題，越應該謹慎對待缺失的信息。但這些AI就像那些自尊心過強的學霸，越是在復雜問題面前越不愿意顯露自己的困惑。

通過深入分析AI的"思考過程"，研究團隊發(fā)現(xiàn)了一些有趣的細節(jié)。當面對缺少前提條件的問題時，AI會進入一種"內(nèi)心煎熬"狀態(tài)。它們的思維長度會顯著增加，就像一個人在心里反復琢磨"到底該怎么辦"。有時候，它們甚至在心里已經(jīng)準備好了要問的問題，比如"等等，這里缺少了關(guān)鍵信息，我應該問..."但最后關(guān)鍵時刻卻臨陣脫逃，還是給出了一個基于假設(shè)的答案。

當面對缺少目標的問題時，AI的表現(xiàn)又有所不同。它們會迅速給自己編造一個看似合理的目標，然后專心致志地去解決這個自創(chuàng)的問題。這種行為就像一個學生看到題目不完整，立刻自己補充了一個問題然后開始解答，完全不考慮這可能不是出題者的本意。

研究團隊還嘗試了一個有趣的實驗：能否通過訓練讓AI學會主動提問？他們收集了大量正確的"提問"樣本，然后用這些數(shù)據(jù)來訓練新的AI模型。結(jié)果顯示，經(jīng)過專門訓練的AI確實能更好地識別不完整信息并主動提問，準確率可以達到85%以上。這證明了AI是有能力學會這項技能的，關(guān)鍵在于我們是否有意識地培養(yǎng)它們。

然而，訓練過程中出現(xiàn)了一個意想不到的問題：當研究者試圖讓AI同時學會"深度思考"和"主動提問"時，發(fā)現(xiàn)這兩種能力之間存在某種沖突。那些被訓練得善于深度思考的AI反而更不愿意提問，就像那些習慣了獨立思考的人更不愿意尋求幫助一樣。這個發(fā)現(xiàn)揭示了當前AI訓練方式中的一個深層矛盾：我們在培養(yǎng)AI的獨立解決問題能力時，可能無意中抑制了它們尋求幫助的本能。

這個發(fā)現(xiàn)的意義遠遠超出了學術(shù)研究的范疇。在現(xiàn)實應用中，我們經(jīng)常遇到信息不完整的情況。如果AI不能主動識別和詢問缺失信息，而是習慣性地進行假設(shè)和猜測，那么它給出的答案可能看起來很專業(yè)，但實際上完全偏離了我們的真實需求。這就像一個導航系統(tǒng)在不知道你要去哪里的情況下，自動給你規(guī)劃了一條去最近商場的路線。

更深層次的問題是，這種"裝懂"行為反映了當前AI發(fā)展中的一個根本性缺陷。我們一直在追求AI能夠解決越來越復雜的問題，但卻忽視了培養(yǎng)它們正確識別問題邊界的能力。真正的智能不僅體現(xiàn)在能力強大的時候，更體現(xiàn)在知道自己能力限制的時候。一個真正聰明的助手應該在信息不足時主動尋求幫助，而不是盲目自信地給出可能錯誤的答案。

研究團隊的發(fā)現(xiàn)也為AI的未來發(fā)展指明了一個新方向。除了繼續(xù)提升AI的問題解決能力，我們還需要專門培養(yǎng)它們的"求助意識"。這不僅僅是技術(shù)問題，更是AI設(shè)計哲學的轉(zhuǎn)變。我們需要讓AI明白，承認不知道某些信息并主動詢問，是智能行為而不是能力不足的表現(xiàn)。

從實際應用的角度來看，這項研究提醒我們在使用AI助手時需要更加謹慎。當AI給出看似確定的答案時，我們應該思考一下：這個答案是基于充分信息得出的，還是AI在信息不足的情況下進行的猜測？特別是在重要決策中，我們需要主動提供完整信息，而不是期待AI能夠準確猜測我們沒有說出的部分。

這項研究還揭示了一個有趣的現(xiàn)象：AI的"思維背叛"行為。許多時候，AI在內(nèi)心獨白中其實已經(jīng)意識到了問題，甚至準備好了合適的問題，但在最終輸出時卻背叛了自己的判斷。這種現(xiàn)象類似于人類的社交焦慮——知道應該問，但不敢開口。這提示我們，AI的問題可能不僅僅是技術(shù)能力不足，還可能涉及到更復雜的"行為模式"設(shè)計問題。

研究中一個特別有趣的發(fā)現(xiàn)是AI的"過度思考"現(xiàn)象。當面對信息不完整的問題時，AI會花費大量的計算資源進行內(nèi)心糾結(jié)，思維長度甚至可能增加到正常情況的幾倍。這就像一個人在解決不了問題時不斷地重復思考同樣的內(nèi)容，希望通過更多的思考來彌補信息不足。這種行為不僅浪費資源，還可能讓用戶等待更長時間卻得到錯誤答案。

另一個值得關(guān)注的現(xiàn)象是AI的"幻覺填空"行為。當問題缺少明確目標時，AI會迅速自創(chuàng)一個目標然后去解決。雖然這顯示了AI的創(chuàng)造性，但在實際應用中可能造成嚴重后果。用戶可能以為AI理解了自己的真實需求，但實際上AI解決的是一個完全不同的問題。這種誤解在商業(yè)決策或技術(shù)實施中可能導致重大損失。

研究團隊通過對比不同難度問題的實驗結(jié)果，發(fā)現(xiàn)了一個違反直覺的現(xiàn)象：問題越難，AI越不愿意承認信息不足。在簡單問題上，AI還可能會意識到缺少信息；但在復雜問題上，它們更傾向于通過復雜的推理來掩蓋信息不足的事實。這可能是因為復雜問題激發(fā)了AI的"表現(xiàn)欲"，讓它們更想展示自己的推理能力而不是承認局限性。

從技術(shù)角度來看，這項研究提出了AI訓練的一個新挑戰(zhàn)：如何平衡獨立思考能力和求助意識。傳統(tǒng)的AI訓練主要關(guān)注如何讓AI更好地解決問題，但很少考慮如何讓AI知道什么時候不應該試圖解決問題。這需要我們重新思考AI的評估標準——除了準確率和復雜推理能力，我們還需要評估AI識別問題邊界和主動求助的能力。

研究中的訓練實驗表明，AI確實可以學會主動提問，但這需要專門的訓練數(shù)據(jù)和方法。更重要的是，研究團隊發(fā)現(xiàn)當前流行的"思維鏈"訓練方法可能無意中抑制了AI的求助行為。那些被訓練得善于深度思考的AI反而更不愿意承認信息不足。這提示我們需要開發(fā)新的訓練策略，讓AI在深度思考和適時求助之間找到平衡。

這項研究的啟示不僅限于技術(shù)層面，還涉及到AI與人類協(xié)作的哲學問題。在人機協(xié)作中，AI的價值不僅在于能夠獨立完成任務(wù)，更在于能夠與人類進行有效溝通。一個會主動詢問的AI助手比一個只會猜測的AI助手更值得信賴，即使前者在某些指標上可能顯得"不夠智能"。

從用戶體驗的角度來看，會主動提問的AI實際上提供了更好的交互體驗。雖然用戶需要回答一些問題，但最終得到的結(jié)果更符合實際需求。相比之下，那些基于錯誤假設(shè)給出的"完美"答案可能會誤導用戶，造成更大的損失。這提醒我們在設(shè)計AI產(chǎn)品時，應該優(yōu)先考慮結(jié)果的準確性而不是交互的便利性。

研究團隊還發(fā)現(xiàn)，不同類型的AI模型在面對不完整信息時表現(xiàn)出不同的行為模式。一些模型傾向于快速給出答案，而另一些模型會進行更長時間的思考。這種差異可能反映了不同訓練方法的影響，也提示我們可以通過選擇合適的模型來優(yōu)化特定應用場景的表現(xiàn)。

在實際應用中，這項研究建議我們建立一套"信息完整性檢查"機制。在AI系統(tǒng)中加入專門的模塊來識別輸入信息的完整性，并在信息不足時主動提示用戶補充。這就像在汽車中安裝安全帶提醒裝置一樣，雖然可能會給用戶帶來一些"麻煩"，但能夠避免更嚴重的后果。

說到底，這項研究揭示了一個深刻的道理：真正的智能不僅體現(xiàn)在解決問題的能力上，更體現(xiàn)在正確識別問題邊界的智慧上。當前的AI就像那些不好意思承認自己不懂的學生，寧愿給出錯誤答案也不愿意暴露自己的無知。但實際上，知道自己不知道什么，并勇于尋求幫助，才是真正成熟智能的標志。

這項研究為AI的未來發(fā)展開辟了一個新的方向：培養(yǎng)AI的"謙遜智能"。我們不僅要讓AI變得更強大，更要讓AI變得更誠實。一個敢于說"我不知道，需要更多信息"的AI，可能比那些總是假裝什么都懂的AI更有價值。畢竟，在現(xiàn)實世界中，誠實比聰明更重要，求助比猜測更明智。

研究團隊的工作提醒我們，在追求AI能力提升的同時，不能忽視AI行為模式的培養(yǎng)。我們需要的不是無所不能的AI，而是知道何時能、何時不能的AI。這種轉(zhuǎn)變不僅是技術(shù)進步，更是AI發(fā)展理念的成熟表現(xiàn)。只有當AI學會了適當?shù)闹t遜，它們才能真正成為人類可靠的合作伙伴。

Q&A

Q1：CRITIC-math數(shù)據(jù)集是什么？它如何測試AI的求助能力？

A：CRITIC-math是研究團隊專門構(gòu)建的數(shù)據(jù)集，包含兩類信息不完整的數(shù)學題：缺少前提條件的題目（比如問距離但不給速度）和缺少目標的題目（給了數(shù)據(jù)但不說要計算什么）。通過這些殘缺題目，可以測試AI是否會主動詢問缺失信息，還是會盲目猜測答案。

Q2：為什么大語言模型不愿意主動提問求助？

A：研究發(fā)現(xiàn)AI存在三種"裝懂"行為：思維背叛（內(nèi)心知道該問但最終沒問）、過度思考（試圖通過更多思考彌補信息不足）和幻覺填空（自己編造缺失信息）。這可能是因為現(xiàn)有訓練方式過分強調(diào)獨立解決問題，而缺乏對求助行為的專門培養(yǎng)。

Q3：這個發(fā)現(xiàn)對普通用戶使用AI有什么啟示？

A：用戶在使用AI時應該更加謹慎，主動提供完整信息而不是期待AI準確猜測。當AI給出看似確定的答案時，要思考這是基于充分信息還是AI的猜測。特別是在重要決策中，應該確保AI獲得了所有必要的信息。