這篇由中國人民大學(xué)信息學(xué)院陳一飛、董冠廷等研究者撰寫的論文發(fā)表于2025年，論文標(biāo)題為《通過自演化偏好學(xué)習(xí)實(shí)現(xiàn)有效的工具集成推理》，研究編號為arXiv:2509.23285v2。感興趣的讀者可以通過該編號查詢完整論文。

在人工智能迅速發(fā)展的今天，大語言模型就像一個(gè)博學(xué)的學(xué)者，雖然知識淵博，但在面對一些實(shí)際問題時(shí)，仍然會感到力不從心。比如，當(dāng)你問它"今天北京的天氣怎么樣"或者"幫我計(jì)算一下復(fù)雜的數(shù)學(xué)公式"時(shí)，它就像一個(gè)沒有工具的工匠，只能憑借記憶中的知識來回答，往往無法給出最新、最準(zhǔn)確的信息。

為了解決這個(gè)問題，研究者們想出了一個(gè)聰明的辦法——給AI配備各種"工具"，就像給工匠配備錘子、螺絲刀、測量儀等專業(yè)工具一樣。這些AI工具包括搜索引擎（用來獲取最新信息）、計(jì)算器（用來進(jìn)行精確計(jì)算）、代碼執(zhí)行器（用來運(yùn)行程序）等等。這種讓AI學(xué)會使用外部工具來增強(qiáng)自己能力的方法，就被稱為"工具集成推理"。

然而，就像一個(gè)剛學(xué)會使用工具的新手工匠一樣，AI在使用這些工具時(shí)經(jīng)常出現(xiàn)各種問題。有時(shí)候它會像一個(gè)過度依賴工具的人，遇到簡單問題也要?jiǎng)佑脧?fù)雜工具，比如用計(jì)算器來算1+1；有時(shí)候它又會像一個(gè)固執(zhí)的人，明明需要工具幫助卻堅(jiān)持靠自己，結(jié)果搞得一團(tuán)糟。更糟糕的是，當(dāng)工具給出不太理想的結(jié)果時(shí)，AI有時(shí)會陷入"分析癱瘓"的狀態(tài)，就像一個(gè)人拿著GPS卻還是迷路了，開始無休止地思考和糾結(jié)。

中國人民大學(xué)的研究團(tuán)隊(duì)敏銳地察覺到了這些問題，他們發(fā)現(xiàn)現(xiàn)有的訓(xùn)練方法就像教學(xué)生使用工具時(shí)只關(guān)注單一技能，比如只教會學(xué)生使用錘子，卻沒有教會他們什么時(shí)候該用錘子、什么時(shí)候該用螺絲刀，以及如何協(xié)調(diào)使用多種工具。更重要的是，以往的研究往往只關(guān)注"別用太多工具"這一個(gè)方面，卻忽視了"該用工具時(shí)要勇敢使用"以及"使用工具后如何有效處理結(jié)果"這些同樣重要的問題。

為了徹底解決這些問題，研究團(tuán)隊(duì)開發(fā)了一個(gè)名為"Tool-Light"的創(chuàng)新框架。這個(gè)框架的核心思想非常巧妙，它從信息熵的角度來理解AI的推理過程。信息熵聽起來很抽象，但可以簡單理解為"不確定性"的度量。當(dāng)AI在思考問題時(shí)，如果它很確定接下來該說什么，信息熵就比較低；如果它很猶豫、有很多可能的選擇，信息熵就比較高。

研究團(tuán)隊(duì)通過大量實(shí)驗(yàn)發(fā)現(xiàn)了一個(gè)有趣的現(xiàn)象：當(dāng)AI使用工具并獲得結(jié)果后，它的思考過程會發(fā)生明顯變化。就像一個(gè)人在黑暗中摸索時(shí)充滿不確定性，但一旦打開手電筒看清周圍環(huán)境，思路就會變得清晰一樣。具體來說，AI在接收到工具調(diào)用結(jié)果后，其輸出的信息熵會先上升（因?yàn)樾枰幚硇滦畔ⅲ?，然后波動，最后在下次調(diào)用工具前急劇下降（因?yàn)樗悸分饾u清晰）。

更有趣的是，研究團(tuán)隊(duì)還發(fā)現(xiàn)，對于同一個(gè)問題，如果存在多條正確的解決路徑，那些使用較少工具的路徑通常具有更低的整體熵分布。這就像在導(dǎo)航時(shí)，雖然有多條路線都能到達(dá)目的地，但通常最直接、最少繞路的路線讓人感到最確定和踏實(shí)。

基于這些洞察，Tool-Light框架設(shè)計(jì)了一套精巧的訓(xùn)練策略，就像一個(gè)經(jīng)驗(yàn)豐富的師傅在教授徒弟使用工具一樣。這個(gè)框架包含兩個(gè)主要組成部分：數(shù)據(jù)構(gòu)建策略和分階段訓(xùn)練方法。

在數(shù)據(jù)構(gòu)建方面，研究團(tuán)隊(duì)設(shè)計(jì)了一種創(chuàng)新的"熵引導(dǎo)采樣"策略。傳統(tǒng)的訓(xùn)練數(shù)據(jù)收集就像隨機(jī)挑選練習(xí)題一樣，而這種新策略更像一個(gè)智慧的老師，會特別關(guān)注學(xué)生在哪些地方最容易犯錯(cuò)或最不確定。具體來說，系統(tǒng)會先讓AI生成一條主要的推理鏈，然后在信息熵最高的位置（也就是AI最不確定的地方）進(jìn)行分支，生成多條不同的路徑。這樣做的好處是能夠獲得更多樣化、更有針對性的訓(xùn)練樣本，就像讓學(xué)生重點(diǎn)練習(xí)最容易出錯(cuò)的題型一樣。

在訓(xùn)練方法上，Tool-Light采用了一個(gè)兩階段的策略。第一階段叫做"監(jiān)督微調(diào)"，就像讓學(xué)生先學(xué)習(xí)基礎(chǔ)知識和基本操作一樣，讓AI掌握使用工具的基本能力。第二階段叫做"自演化直接偏好優(yōu)化"，這是整個(gè)框架的精華所在。

這個(gè)自演化過程非常巧妙，它又分為兩個(gè)子階段。第一個(gè)子階段叫做"預(yù)對齊DPO訓(xùn)練"，主要目的是讓AI學(xué)會減少不必要的工具調(diào)用，就像教一個(gè)新手工匠不要?jiǎng)硬粍泳褪褂米顝?fù)雜的工具一樣。在這個(gè)階段，系統(tǒng)會仔細(xì)分析每個(gè)訓(xùn)練樣本，將那些正確但使用了最少工具調(diào)用且具有最低熵值的解決方案標(biāo)記為"正例"，將那些錯(cuò)誤且使用了過多工具的解決方案標(biāo)記為"負(fù)例"。通過對比學(xué)習(xí)，AI逐漸學(xué)會了什么時(shí)候該用工具、什么時(shí)候不該用工具。

第二個(gè)子階段叫做"自演化DPO對齊"，這是整個(gè)系統(tǒng)最具創(chuàng)新性的部分。在這個(gè)階段，AI開始學(xué)會自我改進(jìn)，就像一個(gè)學(xué)徒在師傅的指導(dǎo)下逐漸成長為獨(dú)當(dāng)一面的工匠一樣。系統(tǒng)會不斷地讓AI生成新的解決方案，然后根據(jù)這些方案的質(zhì)量來調(diào)整訓(xùn)練策略。

這個(gè)過程的關(guān)鍵在于動態(tài)適應(yīng)。系統(tǒng)會根據(jù)AI當(dāng)前的能力水平來調(diào)整訓(xùn)練數(shù)據(jù)的難度。如果AI在某類問題上表現(xiàn)不錯(cuò)，說明它已經(jīng)掌握了相關(guān)技能，這時(shí)系統(tǒng)會鼓勵(lì)它用更少的工具來解決問題，追求效率。但如果AI在某類問題上還很吃力，系統(tǒng)會鼓勵(lì)它更積極地使用工具，確保能夠得到正確答案。這就像一個(gè)好老師會根據(jù)學(xué)生的學(xué)習(xí)進(jìn)度來調(diào)整教學(xué)策略一樣。

整個(gè)訓(xùn)練過程還有一個(gè)非常重要的特點(diǎn)，就是"自演化"機(jī)制。傳統(tǒng)的訓(xùn)練方法就像讓學(xué)生一直做同樣難度的練習(xí)題，而Tool-Light會讓AI在訓(xùn)練過程中不斷生成新的、更有挑戰(zhàn)性的問題來挑戰(zhàn)自己。這樣AI就能在一個(gè)螺旋上升的過程中不斷提高自己的能力。

為了驗(yàn)證Tool-Light框架的有效性，研究團(tuán)隊(duì)進(jìn)行了大量的實(shí)驗(yàn)。他們選擇了10個(gè)具有挑戰(zhàn)性的推理任務(wù)來測試AI的表現(xiàn)，這些任務(wù)分為兩大類：數(shù)學(xué)推理任務(wù)和知識密集型任務(wù)。數(shù)學(xué)推理任務(wù)包括AIME（美國數(shù)學(xué)邀請賽）、AMC（美國數(shù)學(xué)競賽）、MATH等著名的數(shù)學(xué)競賽題目，而知識密集型任務(wù)則包括HotpotQA、2WikiMultiHopQA等需要多步推理和信息檢索的復(fù)雜問題。

實(shí)驗(yàn)結(jié)果令人印象深刻。Tool-Light不僅在準(zhǔn)確性上超越了現(xiàn)有的方法，更重要的是在工具使用的效率和必要性方面取得了顯著改進(jìn)。研究團(tuán)隊(duì)設(shè)計(jì)了兩個(gè)創(chuàng)新的評估指標(biāo)來衡量AI使用工具的水平。第一個(gè)指標(biāo)叫做"效率"，它衡量AI是否過度使用工具，就像評估一個(gè)工匠是否會為了簡單任務(wù)動用復(fù)雜工具一樣。第二個(gè)指標(biāo)叫做"必要性"，它衡量AI是否在需要時(shí)勇于使用工具，避免了"該用不用"的問題。

實(shí)驗(yàn)數(shù)據(jù)顯示，Tool-Light在這兩個(gè)指標(biāo)上都取得了最佳表現(xiàn)。更有趣的是，研究團(tuán)隊(duì)還分析了AI輸出序列的信息熵分布，發(fā)現(xiàn)使用Tool-Light訓(xùn)練的AI確實(shí)產(chǎn)生了更低熵值的輸出序列。這證明了他們的理論假設(shè)是正確的：通過關(guān)注信息熵并在訓(xùn)練中引入低熵路徑的學(xué)習(xí)，確實(shí)能夠讓AI的推理過程變得更加高效和穩(wěn)定。

研究團(tuán)隊(duì)還進(jìn)行了詳細(xì)的消融實(shí)驗(yàn)，就像廚師會單獨(dú)測試每個(gè)調(diào)料對菜品味道的影響一樣。他們發(fā)現(xiàn)，自演化DPO對齊的循環(huán)次數(shù)對最終性能有重要影響。有趣的是，訓(xùn)練循環(huán)并不是越多越好，在經(jīng)過2輪循環(huán)后，模型性能達(dá)到峰值，繼續(xù)增加循環(huán)次數(shù)反而會導(dǎo)致性能下降。這就像練習(xí)一個(gè)技能時(shí)，適度的練習(xí)能夠提高水平，但過度練習(xí)可能會導(dǎo)致疲勞和退步一樣。

另一個(gè)重要發(fā)現(xiàn)是采樣策略的影響。研究團(tuán)隊(duì)測試了不同的數(shù)據(jù)混合比例，發(fā)現(xiàn)將傳統(tǒng)采樣和熵引導(dǎo)采樣按照13:7的比例混合時(shí)效果最佳。這說明雖然熵引導(dǎo)采樣很有用，但完全拋棄傳統(tǒng)方法也不是明智的選擇，最佳策略是兩者的有機(jī)結(jié)合。

此外，研究團(tuán)隊(duì)還通過案例研究展示了Tool-Light的實(shí)際效果。在一個(gè)數(shù)學(xué)問題中，當(dāng)要求找出滿足特定條件的整數(shù)個(gè)數(shù)時(shí)，Tool-Light訓(xùn)練的AI只使用了一次代碼執(zhí)行工具就得到了正確答案，而對比方法卻使用了兩次工具調(diào)用，且中間還有不必要的重復(fù)計(jì)算。在另一個(gè)更復(fù)雜的數(shù)學(xué)問題中，Tool-Light的AI能夠主動識別出需要使用計(jì)算工具來驗(yàn)證答案的準(zhǔn)確性，而對比方法卻試圖完全依靠內(nèi)部推理，結(jié)果得出了錯(cuò)誤答案。

這些實(shí)驗(yàn)結(jié)果不僅證明了Tool-Light框架的有效性，也為未來的研究提供了重要啟示。研究團(tuán)隊(duì)的工作表明，要讓AI更好地使用工具，關(guān)鍵不在于簡單地增加更多工具或更多訓(xùn)練數(shù)據(jù)，而在于深入理解AI的推理過程，并設(shè)計(jì)更加智能的訓(xùn)練策略。

從更廣闊的視角來看，這項(xiàng)研究對AI領(lǐng)域的意義是深遠(yuǎn)的。隨著AI系統(tǒng)變得越來越復(fù)雜，如何讓它們高效、準(zhǔn)確地使用各種工具將成為一個(gè)核心挑戰(zhàn)。Tool-Light框架提供的解決思路——通過信息熵來理解和指導(dǎo)AI的推理過程——為這個(gè)挑戰(zhàn)提供了一個(gè)全新的角度。

這種方法的潛在應(yīng)用場景非常廣泛。在教育領(lǐng)域，AI助手可以更好地使用各種教學(xué)工具來幫助學(xué)生學(xué)習(xí)；在科研領(lǐng)域，AI可以更有效地使用實(shí)驗(yàn)工具和分析軟件來輔助研究；在商業(yè)領(lǐng)域，AI可以更智能地使用各種業(yè)務(wù)工具來提高工作效率。

當(dāng)然，這項(xiàng)研究也還存在一些局限性和未來改進(jìn)的空間。目前的框架主要關(guān)注了搜索工具和代碼執(zhí)行工具這兩類最常見的工具，未來可以擴(kuò)展到更多類型的工具，如圖像處理工具、數(shù)據(jù)庫查詢工具等。另外，雖然熵引導(dǎo)采樣策略很有效，但在計(jì)算復(fù)雜度方面還有優(yōu)化空間，特別是在處理非常長的推理鏈時(shí)。

說到底，Tool-Light框架解決的是一個(gè)非常實(shí)際的問題：如何讓AI既聰明又高效地使用工具。就像培養(yǎng)一個(gè)優(yōu)秀的工匠需要教會他們不僅要掌握各種工具的使用方法，更要懂得在什么情況下使用什么工具一樣，這項(xiàng)研究為AI的"工具素養(yǎng)"教育提供了一套科學(xué)有效的方法。

對于普通人來說，這項(xiàng)研究的成果意味著未來的AI助手將變得更加實(shí)用和可靠。它們不會再像無頭蒼蠅一樣亂用工具，也不會因?yàn)楣虉?zhí)而拒絕使用必要的工具。相反，它們會像經(jīng)驗(yàn)豐富的專家一樣，知道什么時(shí)候該用什么工具，既能保證準(zhǔn)確性，又能保持高效性。這將大大提升我們與AI交互的體驗(yàn)，讓AI真正成為我們工作和生活中的得力助手。

Q&A

Q1：Tool-Light框架是什么？它解決了什么問題？

A：Tool-Light是中國人民大學(xué)開發(fā)的一個(gè)AI訓(xùn)練框架，專門用來解決AI使用外部工具時(shí)的三大問題：過度使用工具、不敢使用必要工具、以及使用工具后的過度思考。就像訓(xùn)練一個(gè)工匠合理使用各種工具一樣，這個(gè)框架讓AI學(xué)會什么時(shí)候該用工具、什么時(shí)候不該用，以及如何高效處理工具結(jié)果。

Q2：信息熵在Tool-Light框架中起什么作用？

A：信息熵在這里可以理解為AI思考時(shí)的"不確定性程度"。研究團(tuán)隊(duì)發(fā)現(xiàn)，AI在使用工具前后，其思考的確定性會發(fā)生規(guī)律性變化。Tool-Light利用這個(gè)規(guī)律，在AI最不確定的地方進(jìn)行重點(diǎn)訓(xùn)練，就像老師會特別關(guān)注學(xué)生最容易出錯(cuò)的地方一樣，從而提高AI的工具使用效率。

Q3：Tool-Light框架的訓(xùn)練效果如何？

A：實(shí)驗(yàn)結(jié)果顯示，Tool-Light在10個(gè)challenging推理任務(wù)上都取得了優(yōu)異表現(xiàn)。它不僅提高了AI回答問題的準(zhǔn)確性，更重要的是顯著改善了工具使用的效率和必要性。使用Tool-Light訓(xùn)練的AI既不會浪費(fèi)時(shí)間過度使用工具，也不會在需要幫助時(shí)固執(zhí)地拒絕使用工具，整體表現(xiàn)更加智能和實(shí)用。