這項(xiàng)由中國(guó)人民大學(xué)高瓴人工智能學(xué)院竇志成教授團(tuán)隊(duì)與百川智能科技公司合作完成的研究發(fā)表于2025年8月,詳細(xì)展現(xiàn)了企業(yè)級(jí)深度搜索的全新解決方案。有興趣深入了解的讀者可以通過論文代碼庫(kù)https://github.com/plageon/HierSearch訪問完整論文和相關(guān)資料。
當(dāng)我們?cè)诠ぷ髦杏龅綇?fù)雜問題時(shí),往往需要同時(shí)查閱公司內(nèi)部的文檔資料和互聯(lián)網(wǎng)上的公開信息。比如一位金融分析師想了解某家公司的投資風(fēng)險(xiǎn),他既需要查看公司內(nèi)部的專業(yè)數(shù)據(jù)庫(kù),也要搜索網(wǎng)上的新聞報(bào)道和市場(chǎng)分析。然而現(xiàn)有的AI搜索助手就像只會(huì)在一個(gè)圖書館找書的管理員,要么只能翻閱內(nèi)部資料,要么只會(huì)上網(wǎng)搜索,無法同時(shí)利用兩種信息源來給出全面的答案。
中國(guó)人民大學(xué)的研究團(tuán)隊(duì)發(fā)現(xiàn)了這個(gè)問題,并提出了一個(gè)創(chuàng)新的解決方案。他們開發(fā)了一個(gè)名為HierSearch的系統(tǒng),就像組建了一個(gè)專業(yè)的信息收集團(tuán)隊(duì)。這個(gè)團(tuán)隊(duì)有三個(gè)成員:一個(gè)專門負(fù)責(zé)搜索公司內(nèi)部資料的本地專家,一個(gè)擅長(zhǎng)網(wǎng)絡(luò)搜索的網(wǎng)絡(luò)專家,還有一個(gè)負(fù)責(zé)統(tǒng)籌協(xié)調(diào)的規(guī)劃者。當(dāng)用戶提出問題時(shí),規(guī)劃者會(huì)根據(jù)問題的性質(zhì)決定派哪個(gè)專家去搜索,或者讓兩個(gè)專家同時(shí)行動(dòng),最后將所有找到的信息整合起來給出最佳答案。
這種分工合作的方式解決了傳統(tǒng)方法的一個(gè)關(guān)鍵問題。以前的系統(tǒng)就像讓一個(gè)人同時(shí)掌握所有技能,結(jié)果往往是樣樣會(huì)但樣樣不精。特別是在網(wǎng)絡(luò)搜索這種相對(duì)困難的任務(wù)上,系統(tǒng)總是表現(xiàn)不佳,更愿意去搜索那些容易獲得結(jié)果的本地資料。這就好比一個(gè)學(xué)生在考試時(shí)總是先做簡(jiǎn)單題,把難題留到最后,結(jié)果時(shí)間不夠難題做得很差。
為了訓(xùn)練這個(gè)分層的AI團(tuán)隊(duì),研究人員采用了一種叫做"分層強(qiáng)化學(xué)習(xí)"的方法。這個(gè)過程就像培訓(xùn)一個(gè)專業(yè)團(tuán)隊(duì):首先單獨(dú)訓(xùn)練每個(gè)專家,讓本地搜索專家熟練掌握內(nèi)部資料的檢索技巧,讓網(wǎng)絡(luò)搜索專家練好上網(wǎng)找信息的本領(lǐng)。等兩個(gè)專家都練得爐火純青了,再訓(xùn)練規(guī)劃者學(xué)會(huì)如何指揮這兩個(gè)專家,什么時(shí)候該派誰(shuí)上場(chǎng),如何整合他們找到的信息。這種先分后合的訓(xùn)練方式比一開始就讓一個(gè)系統(tǒng)學(xué)會(huì)所有技能要高效得多。
在這個(gè)過程中,研究團(tuán)隊(duì)還發(fā)現(xiàn)了另一個(gè)重要問題:專家們找到的信息往往包含很多無關(guān)內(nèi)容,甚至有些錯(cuò)誤信息。就像讓兩個(gè)助手去圖書館找資料,他們不僅會(huì)帶回相關(guān)的書籍,還可能帶回一堆不相關(guān)的材料,甚至是一些過時(shí)的錯(cuò)誤信息。如果規(guī)劃者不加篩選就把這些信息全盤接收,最終的答案質(zhì)量就會(huì)大打折扣。
為了解決這個(gè)問題,研究人員設(shè)計(jì)了一個(gè)"知識(shí)精煉器",就像給團(tuán)隊(duì)配了一個(gè)專業(yè)的信息篩選員。這個(gè)篩選員會(huì)仔細(xì)檢查每個(gè)專家?guī)Щ貋淼男畔ⅲ紫群Y選出那些真正有助于回答問題的關(guān)鍵證據(jù),然后從全局角度再次篩選,確保最終交給規(guī)劃者的都是最有價(jià)值的信息。這個(gè)篩選過程分為兩個(gè)步驟:先看哪些證據(jù)直接支持了專家的推理過程,再看哪些證據(jù)對(duì)最終結(jié)論有整體貢獻(xiàn)。
整個(gè)HierSearch系統(tǒng)的工作流程就像一個(gè)高效的咨詢團(tuán)隊(duì)處理客戶問題。當(dāng)客戶提出問題時(shí),項(xiàng)目經(jīng)理(規(guī)劃者)首先分析問題的性質(zhì),然后決定是派內(nèi)部資料專家獨(dú)自處理,還是派網(wǎng)絡(luò)調(diào)研專家單獨(dú)行動(dòng),或者讓兩個(gè)專家同時(shí)工作。專家們各自利用自己的工具和資源進(jìn)行搜索:內(nèi)部專家會(huì)查閱公司的文檔庫(kù)和知識(shí)圖譜,網(wǎng)絡(luò)專家則使用搜索引擎和瀏覽器獲取網(wǎng)上信息。當(dāng)專家們完成搜索后,信息篩選員會(huì)對(duì)他們的發(fā)現(xiàn)進(jìn)行質(zhì)量控制,過濾掉無關(guān)和錯(cuò)誤的信息。最后,項(xiàng)目經(jīng)理綜合所有高質(zhì)量信息,給出客戶滿意的答案。
研究團(tuán)隊(duì)在六個(gè)不同領(lǐng)域的數(shù)據(jù)集上測(cè)試了HierSearch的表現(xiàn),包括通用領(lǐng)域、金融領(lǐng)域和醫(yī)學(xué)領(lǐng)域。測(cè)試結(jié)果顯示,這個(gè)分層系統(tǒng)在所有測(cè)試中都顯著優(yōu)于傳統(tǒng)方法。更重要的是,HierSearch不僅答案質(zhì)量更高,搜索效率也更好,避免了傳統(tǒng)系統(tǒng)經(jīng)常出現(xiàn)的無效搜索問題。
特別值得注意的是,研究人員發(fā)現(xiàn)分層訓(xùn)練方法比傳統(tǒng)的"扁平化"訓(xùn)練方法效果要好得多。在傳統(tǒng)方法中,系統(tǒng)需要同時(shí)學(xué)會(huì)使用所有搜索工具,結(jié)果往往是學(xué)習(xí)效率低下,而且總是偏向于使用那些容易出結(jié)果的工具。就像讓一個(gè)人同時(shí)學(xué)習(xí)鋼琴、小提琴和吉他,最后可能哪個(gè)都學(xué)不好。而分層方法讓每個(gè)專家專精于自己的領(lǐng)域,然后通過規(guī)劃者來協(xié)調(diào),就像讓音樂家各自練好自己的樂器,再通過指揮家來協(xié)調(diào)整個(gè)樂團(tuán)的演奏。
在實(shí)際應(yīng)用效果的分析中,研究團(tuán)隊(duì)發(fā)現(xiàn)HierSearch在多知識(shí)源環(huán)境中的搜索成功率和推理成功率都顯著高于現(xiàn)有方法。系統(tǒng)能夠成功利用本地知識(shí)源的優(yōu)勢(shì)(專業(yè)性強(qiáng)、針對(duì)性好)和網(wǎng)絡(luò)知識(shí)源的優(yōu)勢(shì)(信息全面、更新及時(shí)),在不同類型的問題上都能給出高質(zhì)量的答案。
從效率角度來看,雖然HierSearch使用了三個(gè)智能體的分層架構(gòu),但其計(jì)算成本并沒有顯著增加。相比那些需要并行搜索多個(gè)知識(shí)源的傳統(tǒng)方法,HierSearch通過智能的任務(wù)分配和信息篩選,實(shí)際上減少了不必要的搜索操作,特別是那些成本較高的網(wǎng)絡(luò)搜索。
這項(xiàng)研究的意義不僅在于技術(shù)創(chuàng)新,更在于為企業(yè)級(jí)AI應(yīng)用提供了一個(gè)實(shí)用的解決方案。在現(xiàn)實(shí)的企業(yè)環(huán)境中,員工確實(shí)需要同時(shí)利用內(nèi)部知識(shí)和外部信息來解決復(fù)雜問題。HierSearch為這種需求提供了一個(gè)可行的技術(shù)路徑,讓AI助手能夠像人類專家團(tuán)隊(duì)一樣高效協(xié)作,為用戶提供更全面、更準(zhǔn)確的信息支持。
說到底,HierSearch就像是給企業(yè)配備了一個(gè)永不疲憊的智能研究團(tuán)隊(duì)。這個(gè)團(tuán)隊(duì)不僅能夠快速準(zhǔn)確地找到所需信息,還能智能地判斷什么時(shí)候需要查內(nèi)部資料,什么時(shí)候需要搜索網(wǎng)絡(luò)信息,以及如何將不同來源的信息有效整合。對(duì)于那些需要處理大量信息查詢的企業(yè)來說,這樣的系統(tǒng)可以顯著提高工作效率,減少人工搜索的時(shí)間成本,同時(shí)保證信息的準(zhǔn)確性和全面性。這項(xiàng)技術(shù)的成熟和推廣,可能會(huì)改變我們?cè)诠ぷ髦蝎@取和使用信息的方式,讓每個(gè)人都能享受到專業(yè)研究團(tuán)隊(duì)的服務(wù)。
Q&A
Q1:HierSearch系統(tǒng)是怎么工作的?它和普通搜索有什么不同?
A:HierSearch就像一個(gè)三人專業(yè)團(tuán)隊(duì),包括本地搜索專家、網(wǎng)絡(luò)搜索專家和統(tǒng)籌規(guī)劃者。當(dāng)用戶提問時(shí),規(guī)劃者會(huì)根據(jù)問題性質(zhì)決定派哪個(gè)專家搜索,或讓兩個(gè)專家同時(shí)行動(dòng)。系統(tǒng)還配備信息篩選員過濾無關(guān)和錯(cuò)誤信息。這種分工協(xié)作方式比傳統(tǒng)的單一搜索工具更全面準(zhǔn)確。
Q2:分層強(qiáng)化學(xué)習(xí)訓(xùn)練方法比傳統(tǒng)方法好在哪里?
A:分層訓(xùn)練就像先讓每個(gè)音樂家練好自己的樂器,再讓指揮家學(xué)會(huì)協(xié)調(diào)整個(gè)樂團(tuán),比讓一個(gè)人同時(shí)學(xué)所有樂器效果好得多。研究發(fā)現(xiàn)傳統(tǒng)方法容易偏向簡(jiǎn)單任務(wù),在網(wǎng)絡(luò)搜索等困難任務(wù)上表現(xiàn)不佳,而分層方法讓每個(gè)專家都能精通自己的領(lǐng)域,整體效果顯著提升。
Q3:這個(gè)系統(tǒng)適合什么樣的企業(yè)使用?效果怎么樣?
A:HierSearch特別適合需要同時(shí)利用內(nèi)部資料和外部信息的企業(yè),如金融、醫(yī)療、咨詢等行業(yè)。測(cè)試顯示系統(tǒng)在六個(gè)不同領(lǐng)域數(shù)據(jù)集上都顯著優(yōu)于現(xiàn)有方法,不僅答案質(zhì)量更高,搜索效率也更好,能有效減少無效搜索,降低人工成本。
好文章,需要你的鼓勵(lì)
浙江大學(xué)團(tuán)隊(duì)提出動(dòng)態(tài)專家搜索方法,讓AI能根據(jù)不同問題靈活調(diào)整內(nèi)部專家配置。該方法在數(shù)學(xué)、編程等任務(wù)上顯著提升推理準(zhǔn)確率,且不增加計(jì)算成本。研究發(fā)現(xiàn)不同類型問題偏愛不同專家配置,為AI推理優(yōu)化開辟新路徑。
清華大學(xué)研究團(tuán)隊(duì)提出SIRI方法,通過"壓縮-擴(kuò)張"交替訓(xùn)練策略,成功解決了大型推理模型"話多且準(zhǔn)確率低"的問題。實(shí)驗(yàn)顯示,該方法在數(shù)學(xué)競(jìng)賽題上將模型準(zhǔn)確率提升43.2%的同時(shí),輸出長(zhǎng)度減少46.9%,真正實(shí)現(xiàn)了效率與性能的雙重優(yōu)化,為AI模型訓(xùn)練提供了新思路。
南洋理工大學(xué)與騰訊聯(lián)合研究團(tuán)隊(duì)開發(fā)出Rolling Forcing技術(shù),實(shí)現(xiàn)AI視頻實(shí)時(shí)流式生成的重大突破。該技術(shù)通過滾動(dòng)窗口聯(lián)合去噪、注意力錨點(diǎn)機(jī)制和高效訓(xùn)練算法三項(xiàng)創(chuàng)新,解決了長(zhǎng)視頻生成中的錯(cuò)誤累積問題,可在單GPU上以16fps速度生成多分鐘高質(zhì)量視頻,延遲僅0.76秒,質(zhì)量漂移指標(biāo)從傳統(tǒng)方法的1.66降至0.01,為交互式媒體和內(nèi)容創(chuàng)作開辟新可能。
華中科技大學(xué)研究團(tuán)隊(duì)發(fā)現(xiàn),通過讓AI模型學(xué)習(xí)解決幾何問題,能夠顯著提升其空間理解能力。他們構(gòu)建了包含約30000個(gè)幾何題目的Euclid30K數(shù)據(jù)集,使用強(qiáng)化學(xué)習(xí)方法訓(xùn)練多個(gè)AI模型。實(shí)驗(yàn)結(jié)果顯示,幾何訓(xùn)練在四個(gè)空間智能測(cè)試基準(zhǔn)上都帶來顯著提升,其中最佳模型達(dá)到49.6%準(zhǔn)確率,超越此前最好成績(jī)。這項(xiàng)研究揭示了基礎(chǔ)幾何知識(shí)對(duì)培養(yǎng)AI空間智能的重要價(jià)值。