這項由IDEA研究院(國際數(shù)字經(jīng)濟(jì)研究院)的吳曉軍、楊策豪、林學(xué)遠(yuǎn)等研究人員與香港科技大學(xué)(廣州)、DataArc Tech Ltd等機(jī)構(gòu)聯(lián)合開展的研究,于2025年9月發(fā)表在arXiv預(yù)印本平臺上(論文編號:2509.21710v1)。有興趣深入了解的讀者可以通過該編號查詢完整論文。
在當(dāng)今這個信息爆炸的時代,我們每天都被海量的文字、圖片和數(shù)據(jù)包圍著。當(dāng)你在網(wǎng)上搜索"如何制作完美的意大利面"時,你可能會得到成千上萬個搜索結(jié)果。但問題是,如何從這些信息中找到真正有用、準(zhǔn)確且符合你需求的答案呢?這就像在一個巨大的圖書館里尋找一本特定的書,而這個圖書館沒有分類系統(tǒng),所有的書都隨意擺放。
現(xiàn)在,想象一下有一個超級智能的圖書管理員,它不僅能快速找到你需要的書,還能理解你真正想要什么,甚至能將多本相關(guān)的書籍內(nèi)容整合起來,給你一個完整、準(zhǔn)確的答案。這就是研究團(tuán)隊開發(fā)的Think-on-Graph 3.0(簡稱ToG-3)系統(tǒng)想要實現(xiàn)的目標(biāo)。
目前的人工智能助手面臨著一個根本性的困境。傳統(tǒng)的AI系統(tǒng)就像一個只會背書的學(xué)生,它們雖然記住了大量信息,但當(dāng)遇到復(fù)雜問題時,往往會給出表面化或不準(zhǔn)確的答案。更糟糕的是,它們有時還會"胡編亂造"一些聽起來合理但實際上錯誤的信息,這在學(xué)術(shù)界被稱為"幻覺"現(xiàn)象。
而現(xiàn)有的一些改進(jìn)方案,比如基于圖譜的檢索增強(qiáng)生成技術(shù),雖然試圖解決這個問題,但它們就像一個固執(zhí)的廚師,只會按照固定的食譜做菜,無法根據(jù)現(xiàn)有食材的情況靈活調(diào)整。這些系統(tǒng)要么依賴于預(yù)先構(gòu)建好的知識圖譜(就像使用別人寫好的食譜),要么使用較小的AI模型來構(gòu)建知識圖譜,但這些小模型的能力有限,經(jīng)常會遺漏重要信息或犯錯誤。
研究團(tuán)隊發(fā)現(xiàn),問題的核心在于這些系統(tǒng)缺乏"學(xué)習(xí)能力"和"適應(yīng)性"。就像一個初學(xué)者按照食譜做菜時,如果發(fā)現(xiàn)某個步驟不對,他不知道如何調(diào)整,只能硬著頭皮繼續(xù)下去,最終做出的菜可能味道很糟糕。
為了解決這個問題,研究團(tuán)隊開發(fā)了一個革命性的解決方案:ToG-3系統(tǒng)。這個系統(tǒng)的核心創(chuàng)新在于引入了一個名為MACER(多智能體上下文演化與檢索)的機(jī)制。簡單來說,這就像組建了一個由多個專家組成的智能團(tuán)隊,每個專家都有自己的專長,它們能夠協(xié)作工作,在解決問題的過程中不斷學(xué)習(xí)和改進(jìn)。
這個系統(tǒng)最神奇的地方在于它的"雙重進(jìn)化"能力。當(dāng)你向它提出一個復(fù)雜問題時,系統(tǒng)不是簡單地搜索現(xiàn)有信息,而是會同時做兩件事:一方面,它會將你的復(fù)雜問題分解成更小、更具體的子問題(這叫"查詢演化");另一方面,它會根據(jù)這些子問題來動態(tài)調(diào)整和完善它的知識結(jié)構(gòu)(這叫"子圖演化")。這就像一個優(yōu)秀的偵探在破案過程中,既會根據(jù)新線索調(diào)整調(diào)查方向,又會重新組織和分析已有的證據(jù)。
一、多智能體協(xié)作:四個專家的完美配合
ToG-3系統(tǒng)的工作方式可以比作一個高效的律師事務(wù)所,里面有四個不同專長的律師協(xié)作處理復(fù)雜案件。
首先是"檢索專家",就像事務(wù)所的調(diào)查員。當(dāng)你提出問題時,這個專家會立即開始搜索相關(guān)信息。但與傳統(tǒng)搜索不同的是,它不只是簡單地匹配關(guān)鍵詞,而是能夠理解問題的深層含義,找到真正相關(guān)的信息片段。
接下來是"構(gòu)建專家",相當(dāng)于事務(wù)所的資料整理員。這個專家的任務(wù)是將找到的零散信息組織成一個有條理的知識網(wǎng)絡(luò)。它就像一個拼圖大師,能夠?qū)⒖此茻o關(guān)的信息片段組合成一個完整的圖景。
然后是"反思專家",類似于事務(wù)所的質(zhì)量控制員。這個專家會仔細(xì)檢查已經(jīng)收集到的信息是否足夠回答原始問題。如果發(fā)現(xiàn)信息不足或存在缺口,它會提出新的搜索方向,就像一個經(jīng)驗豐富的律師會問"我們還需要什么證據(jù)來證明這個觀點?"
最后是"回答專家",相當(dāng)于主辦律師。它負(fù)責(zé)將所有收集到的信息整合成一個清晰、準(zhǔn)確的最終答案。但這個專家有一個重要特點:它絕對不會憑空編造信息,只會基于確實找到的證據(jù)來給出回答。
這四個專家的協(xié)作過程是動態(tài)的。當(dāng)反思專家發(fā)現(xiàn)現(xiàn)有信息不足時,整個團(tuán)隊會重新開始工作循環(huán):檢索專家會根據(jù)新的線索搜索更多信息,構(gòu)建專家會更新知識網(wǎng)絡(luò),反思專家會再次評估,直到信息足夠完整為止。這個過程通常需要2-3輪循環(huán),就像律師團(tuán)隊反復(fù)完善他們的論證一樣。
二、知識圖譜的動態(tài)構(gòu)建:從靜態(tài)地圖到活地圖
傳統(tǒng)的知識圖譜系統(tǒng)就像使用一張固定的地圖來導(dǎo)航。無論你要去哪里,這張地圖都是一樣的,不會根據(jù)你的具體目的地和交通狀況進(jìn)行調(diào)整。這導(dǎo)致了一個明顯的問題:地圖上可能包含大量對你當(dāng)前旅行無用的信息,同時可能缺少你真正需要的細(xì)節(jié)。
ToG-3系統(tǒng)采用了一種全新的方法,它創(chuàng)建的是一種"活地圖"。這種地圖有三個層次的信息:
第一層是"文本塊",就像地圖上的具體地址。每個文本塊包含一段完整的信息,比如"埃菲爾鐵塔位于巴黎第七區(qū)"這樣的具體事實。
第二層是"關(guān)系三元組",就像地圖上的道路連接。它描述了不同事物之間的關(guān)系,比如"埃菲爾鐵塔-位于-巴黎"或"巴黎-是-法國首都"這樣的連接關(guān)系。
第三層是"社區(qū)摘要",就像地圖上的區(qū)域概覽。當(dāng)系統(tǒng)發(fā)現(xiàn)某些信息經(jīng)常一起出現(xiàn)時,它會創(chuàng)建一個總結(jié)性的描述。比如,當(dāng)它發(fā)現(xiàn)很多關(guān)于"法國旅游景點"的信息聚集在一起時,就會創(chuàng)建一個"法國旅游"的概覽。
這個三層結(jié)構(gòu)的巧妙之處在于,它可以同時處理具體細(xì)節(jié)和宏觀概念。當(dāng)你問一個具體問題時,系統(tǒng)可以直接找到相關(guān)的文本塊和關(guān)系;當(dāng)你問一個更寬泛的問題時,系統(tǒng)可以利用社區(qū)摘要來提供全面的回答。
更重要的是,這個知識圖譜不是一成不變的。在回答問題的過程中,系統(tǒng)會根據(jù)需要動態(tài)調(diào)整和完善這個圖譜。如果發(fā)現(xiàn)某個重要的連接關(guān)系缺失,它會主動補(bǔ)充;如果發(fā)現(xiàn)某些信息不相關(guān),它會暫時忽略這些部分,專注于真正有用的信息。
三、雙重進(jìn)化機(jī)制:問題和知識的同步優(yōu)化
ToG-3系統(tǒng)最具創(chuàng)新性的特點是它的"雙重進(jìn)化"機(jī)制。這可以比作一個優(yōu)秀的科研團(tuán)隊在解決復(fù)雜科學(xué)問題時的工作方式。
當(dāng)面對一個復(fù)雜問題時,科研團(tuán)隊通常會做兩件事:首先,他們會將大問題分解成更小、更具體的研究問題;其次,他們會根據(jù)這些子問題來收集和整理相關(guān)的研究資料。ToG-3系統(tǒng)的工作方式與此非常相似。
查詢進(jìn)化過程就像研究團(tuán)隊不斷細(xì)化研究問題的過程。比如,當(dāng)你問"洛泰爾二世的母親什么時候去世的?"這個問題時,系統(tǒng)可能會首先問自己"洛泰爾二世的母親是誰?"然后再問"這個人什么時候去世的?"這種逐步細(xì)化的方法確保了系統(tǒng)能夠系統(tǒng)性地收集所有必要的信息。
與此同時,子圖進(jìn)化過程就像研究團(tuán)隊不斷完善他們的資料庫。每當(dāng)系統(tǒng)提出一個新的子問題時,它就會去尋找相關(guān)的新信息,并將這些信息添加到現(xiàn)有的知識網(wǎng)絡(luò)中。這個過程不是簡單的信息堆積,而是智能的信息整合。系統(tǒng)會判斷新信息與現(xiàn)有信息的關(guān)系,去除重復(fù)或矛盾的內(nèi)容,確保知識網(wǎng)絡(luò)的質(zhì)量和一致性。
這種雙重進(jìn)化的好處是顯而易見的。傳統(tǒng)系統(tǒng)往往只能處理相對簡單的問題,或者給出不完整的答案。而ToG-3系統(tǒng)通過這種迭代優(yōu)化的方法,能夠處理需要多步推理的復(fù)雜問題,并且確保答案的完整性和準(zhǔn)確性。
四、輕量級模型的高效應(yīng)用:小車?yán)筘浀闹腔?/p>
在人工智能領(lǐng)域,存在一個普遍的觀念:更大的模型意味著更好的性能。這就像認(rèn)為只有大卡車才能運(yùn)輸重貨一樣。但ToG-3系統(tǒng)證明了,通過巧妙的設(shè)計,即使是相對較小的AI模型也能完成復(fù)雜的任務(wù)。
這種設(shè)計哲學(xué)的核心在于"分工合作"。就像一個高效的工廠不是依靠單一的巨型機(jī)器,而是通過多個專門化的小型機(jī)器協(xié)作來完成復(fù)雜的生產(chǎn)任務(wù)。ToG-3系統(tǒng)將復(fù)雜的推理任務(wù)分解成多個相對簡單的子任務(wù),每個子任務(wù)都可以由較小的模型高效完成。
這種方法的實際意義非常重大。對于大多數(shù)企業(yè)和研究機(jī)構(gòu)來說,部署和運(yùn)行超大型AI模型需要巨大的計算資源和成本。ToG-3系統(tǒng)的設(shè)計使得即使是資源有限的組織也能享受到高質(zhì)量的AI推理服務(wù)。這就像發(fā)明了一種新的運(yùn)輸方式,讓小型車輛也能完成原本只有大卡車才能勝任的運(yùn)輸任務(wù)。
研究團(tuán)隊通過實驗證明,使用相對較小的模型(如Qwen2.5-32B)的ToG-3系統(tǒng),在性能上可以超越許多基于更大模型的傳統(tǒng)系統(tǒng)。這種"以小勝大"的成就主要?dú)w功于系統(tǒng)的智能設(shè)計,而不僅僅是模型規(guī)模的堆砌。
五、實驗驗證:理論照進(jìn)現(xiàn)實的精彩表現(xiàn)
為了驗證ToG-3系統(tǒng)的實際效果,研究團(tuán)隊進(jìn)行了廣泛而深入的實驗測試。這些測試就像對一輛新車進(jìn)行全面的路測,既要測試它在城市道路上的表現(xiàn),也要測試它在高速公路和山路上的性能。
在深度推理測試中,研究團(tuán)隊使用了三個著名的問答數(shù)據(jù)集:HotpotQA、2WikiMultihopQA和Musique。這些數(shù)據(jù)集包含的都是需要多步推理的復(fù)雜問題,就像要求學(xué)生不僅要記住歷史事實,還要能夠分析不同事件之間的因果關(guān)系。
測試結(jié)果令人印象深刻。在所有三個數(shù)據(jù)集上,ToG-3系統(tǒng)都取得了最佳的平均表現(xiàn)。特別值得注意的是,它在準(zhǔn)確匹配方面的得分達(dá)到了0.453,在綜合評分方面達(dá)到了0.312,這些數(shù)字雖然看起來不大,但在學(xué)術(shù)界已經(jīng)是非常顯著的進(jìn)步。
更有趣的是,研究團(tuán)隊還測試了系統(tǒng)在不同領(lǐng)域的廣泛推理能力。他們選擇了計算機(jī)科學(xué)、農(nóng)業(yè)、法律和綜合學(xué)科四個不同領(lǐng)域的問題。結(jié)果顯示,ToG-3系統(tǒng)在所有領(lǐng)域都表現(xiàn)出色,特別是在回答復(fù)雜度、答案多樣性和實用性三個維度上,都顯著超越了其他對比系統(tǒng)。
這些測試就像是對系統(tǒng)進(jìn)行的"全科考試"。結(jié)果表明,ToG-3不僅在特定類型的問題上表現(xiàn)優(yōu)秀,更重要的是它具有很強(qiáng)的通用性和適應(yīng)性,能夠處理各種不同領(lǐng)域和類型的復(fù)雜問題。
六、計算效率的平衡藝術(shù):性能與成本的智慧博弈
任何技術(shù)創(chuàng)新都需要考慮實際應(yīng)用的可行性,ToG-3系統(tǒng)也不例外。研究團(tuán)隊坦誠地分析了系統(tǒng)的計算效率特點,這種誠實的態(tài)度反映了嚴(yán)謹(jǐn)?shù)目茖W(xué)精神。
從計算時間來看,ToG-3系統(tǒng)確實需要比傳統(tǒng)方法更多的處理時間。平均而言,它回答一個問題需要15秒左右,這比一些簡單的搜索系統(tǒng)要慢。但這種時間成本是值得的,就像精工制作的手表雖然制作時間更長,但質(zhì)量和精度都遠(yuǎn)超批量生產(chǎn)的普通手表。
更重要的是,這種額外的時間投入主要集中在推理階段,而在系統(tǒng)構(gòu)建階段,ToG-3實際上比一些競爭系統(tǒng)更高效。研究團(tuán)隊發(fā)現(xiàn),雖然某些傳統(tǒng)方法(如GraphRAG)在構(gòu)建知識圖譜時需要超過13小時,但ToG-3只需要約10小時就能完成類似的任務(wù)。
這種效率的提升來源于ToG-3系統(tǒng)的智能設(shè)計。它不會盲目地提取和存儲所有可能的信息,而是有選擇性地構(gòu)建知識結(jié)構(gòu)。這就像一個聰明的圖書管理員不會把所有書籍都放在最顯眼的位置,而是根據(jù)讀者的實際需求來安排書籍的擺放。
七、核心創(chuàng)新的深層價值:從跟隨到引領(lǐng)的技術(shù)躍遷
ToG-3系統(tǒng)的真正價值不僅在于它解決了當(dāng)前的技術(shù)問題,更在于它開辟了人工智能發(fā)展的新方向。這種創(chuàng)新可以比作從馬車到汽車的技術(shù)躍遷,不僅僅是速度的提升,更是交通方式的根本性變革。
傳統(tǒng)的檢索增強(qiáng)生成系統(tǒng)就像是改良版的馬車,雖然比原來的馬車跑得更快、更穩(wěn),但本質(zhì)上仍然受到馬車設(shè)計理念的限制。而ToG-3系統(tǒng)則像是發(fā)明了汽車,它采用了全新的設(shè)計理念和工作機(jī)制。
這種創(chuàng)新的核心在于"適應(yīng)性智能"的概念。過去的系統(tǒng)大多是"靜態(tài)智能",就像一本寫好的教科書,內(nèi)容固定不變。而ToG-3系統(tǒng)展現(xiàn)的是"動態(tài)智能",它能夠根據(jù)具體問題的需要來調(diào)整自己的知識結(jié)構(gòu)和推理策略。
這種適應(yīng)性不僅體現(xiàn)在技術(shù)層面,更有深遠(yuǎn)的實際意義。在現(xiàn)實世界中,問題往往是復(fù)雜多變的,需要靈活的解決方案。ToG-3系統(tǒng)的設(shè)計理念為開發(fā)更加智能、更加實用的AI系統(tǒng)提供了新的思路。
八、實際應(yīng)用的廣闊前景:技術(shù)走向生活的美好愿景
ToG-3系統(tǒng)的潛在應(yīng)用領(lǐng)域非常廣泛,幾乎涵蓋了所有需要復(fù)雜信息處理和推理的場景。
在教育領(lǐng)域,這個系統(tǒng)可以成為一個理想的智能導(dǎo)師。當(dāng)學(xué)生遇到復(fù)雜的學(xué)習(xí)問題時,系統(tǒng)不僅能提供準(zhǔn)確的答案,還能展示解題的思路和過程。更重要的是,它能夠根據(jù)學(xué)生的具體疑惑來調(diào)整解釋的詳細(xì)程度和角度,真正做到因材施教。
在醫(yī)療健康領(lǐng)域,ToG-3系統(tǒng)可以協(xié)助醫(yī)生進(jìn)行復(fù)雜病例的分析。醫(yī)學(xué)診斷往往需要綜合考慮患者的癥狀、病史、檢查結(jié)果等多方面信息,這正是ToG-3系統(tǒng)擅長的多源信息整合任務(wù)。系統(tǒng)可以幫助醫(yī)生快速梳理相關(guān)醫(yī)學(xué)文獻(xiàn),找到類似病例,提供診斷參考。
在商業(yè)決策領(lǐng)域,企業(yè)管理者經(jīng)常需要基于大量的市場數(shù)據(jù)、財務(wù)報表、行業(yè)報告等信息來制定戰(zhàn)略決策。ToG-3系統(tǒng)可以幫助整合這些分散的信息源,提供全面而準(zhǔn)確的分析結(jié)果,為決策提供有力支持。
在科學(xué)研究領(lǐng)域,研究人員需要閱讀和分析大量的學(xué)術(shù)文獻(xiàn),尋找研究靈感和理論依據(jù)。ToG-3系統(tǒng)可以幫助研究人員快速梳理相關(guān)文獻(xiàn),發(fā)現(xiàn)不同研究之間的聯(lián)系,甚至可能揭示一些之前被忽略的研究方向。
九、技術(shù)挑戰(zhàn)與未來發(fā)展:從現(xiàn)在到未來的思考
盡管ToG-3系統(tǒng)已經(jīng)取得了顯著的成就,但研究團(tuán)隊也清醒地認(rèn)識到還存在一些需要進(jìn)一步改進(jìn)的地方。這種客觀的態(tài)度體現(xiàn)了嚴(yán)謹(jǐn)?shù)目茖W(xué)精神。
目前系統(tǒng)面臨的主要挑戰(zhàn)之一是計算資源的需求。雖然相比于超大型模型,ToG-3已經(jīng)相當(dāng)高效,但對于某些資源受限的應(yīng)用場景,仍然可能存在部署難度。這就像早期的汽車雖然比馬車先進(jìn),但價格昂貴,普通人難以負(fù)擔(dān)。
另一個挑戰(zhàn)是處理速度。在某些需要實時響應(yīng)的應(yīng)用場景中,目前的處理速度可能還不夠理想。這需要在保持高質(zhì)量推理的同時,進(jìn)一步優(yōu)化算法效率。
展望未來,研究團(tuán)隊提出了幾個令人興奮的發(fā)展方向。首先是擴(kuò)展到多模態(tài)處理,不僅處理文本信息,還能整合圖像、音頻等多種類型的信息。這將使系統(tǒng)能夠處理更加復(fù)雜和真實的問題場景。
其次是向更大規(guī)模的知識密集型任務(wù)擴(kuò)展,比如協(xié)助進(jìn)行科學(xué)發(fā)現(xiàn)、技術(shù)創(chuàng)新等高級認(rèn)知任務(wù)。這將把AI系統(tǒng)從"智能助手"提升到"創(chuàng)新伙伴"的層次。
最后,研究團(tuán)隊還考慮將人類認(rèn)知科學(xué)和腦科學(xué)的最新發(fā)現(xiàn)融入系統(tǒng)設(shè)計中,開發(fā)更加接近人類思維方式的AI系統(tǒng)。這個方向可能會帶來人工智能領(lǐng)域的下一次重大突破。
說到底,ToG-3系統(tǒng)代表的不僅僅是一個技術(shù)進(jìn)步,更是人工智能發(fā)展理念的重要轉(zhuǎn)變。它告訴我們,真正智能的系統(tǒng)不應(yīng)該只是記憶和檢索信息的工具,而應(yīng)該是能夠思考、學(xué)習(xí)和適應(yīng)的智能伙伴。這種系統(tǒng)不會取代人類的思考,而是會增強(qiáng)人類的認(rèn)知能力,幫助我們更好地理解和應(yīng)對這個復(fù)雜的世界。
歸根結(jié)底,這項研究為我們展示了人工智能發(fā)展的一個重要方向:不是簡單地追求更大、更快的模型,而是要開發(fā)更加智能、更加適應(yīng)性強(qiáng)的系統(tǒng)。正如研究團(tuán)隊在論文中所展示的,通過巧妙的設(shè)計和創(chuàng)新的算法,即使是相對較小的模型也能展現(xiàn)出令人驚嘆的智能水平。這給了我們信心,相信在不久的將來,每個人都能享受到高質(zhì)量的AI服務(wù),無論是在學(xué)習(xí)、工作還是生活中。
研究團(tuán)隊的這項工作為整個人工智能領(lǐng)域提供了寶貴的啟示:真正的智能不在于簡單的規(guī)模擴(kuò)張,而在于系統(tǒng)設(shè)計的精巧和算法的創(chuàng)新。ToG-3系統(tǒng)就像一個精心設(shè)計的音樂盒,雖然結(jié)構(gòu)相對簡單,但每個部件都恰到好處,協(xié)調(diào)工作,最終產(chǎn)生了美妙的"智能音樂"。有興趣深入了解這項研究技術(shù)細(xì)節(jié)的讀者,可以通過論文編號2509.21710v1在arXiv平臺查詢完整的研究報告。
Q&A
Q1:ToG-3系統(tǒng)是什么?它與傳統(tǒng)AI助手有什么不同?
A:ToG-3是由IDEA研究院等機(jī)構(gòu)開發(fā)的新型AI推理系統(tǒng),它最大的不同是具有"學(xué)習(xí)能力"。傳統(tǒng)AI助手就像只會背書的學(xué)生,而ToG-3像一個會思考的專家團(tuán)隊,能在解決問題過程中動態(tài)調(diào)整策略,通過四個專門化的"專家"(檢索、構(gòu)建、反思、回答)協(xié)作工作,確保答案更準(zhǔn)確完整。
Q2:ToG-3的雙重進(jìn)化機(jī)制是如何工作的?
A:雙重進(jìn)化就像科研團(tuán)隊解決復(fù)雜問題的方式。一方面,系統(tǒng)會將復(fù)雜問題分解成更小的子問題(查詢進(jìn)化),比如把"洛泰爾二世的母親何時去世"分解為先找"他母親是誰"再找"何時去世";另一方面,系統(tǒng)會根據(jù)這些子問題動態(tài)完善知識結(jié)構(gòu)(子圖進(jìn)化),不斷補(bǔ)充和整理相關(guān)信息,直到能完整回答原問題。
Q3:ToG-3系統(tǒng)的計算效率如何?普通用戶能使用嗎?
A:ToG-3系統(tǒng)回答問題平均需要15秒,比簡單搜索慢一些,但構(gòu)建知識庫比競爭系統(tǒng)快約25%。它的優(yōu)勢是能用相對較小的模型(如Qwen2.5-32B)達(dá)到優(yōu)秀性能,這意味著部署成本較低。目前主要面向企業(yè)和研究機(jī)構(gòu),但隨著技術(shù)優(yōu)化,未來普通用戶也有望使用到這種高質(zhì)量的AI推理服務(wù)。
好文章,需要你的鼓勵
浙江大學(xué)團(tuán)隊提出動態(tài)專家搜索方法,讓AI能根據(jù)不同問題靈活調(diào)整內(nèi)部專家配置。該方法在數(shù)學(xué)、編程等任務(wù)上顯著提升推理準(zhǔn)確率,且不增加計算成本。研究發(fā)現(xiàn)不同類型問題偏愛不同專家配置,為AI推理優(yōu)化開辟新路徑。
清華大學(xué)研究團(tuán)隊提出SIRI方法,通過"壓縮-擴(kuò)張"交替訓(xùn)練策略,成功解決了大型推理模型"話多且準(zhǔn)確率低"的問題。實驗顯示,該方法在數(shù)學(xué)競賽題上將模型準(zhǔn)確率提升43.2%的同時,輸出長度減少46.9%,真正實現(xiàn)了效率與性能的雙重優(yōu)化,為AI模型訓(xùn)練提供了新思路。
南洋理工大學(xué)與騰訊聯(lián)合研究團(tuán)隊開發(fā)出Rolling Forcing技術(shù),實現(xiàn)AI視頻實時流式生成的重大突破。該技術(shù)通過滾動窗口聯(lián)合去噪、注意力錨點機(jī)制和高效訓(xùn)練算法三項創(chuàng)新,解決了長視頻生成中的錯誤累積問題,可在單GPU上以16fps速度生成多分鐘高質(zhì)量視頻,延遲僅0.76秒,質(zhì)量漂移指標(biāo)從傳統(tǒng)方法的1.66降至0.01,為交互式媒體和內(nèi)容創(chuàng)作開辟新可能。
華中科技大學(xué)研究團(tuán)隊發(fā)現(xiàn),通過讓AI模型學(xué)習(xí)解決幾何問題,能夠顯著提升其空間理解能力。他們構(gòu)建了包含約30000個幾何題目的Euclid30K數(shù)據(jù)集,使用強(qiáng)化學(xué)習(xí)方法訓(xùn)練多個AI模型。實驗結(jié)果顯示,幾何訓(xùn)練在四個空間智能測試基準(zhǔn)上都帶來顯著提升,其中最佳模型達(dá)到49.6%準(zhǔn)確率,超越此前最好成績。這項研究揭示了基礎(chǔ)幾何知識對培養(yǎng)AI空間智能的重要價值。