這項(xiàng)由香港中文大學(xué)、Inclusion AI等多家機(jī)構(gòu)聯(lián)合完成的研究發(fā)表于2025年8月，論文詳細(xì)介紹了一種名為Grove MoE的全新人工智能架構(gòu)。這項(xiàng)研究的完整論文可以通過arXiv:2508.07785訪問，對人工智能架構(gòu)設(shè)計(jì)感興趣的讀者可以深入了解其技術(shù)細(xì)節(jié)。

當(dāng)我們的大腦處理不同任務(wù)時，會自動調(diào)動不同程度的注意力和資源?？匆徊枯p松的喜劇片時，大腦處于相對放松的狀態(tài)；而解一道復(fù)雜的數(shù)學(xué)題時，大腦則會全力以赴，動員更多的神經(jīng)元參與思考。有趣的是，現(xiàn)在的人工智能大語言模型卻做不到這一點(diǎn)——無論面對簡單的"你好"還是復(fù)雜的科學(xué)問題，它們都會動用同樣多的計(jì)算資源，就像一個人無論做什么事都要全力以赴一樣，既浪費(fèi)精力又效率低下。

香港中文大學(xué)的研究團(tuán)隊(duì)敏銳地發(fā)現(xiàn)了這個問題，并從計(jì)算機(jī)處理器的設(shè)計(jì)中獲得了靈感?，F(xiàn)代智能手機(jī)的處理器采用了一種叫做"big.LITTLE"的架構(gòu)設(shè)計(jì)，就像在一個團(tuán)隊(duì)中既有能力強(qiáng)大但耗電多的"主力隊(duì)員"，也有能力適中但省電的"替補(bǔ)隊(duì)員"。當(dāng)手機(jī)只是顯示文字時，"替補(bǔ)隊(duì)員"就能勝任；當(dāng)需要運(yùn)行大型游戲時，"主力隊(duì)員"才會上場。這種設(shè)計(jì)讓手機(jī)既能處理復(fù)雜任務(wù)，又能保持長久的電池續(xù)航。

受到這種設(shè)計(jì)理念的啟發(fā)，研究團(tuán)隊(duì)創(chuàng)造了Grove MoE架構(gòu)。Grove這個名字本身就很有意思——它意味著"小樹林"，就像樹林中的每棵樹都有自己的作用，有些負(fù)責(zé)主要的光合作用，有些則承擔(dān)輔助功能。更有意思的是，Grove這個名字還向半導(dǎo)體行業(yè)的傳奇人物安迪·格魯夫致敬，他在處理器發(fā)展史上做出了重要貢獻(xiàn)。

在傳統(tǒng)的人工智能架構(gòu)中，專家系統(tǒng)就像一群能力相同的員工，每當(dāng)有任務(wù)來臨時，總是固定地選擇其中幾個人來處理，無論任務(wù)簡單還是復(fù)雜。而Grove MoE就像組建了一個更加靈活的團(tuán)隊(duì)，不僅有各種能力的"專家員工"，還為每個小組配備了"助理"。當(dāng)處理簡單任務(wù)時，可能只需要一兩個專家和他們的助理；當(dāng)面對復(fù)雜挑戰(zhàn)時，多個專家會協(xié)同工作，而他們共享的助理只需要工作一次，就能為整個小組提供支持。

這種設(shè)計(jì)的巧妙之處在于"共享助理"的概念。在傳統(tǒng)架構(gòu)中，每個專家都需要獨(dú)立完成所有工作，就像每個廚師都要從頭到尾獨(dú)立完成一道菜。而在Grove MoE中，如果多個"廚師專家"同時制作類似的菜品，他們可以共享同一個"助理廚師"來處理基礎(chǔ)工作，比如清洗蔬菜、準(zhǔn)備調(diào)料等。這樣既提高了效率，又節(jié)約了資源。

研究團(tuán)隊(duì)基于已有的Qwen3-30B-A3B-Base模型，通過這種創(chuàng)新架構(gòu)開發(fā)出了兩個版本：GroveMoE-Base（基礎(chǔ)版）和GroveMoE-Inst（指令優(yōu)化版）。這兩個模型都擁有330億個參數(shù)，但在實(shí)際運(yùn)行時只需要激活其中的31.4億到32.8億個參數(shù)，就像一個擁有巨大潛能的大腦在面對具體任務(wù)時只調(diào)用相關(guān)的神經(jīng)網(wǎng)絡(luò)區(qū)域。

一、Grove MoE架構(gòu)的核心創(chuàng)新

傳統(tǒng)的專家混合模型就像一個標(biāo)準(zhǔn)化工廠的生產(chǎn)線，每條生產(chǎn)線的能力完全相同，無論制造簡單產(chǎn)品還是復(fù)雜產(chǎn)品，都會占用相同的資源和時間。這種設(shè)計(jì)雖然管理簡單，但明顯缺乏靈活性。Grove MoE的創(chuàng)新就像重新設(shè)計(jì)了這個工廠，不僅讓不同的生產(chǎn)線具備了不同的專業(yè)能力，還為它們配備了可以共享的輔助設(shè)備。

具體來說，Grove MoE將所有的專家分成若干個小組，每個小組都有一個特殊的"輔助專家"。這個輔助專家的能力可以根據(jù)需要進(jìn)行調(diào)整，可能比普通專家強(qiáng)一些，也可能弱一些，完全取決于具體任務(wù)的需求。當(dāng)系統(tǒng)處理輸入信息時，如果選中了同一個小組內(nèi)的多個專家，這些專家不需要各自獨(dú)立地調(diào)用輔助專家，而是共享同一個輔助專家的計(jì)算結(jié)果。

這種共享機(jī)制帶來了顯著的效率提升。以一個擁有128個專家、分為64個小組的模型為例，傳統(tǒng)架構(gòu)中如果激活8個專家，就需要進(jìn)行8次獨(dú)立的計(jì)算。而在Grove MoE中，如果這8個專家分布在不同的小組中，最多也只需要8次輔助計(jì)算；但如果有些專家來自同一個小組，實(shí)際的輔助計(jì)算次數(shù)會更少。研究數(shù)據(jù)顯示，這種設(shè)計(jì)可以將激活的輔助專家數(shù)量控制在2到8個之間，實(shí)現(xiàn)了真正的動態(tài)資源分配。

更令人驚嘆的是，Grove MoE還引入了一種"負(fù)載均衡"機(jī)制。傳統(tǒng)的專家系統(tǒng)經(jīng)常會出現(xiàn)"偏科"現(xiàn)象，某些專家總是被選中，而另一些專家則很少被使用，就像班級里總有幾個學(xué)生承擔(dān)所有工作，而其他學(xué)生無所事事。Grove MoE通過一種巧妙的動態(tài)調(diào)整機(jī)制，確保各個專家都能得到合理的使用，避免了資源的浪費(fèi)和過度集中。

這種負(fù)載均衡不是簡單的平均分配，而是基于任務(wù)需求的智能調(diào)度。系統(tǒng)會實(shí)時監(jiān)測各個專家的使用情況，當(dāng)發(fā)現(xiàn)某些專家過度忙碌時，會適當(dāng)調(diào)整選擇偏好，讓相對空閑的專家也有機(jī)會參與工作。這種機(jī)制既保證了系統(tǒng)的高效運(yùn)行，又避免了某些專家因過度使用而出現(xiàn)"疲勞"。

二、訓(xùn)練數(shù)據(jù)和評估體系的精心設(shè)計(jì)

為了讓Grove MoE發(fā)揮出最佳性能，研究團(tuán)隊(duì)在訓(xùn)練數(shù)據(jù)的準(zhǔn)備上下了巨大功夫。他們收集了大約4000億個詞匯單位的高質(zhì)量訓(xùn)練材料，這些材料涵蓋了網(wǎng)絡(luò)內(nèi)容、學(xué)術(shù)論文、數(shù)學(xué)問題、編程代碼等各個領(lǐng)域。如果把這些文字打印成書，大概相當(dāng)于400萬本中等厚度的小說，可見訓(xùn)練數(shù)據(jù)規(guī)模的龐大。

訓(xùn)練過程分為兩個主要階段。第一階段叫做"中期訓(xùn)練"，就像讓一個已經(jīng)掌握基礎(chǔ)知識的學(xué)生接受專業(yè)技能訓(xùn)練。在這個階段，模型在保持原有知識的基礎(chǔ)上，重點(diǎn)學(xué)習(xí)推理、數(shù)學(xué)計(jì)算、代碼生成等高級技能。第二階段是"指令調(diào)優(yōu)"，類似于讓學(xué)生學(xué)會如何與人交流，理解和回應(yīng)各種問題和要求。

評估體系同樣非常全面，涵蓋了13個不同的測試基準(zhǔn)。這些測試就像給學(xué)生安排的期末考試，包括了通用知識測試、數(shù)學(xué)和科學(xué)推理測試、編程能力測試等多個方面。比如MMLU測試檢驗(yàn)?zāi)Ｐ偷木C合知識水平，GSM8K測試評估數(shù)學(xué)計(jì)算能力，HumanEval+測試考查編程技能，每個測試都有其特定的評分標(biāo)準(zhǔn)和難度級別。

在架構(gòu)參數(shù)的選擇上，研究團(tuán)隊(duì)進(jìn)行了大量的對比實(shí)驗(yàn)。他們嘗試了不同的專家分組方式：64個小組每個包含128維的輔助專家、32個小組每個包含256維的輔助專家、以及16個小組每個包含512維的輔助專家。實(shí)驗(yàn)結(jié)果顯示，64個小組的配置在綜合性能上表現(xiàn)最佳，特別是在一般知識理解和代碼生成任務(wù)上效果突出。

關(guān)于輔助專家的影響權(quán)重，研究團(tuán)隊(duì)測試了0.05、0.10、0.20三個不同數(shù)值。較小的權(quán)重值（0.05）在大多數(shù)任務(wù)上表現(xiàn)更好，這表明輔助專家應(yīng)該起到"潤物細(xì)無聲"的作用，而不是喧賓奪主。這種細(xì)致的參數(shù)調(diào)優(yōu)確保了Grove MoE能夠在各種任務(wù)上都保持穩(wěn)定的高性能。

三、性能表現(xiàn)令人印象深刻

在實(shí)際測試中，Grove MoE展現(xiàn)出了令人矚目的性能表現(xiàn)。以GroveMoE-Inst為例，在MMLU-Pro這個高難度綜合測試中獲得了72.8分，明顯超過了其他同規(guī)模模型的表現(xiàn)。更令人驚嘆的是，在一些數(shù)學(xué)和科學(xué)推理測試中，Grove MoE甚至超越了參數(shù)規(guī)模更大的競爭對手。

在數(shù)學(xué)能力測試方面，Grove MoE表現(xiàn)尤為突出。在Omni-MATH這個奧林匹克級別的數(shù)學(xué)測試中，GroveMoE-Inst達(dá)到了43.5分，而其他模型大多在30分左右徘徊。在AIME25這個美國數(shù)學(xué)競賽級別的測試中，Grove MoE獲得了44.4分，遠(yuǎn)超其他模型的表現(xiàn)。這種差距不是小幅領(lǐng)先，而是壓倒性的優(yōu)勢，說明Grove MoE在復(fù)雜推理任務(wù)上確實(shí)具備了更強(qiáng)的能力。

編程能力方面，Grove MoE同樣表現(xiàn)出色。在MultiPL-E多語言編程測試中獲得了74.5分，在HumanEval+編程挑戰(zhàn)中達(dá)到了90.24分。這些分?jǐn)?shù)表明，Grove MoE不僅能夠理解編程概念，還能夠生成高質(zhì)量的代碼，在實(shí)際的軟件開發(fā)場景中具有很強(qiáng)的應(yīng)用潛力。

特別值得注意的是，Grove MoE在保持這些優(yōu)異性能的同時，計(jì)算效率卻比傳統(tǒng)架構(gòu)高出很多。在實(shí)際運(yùn)行時，Grove MoE只需要激活總參數(shù)的9.5%到9.9%，相比之下，傳統(tǒng)的同規(guī)模模型通常需要激活10%或更多的參數(shù)。雖然這個差異看起來不大，但在大規(guī)模部署時，這種效率提升就會轉(zhuǎn)化為顯著的成本節(jié)約和能耗降低。

研究團(tuán)隊(duì)還進(jìn)行了一個有趣的對比實(shí)驗(yàn)，他們使用完全相同的訓(xùn)練策略分別訓(xùn)練了基于Grove MoE架構(gòu)的模型和基于傳統(tǒng)架構(gòu)的模型。結(jié)果顯示，Grove MoE版本在幾乎所有測試項(xiàng)目上都表現(xiàn)更好，平均性能提升達(dá)到2.27分。這個對比實(shí)驗(yàn)排除了其他變量的影響，證明了Grove MoE架構(gòu)本身的優(yōu)越性。

四、技術(shù)實(shí)現(xiàn)的巧妙設(shè)計(jì)

Grove MoE的技術(shù)實(shí)現(xiàn)過程體現(xiàn)了研究團(tuán)隊(duì)的精巧設(shè)計(jì)思路。他們采用了一種叫做"上循環(huán)"的策略，就像在已有的房屋基礎(chǔ)上進(jìn)行擴(kuò)建，而不是推倒重建。這種方法的好處是能夠保留原有模型已經(jīng)學(xué)會的知識和能力，同時添加新的功能模塊。

在初始化新增的輔助專家時，研究團(tuán)隊(duì)采用了特殊的權(quán)重設(shè)置策略。新增模塊的輸出層被初始化為零，這意味著在訓(xùn)練初期，這些輔助專家不會對模型的輸出產(chǎn)生影響，避免了突然的性能下降。隨著訓(xùn)練的進(jìn)行，這些輔助專家會逐漸學(xué)會如何為原有專家提供有價值的補(bǔ)充信息。

負(fù)載均衡機(jī)制的實(shí)現(xiàn)也頗為巧妙。系統(tǒng)會持續(xù)監(jiān)控每個專家的使用頻率，當(dāng)發(fā)現(xiàn)負(fù)載分布不均時，會通過調(diào)整路由偏差來重新平衡專家的選擇概率。這種調(diào)整是漸進(jìn)式的，不會造成突然的性能波動，確保了系統(tǒng)的穩(wěn)定性。

為了適應(yīng)不同復(fù)雜度的任務(wù)，Grove MoE還實(shí)現(xiàn)了動態(tài)的專家激活機(jī)制。對于簡單任務(wù)，系統(tǒng)可能只激活少數(shù)幾個小組的專家；對于復(fù)雜任務(wù)，更多的專家和輔助專家會被調(diào)動起來。這種自適應(yīng)的資源調(diào)配正是Grove MoE相比傳統(tǒng)架構(gòu)的核心優(yōu)勢所在。

研究團(tuán)隊(duì)在論文中詳細(xì)描述了數(shù)學(xué)公式和算法細(xì)節(jié)，但其核心思想可以用一個簡單的比喻來理解：就像一個智能的項(xiàng)目管理系統(tǒng)，能夠根據(jù)任務(wù)的復(fù)雜程度自動調(diào)配合適的團(tuán)隊(duì)規(guī)模和資源配置，確保既不浪費(fèi)資源，也不影響工作質(zhì)量。

五、現(xiàn)實(shí)應(yīng)用的潛力與挑戰(zhàn)

Grove MoE的成功不僅僅是學(xué)術(shù)研究上的突破，更重要的是它為人工智能的實(shí)際應(yīng)用指明了新的方向。在當(dāng)前大語言模型快速發(fā)展的背景下，如何平衡性能和效率始終是業(yè)界關(guān)注的焦點(diǎn)。Grove MoE提供了一種優(yōu)雅的解決方案，它證明了我們不必在性能和效率之間做出艱難選擇。

在實(shí)際部署方面，Grove MoE面臨的主要挑戰(zhàn)是實(shí)現(xiàn)的復(fù)雜性。目前的實(shí)現(xiàn)方案需要調(diào)用兩次計(jì)算核心，導(dǎo)致實(shí)際運(yùn)行速度比理論預(yù)期慢了約30%。這就像一個設(shè)計(jì)精良的機(jī)器，但由于缺乏專門的工具而無法發(fā)揮出全部潛力。研究團(tuán)隊(duì)認(rèn)識到了這個問題，并將開發(fā)專門的計(jì)算核心作為未來工作的重點(diǎn)。

從商業(yè)應(yīng)用的角度來看，Grove MoE的優(yōu)勢在于它能夠在保持高性能的同時顯著降低運(yùn)營成本。對于需要處理大量用戶請求的在線服務(wù)來說，即使是10%的效率提升也能帶來巨大的成本節(jié)約。隨著人工智能服務(wù)規(guī)模的不斷擴(kuò)大，這種效率優(yōu)勢會變得越來越重要。

教育和研究領(lǐng)域也將從Grove MoE中受益。這種架構(gòu)為理解人工智能如何處理不同復(fù)雜度的任務(wù)提供了新的視角，有助于推動相關(guān)理論研究的發(fā)展。同時，Grove MoE的開源性質(zhì)使得更多研究者能夠基于這一架構(gòu)進(jìn)行進(jìn)一步的創(chuàng)新和改進(jìn)。

當(dāng)然，Grove MoE也有其局限性。研究團(tuán)隊(duì)坦率地指出，模型的長篇推理能力仍有提升空間，這主要是由于訓(xùn)練數(shù)據(jù)中缺乏足夠的長篇思維鏈?zhǔn)纠４送?，他們目前只使用了拒絕采樣等相對簡單的優(yōu)化方法，而沒有采用更先進(jìn)的強(qiáng)化學(xué)習(xí)技術(shù)，這為未來的改進(jìn)留下了空間。

六、對人工智能發(fā)展的深遠(yuǎn)意義

Grove MoE的成功標(biāo)志著人工智能架構(gòu)設(shè)計(jì)進(jìn)入了一個新的階段。過去，人們往往認(rèn)為提高人工智能性能的唯一途徑就是增加更多的參數(shù)和計(jì)算資源，就像認(rèn)為要跑得更快就必須有更強(qiáng)壯的肌肉。Grove MoE證明了智能的調(diào)度和優(yōu)化同樣重要，有時甚至比蠻力更有效。

這種架構(gòu)設(shè)計(jì)思路對整個人工智能行業(yè)都具有啟發(fā)意義。它告訴我們，創(chuàng)新不一定需要推倒重來，在現(xiàn)有基礎(chǔ)上的巧妙改進(jìn)同樣能夠帶來突破性的進(jìn)展。這為那些資源相對有限的研究機(jī)構(gòu)和公司提供了新的發(fā)展路徑，不必盲目追求參數(shù)規(guī)模的擴(kuò)大，而可以專注于架構(gòu)的優(yōu)化和效率的提升。

從更宏觀的角度來看，Grove MoE體現(xiàn)了一種可持續(xù)發(fā)展的人工智能理念。隨著人工智能應(yīng)用的普及，能耗問題日益突出。Grove MoE通過提高計(jì)算效率，為解決這一問題提供了有價值的思路。如果這種高效架構(gòu)能夠得到廣泛應(yīng)用，將對減少人工智能的環(huán)境影響產(chǎn)生積極作用。

Grove MoE還為人工智能的民主化做出了貢獻(xiàn)。通過開源發(fā)布，研究團(tuán)隊(duì)讓更多的開發(fā)者和研究者能夠接觸到這一先進(jìn)技術(shù)。這種開放的態(tài)度有助于加速技術(shù)的傳播和改進(jìn)，推動整個行業(yè)的共同進(jìn)步。

說到底，Grove MoE的意義不僅在于它取得了優(yōu)異的性能表現(xiàn)，更在于它為人工智能的發(fā)展提供了新的思維模式。它告訴我們，真正的智能不是簡單的資源堆砌，而是對資源的合理配置和動態(tài)調(diào)度。這種理念不僅適用于人工智能系統(tǒng)的設(shè)計(jì)，也為我們思考其他復(fù)雜系統(tǒng)的優(yōu)化提供了啟發(fā)。

研究團(tuán)隊(duì)通過Grove MoE證明了一個重要觀點(diǎn)：在追求人工智能性能突破的道路上，創(chuàng)新的架構(gòu)設(shè)計(jì)和算法優(yōu)化與計(jì)算資源的增加同樣重要。這為未來的人工智能研究指明了一個既經(jīng)濟(jì)又環(huán)保的發(fā)展方向，相信會有更多研究者沿著這條道路繼續(xù)探索，為人工智能技術(shù)的進(jìn)步做出新的貢獻(xiàn)。

Q&A

Q1：Grove MoE架構(gòu)和傳統(tǒng)MoE架構(gòu)有什么區(qū)別？

A：傳統(tǒng)MoE就像標(biāo)準(zhǔn)化工廠，所有專家能力相同，處理任何任務(wù)都用固定資源。Grove MoE像智能團(tuán)隊(duì)，將專家分組并配備共享助理，能根據(jù)任務(wù)復(fù)雜度動態(tài)調(diào)配資源，既提高效率又節(jié)約計(jì)算成本。

Q2：Grove MoE模型在哪些方面表現(xiàn)最突出？

A：Grove MoE在數(shù)學(xué)推理和編程任務(wù)上表現(xiàn)最為出色。在奧林匹克級數(shù)學(xué)測試中得分43.5分，遠(yuǎn)超其他模型的30分左右；在編程測試中達(dá)到90.24分，同時只需激活9.5%的參數(shù)就能達(dá)到這樣的性能。

Q3：普通開發(fā)者可以使用Grove MoE技術(shù)嗎？

A：可以的，研究團(tuán)隊(duì)已經(jīng)開源了Grove MoE的代碼和模型，開發(fā)者可以通過GitHub訪問完整資源。不過目前的實(shí)現(xiàn)還需要專門的計(jì)算核心優(yōu)化，實(shí)際部署時會比理論性能慢約30%。