這項(xiàng)由華中科技大學(xué)電子信息與通信學(xué)院王興剛教授領(lǐng)導(dǎo)的研究團(tuán)隊(duì)，聯(lián)合人工智能研究院以及地平線機(jī)器人公司完成的突破性工作，發(fā)表于2025年3月的arXiv預(yù)印本服務(wù)器。有興趣深入了解的讀者可以通過論文編號(hào)arXiv:2502.13145v2訪問完整研究?jī)?nèi)容。

當(dāng)前的多模態(tài)大語言模型就像一個(gè)博學(xué)的助手，既能看懂圖片又能理解文字，但它們有個(gè)致命弱點(diǎn)：隨著處理的信息越來越多，它們的"記憶力"會(huì)急劇下降，運(yùn)行速度也會(huì)變得越來越慢。這就好比一個(gè)圖書管理員，剛開始處理幾本書時(shí)效率很高，但當(dāng)書籍?dāng)?shù)量增加到成千上萬本時(shí)，他不僅需要更多的存儲(chǔ)空間來記住每本書的位置，查找速度也會(huì)變得異常緩慢。

華中科技大學(xué)的研究團(tuán)隊(duì)發(fā)現(xiàn)了這個(gè)問題的根源：現(xiàn)有的模型采用了一種叫做"注意力機(jī)制"的處理方式，這種機(jī)制需要同時(shí)關(guān)注所有歷史信息。隨著信息量的增加，計(jì)算復(fù)雜度呈二次方增長(zhǎng)，就像一個(gè)人需要同時(shí)記住并思考所有見過的東西一樣，自然會(huì)越來越吃力。

為了解決這個(gè)問題，研究團(tuán)隊(duì)提出了一個(gè)巧妙的解決方案：他們開發(fā)了名為mmMamba的新型架構(gòu)，采用了一種全新的"狀態(tài)空間模型"機(jī)制。這種機(jī)制就像給助手配備了一個(gè)高效的壓縮記憶系統(tǒng)，不需要記住所有細(xì)節(jié)，而是將重要信息壓縮存儲(chǔ)，處理新信息時(shí)只需要關(guān)注當(dāng)前狀態(tài)，從而實(shí)現(xiàn)了線性復(fù)雜度的處理效率。

一、從二次方增長(zhǎng)到線性增長(zhǎng)的革命性轉(zhuǎn)變

要理解這項(xiàng)研究的重要性，我們需要先了解傳統(tǒng)多模態(tài)模型面臨的核心挑戰(zhàn)。傳統(tǒng)的Transformer架構(gòu)就像一個(gè)需要同時(shí)思考所有歷史對(duì)話的人，每當(dāng)新增一條信息，它都要回顧并重新思考之前的所有內(nèi)容。這種"全局注意力"機(jī)制雖然能夠捕獲復(fù)雜的上下文關(guān)系，但計(jì)算量會(huì)隨著序列長(zhǎng)度的平方增長(zhǎng)。

想象你正在閱讀一本小說，傳統(tǒng)方法要求你每讀一頁(yè)新內(nèi)容時(shí)，都要重新翻閱并思考前面所有頁(yè)面的內(nèi)容。剛開始讀第一章時(shí)還算輕松，但當(dāng)你讀到第十章、第二十章時(shí)，每次都要回顧前面所有章節(jié)，這顯然是不現(xiàn)實(shí)的。這就是為什么傳統(tǒng)模型在處理長(zhǎng)序列時(shí)會(huì)遇到嚴(yán)重的效率問題。

研究團(tuán)隊(duì)觀察到，在實(shí)際應(yīng)用中，現(xiàn)代多模態(tài)模型經(jīng)常需要處理高分辨率圖像和長(zhǎng)文本，這些任務(wù)往往涉及數(shù)萬甚至數(shù)十萬個(gè)token的處理。在這種情況下，傳統(tǒng)模型不僅運(yùn)行緩慢，還會(huì)消耗大量的GPU內(nèi)存來存儲(chǔ)鍵值緩存，導(dǎo)致在處理12.8萬個(gè)token時(shí)直接內(nèi)存溢出。

mmMamba的創(chuàng)新之處在于引入了狀態(tài)空間模型的概念。這種模型就像一個(gè)善于總結(jié)的秘書，它不會(huì)記住每一個(gè)細(xì)節(jié)，而是將重要信息壓縮成一個(gè)固定大小的"狀態(tài)矩陣"。每當(dāng)新信息到來時(shí)，它只需要更新這個(gè)狀態(tài)矩陣，而不需要回顧所有歷史信息。這種方法將計(jì)算復(fù)雜度從二次方降低到了線性，實(shí)現(xiàn)了真正的突破。

二、巧妙的知識(shí)傳承策略

研究團(tuán)隊(duì)面臨的最大挑戰(zhàn)是如何將已經(jīng)訓(xùn)練好的傳統(tǒng)模型的知識(shí)有效地傳遞給新的線性復(fù)雜度模型。這就像將一位經(jīng)驗(yàn)豐富的老師傅的技能傳授給年輕學(xué)徒，需要既保持原有的專業(yè)水平，又要適應(yīng)新的工作方式。

他們?cè)O(shè)計(jì)了一個(gè)三階段的漸進(jìn)式知識(shí)蒸餾策略。第一階段被稱為"播種"階段，研究團(tuán)隊(duì)發(fā)現(xiàn)傳統(tǒng)Transformer和Mamba-2狀態(tài)空間模型在數(shù)學(xué)結(jié)構(gòu)上有很多相似之處。兩者都使用查詢(Q)、鍵(K)、值(V)矩陣來處理信息，這為參數(shù)繼承提供了基礎(chǔ)。

具體來說，他們直接將訓(xùn)練好的Transformer層中的WQ、WK、WV和WO參數(shù)復(fù)制到Mamba-2層中，這就像將老師傅的基本工具直接傳給學(xué)徒。但是，Mamba-2還需要一些額外的參數(shù)來實(shí)現(xiàn)狀態(tài)空間建模功能，比如門控參數(shù)Wγ和衰減參數(shù)a。研究團(tuán)隊(duì)巧妙地初始化這些參數(shù)，使得在訓(xùn)練開始時(shí)，新模型的行為盡可能接近原始的Transformer模型。

第一階段的知識(shí)蒸餾專門針對(duì)這些新增參數(shù)進(jìn)行優(yōu)化。研究團(tuán)隊(duì)保持繼承的參數(shù)不變，只訓(xùn)練新增的狀態(tài)空間建模參數(shù)。他們使用均方誤差損失來確保每一層Mamba-2的輸出都能夠匹配對(duì)應(yīng)Transformer層的輸出。這個(gè)過程就像讓學(xué)徒在保持基本技能的同時(shí)，專門練習(xí)新的工作方法。

第二階段擴(kuò)大了訓(xùn)練范圍，不僅優(yōu)化新增參數(shù)，還微調(diào)從Transformer繼承的參數(shù)。這確保了整個(gè)Mamba-2層能夠更好地適應(yīng)新的計(jì)算模式。就像學(xué)徒在掌握了新方法后，開始調(diào)整和優(yōu)化自己的整套技能。

第三階段是端到端的蒸餾，不再關(guān)注逐層匹配，而是優(yōu)化整個(gè)模型的最終輸出。研究團(tuán)隊(duì)使用KL散度損失來確保學(xué)生模型的輸出分布與教師模型保持一致。這個(gè)階段的目標(biāo)是讓整個(gè)模型在真實(shí)的多模態(tài)理解任務(wù)中表現(xiàn)出與原模型相當(dāng)?shù)哪芰Α?/p>

三、兩種架構(gòu)變體的巧妙設(shè)計(jì)

基于這套蒸餾策略，研究團(tuán)隊(duì)開發(fā)了兩種不同的模型變體，以滿足不同場(chǎng)景的需求。這種設(shè)計(jì)理念就像汽車制造商為不同用戶群體提供經(jīng)濟(jì)型和豪華型兩種車型一樣。

mmMamba-linear是完全線性復(fù)雜度的版本，將所有32個(gè)Transformer層都替換為Mamba-2層。這種設(shè)計(jì)的優(yōu)勢(shì)在于徹底消除了二次方復(fù)雜度，無論處理多長(zhǎng)的序列，內(nèi)存使用和計(jì)算時(shí)間都保持穩(wěn)定增長(zhǎng)。就像一輛純電動(dòng)汽車，完全擺脫了對(duì)傳統(tǒng)燃料的依賴，在長(zhǎng)途行駛中表現(xiàn)出色。

在實(shí)際測(cè)試中，mmMamba-linear在處理10.3萬個(gè)token時(shí)，相比原始的HoVLE模型實(shí)現(xiàn)了20.6倍的速度提升，同時(shí)節(jié)省了75.8%的GPU內(nèi)存。更重要的是，當(dāng)序列長(zhǎng)度達(dá)到12.8萬token時(shí)，傳統(tǒng)模型因?yàn)閮?nèi)存不足而無法運(yùn)行，但mmMamba-linear依然能夠穩(wěn)定工作。

mmMamba-hybrid則采用了混合策略，在32層中保留8層Transformer，其余24層使用Mamba-2。研究團(tuán)隊(duì)發(fā)現(xiàn)，在每4層中的第一層保留Transformer效果最好，這種"頭部交錯(cuò)"策略能夠在關(guān)鍵的特征層次上保持Transformer的建模能力。

這種混合設(shè)計(jì)的巧妙之處在于平衡了性能和效率。Transformer層在特定的特征層次上具有獨(dú)特優(yōu)勢(shì)，特別是在處理復(fù)雜的跨模態(tài)對(duì)齊時(shí)。而Mamba-2層則負(fù)責(zé)大部分的序列處理工作，確保整體效率。就像混合動(dòng)力汽車，在需要強(qiáng)勁動(dòng)力時(shí)使用傳統(tǒng)引擎，在日常行駛中使用電動(dòng)機(jī)，實(shí)現(xiàn)了最優(yōu)的綜合表現(xiàn)。

mmMamba-hybrid在同樣的10.3萬token測(cè)試中實(shí)現(xiàn)了13.5倍的速度提升，節(jié)省了60.2%的GPU內(nèi)存，同時(shí)在所有測(cè)試基準(zhǔn)上的表現(xiàn)都超越了純線性版本，接近原始教師模型的能力。

四、令人印象深刻的實(shí)驗(yàn)驗(yàn)證

為了全面驗(yàn)證mmMamba的有效性，研究團(tuán)隊(duì)進(jìn)行了大規(guī)模的實(shí)驗(yàn)評(píng)估。他們選擇了9個(gè)不同類型的視覺語言理解基準(zhǔn)，包括6個(gè)通用多模態(tài)基準(zhǔn)和3個(gè)專門的視覺問答任務(wù)，確保評(píng)估的全面性和公正性。

在通用基準(zhǔn)測(cè)試中，mmMamba-linear展現(xiàn)出了與現(xiàn)有模型競(jìng)爭(zhēng)的能力。在MME感知基準(zhǔn)上得分1303.5，在POPE對(duì)象幻覺檢測(cè)上達(dá)到85.2%的準(zhǔn)確率，在MMBench多選題評(píng)估中獲得57.2分。雖然這些數(shù)字可能看起來很抽象，但它們代表了模型在理解圖像內(nèi)容、回答相關(guān)問題方面的能力已經(jīng)達(dá)到了實(shí)用水平。

更令人興奮的是，mmMamba-linear僅使用2.7B參數(shù)就達(dá)到了之前需要7B參數(shù)的EVE模型的性能水平，參數(shù)效率提升了一倍多。同時(shí)，它在ScienceQA科學(xué)推理任務(wù)上的表現(xiàn)（79.2分）顯著超越了其他線性復(fù)雜度模型，展現(xiàn)了在復(fù)雜推理任務(wù)上的優(yōu)勢(shì)。

mmMamba-hybrid的表現(xiàn)更加出色，在所有9個(gè)基準(zhǔn)上都超越了純線性版本。特別是在MM-Vet綜合能力評(píng)估中得分36.9，在ScienceQA上達(dá)到86.9分，這些結(jié)果表明混合架構(gòu)成功地在效率和性能之間找到了最佳平衡點(diǎn)。

研究團(tuán)隊(duì)還進(jìn)行了詳細(xì)的效率分析。他們使用相同的硬件環(huán)境（單張NVIDIA RTX 4090 GPU）對(duì)比了不同模型的推理速度。結(jié)果顯示，mmMamba-linear的推理速度達(dá)到132.43 tokens/秒，比傳統(tǒng)模型快約4倍。mmMamba-hybrid的速度為134.77 tokens/秒，同樣顯著超越傳統(tǒng)方法。

五、深入的消融研究揭示關(guān)鍵因素

為了理解每個(gè)設(shè)計(jì)選擇的重要性，研究團(tuán)隊(duì)進(jìn)行了系統(tǒng)的消融研究。這些研究就像醫(yī)生進(jìn)行診斷時(shí)的各項(xiàng)檢查，幫助確定哪些因素對(duì)最終效果最關(guān)鍵。

首先，他們驗(yàn)證了三階段蒸餾策略的必要性。結(jié)果顯示，如果跳過任何一個(gè)階段，模型性能都會(huì)顯著下降。特別是第一階段的新參數(shù)專門訓(xùn)練，對(duì)最終效果有著決定性影響。沒有這個(gè)階段，模型在TextVQA任務(wù)上的表現(xiàn)從47.7分下降到13.47分，在ScienceQA上從79.2分下降到40.8分。

參數(shù)初始化策略的重要性也得到了驗(yàn)證。相比于隨機(jī)初始化或簡(jiǎn)單的參數(shù)繼承，他們提出的"繼承+模擬"策略能夠帶來持續(xù)的性能提升。這種策略不僅繼承了訓(xùn)練好的參數(shù)，還精心初始化新參數(shù)以模擬原始注意力機(jī)制的行為。

在混合架構(gòu)的設(shè)計(jì)上，研究團(tuán)隊(duì)測(cè)試了四種不同的Transformer層放置策略。結(jié)果表明，"頭部交錯(cuò)"策略最為有效，即在每個(gè)4層塊的開始位置放置一個(gè)Transformer層。這種設(shè)計(jì)讓模型在關(guān)鍵的特征抽取階段保持Transformer的強(qiáng)大能力，同時(shí)讓Mamba-2層處理大部分的序列建模工作。

研究團(tuán)隊(duì)還發(fā)現(xiàn)，隨著保留的Transformer層數(shù)量增加，模型性能逐步提升，但效率優(yōu)勢(shì)會(huì)相應(yīng)減少。8層Transformer的配置在性能和效率之間達(dá)到了最佳平衡，這也是他們推薦的默認(rèn)配置。

六、技術(shù)創(chuàng)新的深層意義

這項(xiàng)研究的意義遠(yuǎn)不止于性能數(shù)字的提升，它代表了多模態(tài)AI發(fā)展的一個(gè)重要轉(zhuǎn)折點(diǎn)。傳統(tǒng)上，構(gòu)建高性能的視覺語言模型需要大量的計(jì)算資源和復(fù)雜的訓(xùn)練流程，這使得許多研究機(jī)構(gòu)和初創(chuàng)公司難以參與其中。

mmMamba的蒸餾方法改變了這個(gè)游戲規(guī)則。它只需要一個(gè)已經(jīng)訓(xùn)練好的模型作為教師，通過相對(duì)簡(jiǎn)單的知識(shí)傳遞過程就能獲得高效的學(xué)生模型。這就像建立了一個(gè)"知識(shí)復(fù)制"的標(biāo)準(zhǔn)流程，讓更多團(tuán)隊(duì)能夠以較低的成本獲得先進(jìn)的多模態(tài)AI能力。

從架構(gòu)設(shè)計(jì)的角度來看，這項(xiàng)工作展示了如何巧妙地融合不同計(jì)算范式的優(yōu)勢(shì)。Transformer的全局建模能力和Mamba的線性復(fù)雜度各有所長(zhǎng)，mmMamba成功地將兩者結(jié)合起來，創(chuàng)造了一種新的混合范式。這種思路對(duì)未來的模型設(shè)計(jì)具有重要的指導(dǎo)意義。

研究團(tuán)隊(duì)特別強(qiáng)調(diào)了他們方法的實(shí)用性。與需要從頭訓(xùn)練的傳統(tǒng)方法不同，mmMamba可以直接應(yīng)用于任何已有的decoder-only視覺語言模型。這種"即插即用"的特性使得現(xiàn)有的模型投資得到了保護(hù)，同時(shí)獲得了顯著的效率提升。

在部署應(yīng)用方面，線性復(fù)雜度的優(yōu)勢(shì)在長(zhǎng)序列處理場(chǎng)景中尤為突出。隨著高分辨率圖像理解、長(zhǎng)視頻分析、復(fù)雜文檔處理等需求的增長(zhǎng)，這種架構(gòu)優(yōu)勢(shì)將變得越來越重要。特別是在資源受限的邊緣設(shè)備上，mmMamba的效率優(yōu)勢(shì)可能會(huì)成為決定性因素。

七、面向未來的技術(shù)路徑

雖然mmMamba已經(jīng)取得了顯著的成果，但研究團(tuán)隊(duì)也認(rèn)識(shí)到這只是一個(gè)開始。當(dāng)前的工作主要集中在圖像和文本的多模態(tài)理解上，未來可能需要擴(kuò)展到視頻、音頻等更多模態(tài)。

從技術(shù)演進(jìn)的角度來看，這項(xiàng)工作開啟了一個(gè)新的研究方向：如何通過知識(shí)蒸餾來實(shí)現(xiàn)不同計(jì)算范式之間的轉(zhuǎn)換。這不僅適用于從Transformer到狀態(tài)空間模型的轉(zhuǎn)換，也可能適用于其他新興架構(gòu)。隨著計(jì)算硬件的發(fā)展和新算法的出現(xiàn)，這種轉(zhuǎn)換能力將變得越來越重要。

研究團(tuán)隊(duì)還提到了進(jìn)一步優(yōu)化的可能性。當(dāng)前的混合架構(gòu)采用了相對(duì)簡(jiǎn)單的交錯(cuò)策略，未來可能會(huì)開發(fā)更加智能的架構(gòu)搜索方法，根據(jù)具體任務(wù)的需求動(dòng)態(tài)確定最優(yōu)的層配置。此外，蒸餾過程本身也有改進(jìn)空間，可能會(huì)開發(fā)更加高效和精確的知識(shí)傳遞技術(shù)。

從應(yīng)用前景來看，mmMamba的效率優(yōu)勢(shì)使得大規(guī)模多模態(tài)AI應(yīng)用變得更加可行。在教育、醫(yī)療、自動(dòng)駕駛等領(lǐng)域，需要實(shí)時(shí)處理大量多模態(tài)信息的場(chǎng)景中，這種高效架構(gòu)可能會(huì)發(fā)揮關(guān)鍵作用。

說到底，華中科技大學(xué)團(tuán)隊(duì)的這項(xiàng)工作解決了當(dāng)前多模態(tài)AI面臨的一個(gè)根本性問題：如何在保持高性能的同時(shí)實(shí)現(xiàn)高效率。通過巧妙的知識(shí)蒸餾策略和混合架構(gòu)設(shè)計(jì)，他們成功地將傳統(tǒng)模型的智慧傳遞給了新一代的線性復(fù)雜度模型。

這個(gè)成果的真正價(jià)值在于它的實(shí)用性和可擴(kuò)展性。研究團(tuán)隊(duì)不僅提供了理論突破，更重要的是提供了一套完整的、可操作的解決方案。任何擁有訓(xùn)練好的視覺語言模型的團(tuán)隊(duì)都可以使用這套方法來獲得顯著的效率提升，而無需重新進(jìn)行昂貴的大規(guī)模訓(xùn)練。

對(duì)于普通用戶來說，這意味著未來的AI助手將能夠更快地處理圖像和文本，在手機(jī)或其他移動(dòng)設(shè)備上提供更好的多模態(tài)交互體驗(yàn)。對(duì)于研究人員和開發(fā)者來說，這開啟了一個(gè)新的技術(shù)路徑，讓高性能AI技術(shù)的門檻進(jìn)一步降低。

隨著這項(xiàng)技術(shù)的成熟和推廣，我們可能會(huì)看到更多創(chuàng)新應(yīng)用的出現(xiàn)，從智能文檔分析到實(shí)時(shí)視覺問答，從教育輔導(dǎo)到醫(yī)療診斷支持。這正是科技發(fā)展的魅力所在：一個(gè)看似純技術(shù)的突破，最終會(huì)惠及無數(shù)普通用戶的日常生活。有興趣深入了解技術(shù)細(xì)節(jié)的讀者，可以通過arXiv:2502.13145v2獲取完整的研究論文，感受這項(xiàng)突破性工作的全貌。

Q&A

Q1：mmMamba相比傳統(tǒng)多模態(tài)模型有什么優(yōu)勢(shì)？

A：mmMamba最大的優(yōu)勢(shì)是效率大幅提升。在處理10.3萬個(gè)token時(shí)，mmMamba-linear版本速度提升20.6倍，節(jié)省75.8%GPU內(nèi)存。當(dāng)傳統(tǒng)模型因內(nèi)存不足無法運(yùn)行12.8萬token時(shí)，mmMamba依然能穩(wěn)定工作。這是因?yàn)樗捎昧司€性復(fù)雜度的狀態(tài)空間模型，不需要存儲(chǔ)所有歷史信息。

Q2：mmMamba的知識(shí)蒸餾過程是如何工作的？

A：mmMamba采用三階段漸進(jìn)式蒸餾策略。第一階段專門訓(xùn)練新增的狀態(tài)空間建模參數(shù)，保持繼承參數(shù)不變；第二階段訓(xùn)練所有參數(shù)進(jìn)行層級(jí)對(duì)齊；第三階段進(jìn)行端到端優(yōu)化，確保最終輸出質(zhì)量。這個(gè)過程就像師父?jìng)魇诩寄芙o徒弟，先教基礎(chǔ)再教高級(jí)技巧。

Q3：mmMamba適合什么樣的應(yīng)用場(chǎng)景？

A：mmMamba特別適合需要處理長(zhǎng)序列或大量多模態(tài)信息的場(chǎng)景，比如高分辨率圖像理解、長(zhǎng)視頻分析、復(fù)雜文檔處理等。由于其線性復(fù)雜度特性，在資源受限的邊緣設(shè)備上表現(xiàn)尤為出色。對(duì)于需要實(shí)時(shí)多模態(tài)交互的應(yīng)用，如智能助手、教育軟件、醫(yī)療輔助系統(tǒng)等都很適合。