在我們的日常生活中，智能手機能夠識別照片中的人臉，語音助手能夠理解我們說的話，而最新的AI助手甚至能同時處理文字、圖片和視頻。這些神奇的功能背后，都有一個共同的秘密武器——多模態(tài)大語言模型（MLLM）。然而，這些AI系統(tǒng)有一個致命弱點：它們的"記憶"實在太有限了。

這項由西湖大學的邵可樂、陶可達等研究人員領(lǐng)導的突破性研究發(fā)表于2025年7月，論文題為《When Tokens Talk Too Much: A Survey of Multimodal Long-Context Token Compression across Images, Videos, and Audios》。研究團隊成員來自西湖大學、浙江大學、廈門大學、新加坡國立大學、威斯康星大學麥迪遜分校等多所知名學府。有興趣深入了解的讀者可以通過arXiv:2507.20198訪問完整論文。

要理解這個問題，我們可以把AI系統(tǒng)想象成一個非常聰明但患有"短期記憶癥"的助手。當你給它看一張高清照片時，這張照片會被分解成成千上萬個小片段，每個片段就像一個"記憶單元"。一張4K超高清圖片可能需要32000個這樣的記憶單元，而一段90分鐘的電影則需要驚人的5400萬個記憶單元。問題是，目前最先進的AI系統(tǒng)，比如谷歌的Gemini 2.5，最多只能同時處理100萬個記憶單元。這就像讓一個人同時記住幾萬本書的內(nèi)容一樣困難。

更糟糕的是，AI處理這些記憶單元的效率會隨著數(shù)量的增加而急劇下降。這就好比一個圖書管理員，當需要管理的書籍從100本增加到1萬本時，找到特定信息所需的時間不是簡單地增加100倍，而可能是10000倍。這種"二次復雜度"問題讓AI在處理復雜多媒體內(nèi)容時變得極其緩慢，有時甚至完全無法工作。

研究團隊發(fā)現(xiàn)了一個令人震驚的事實：在大多數(shù)情況下，這些AI系統(tǒng)實際上只關(guān)注其中不到20%的信息，其余80%以上的記憶單元幾乎是"垃圾"。這就像一個人看電影時，雖然屏幕上有無數(shù)細節(jié)，但真正對理解劇情有用的可能只是幾個關(guān)鍵鏡頭。既然如此，為什么不能讓AI變得更"聰明"一些，只保留真正重要的信息呢？

這正是"令牌壓縮"技術(shù)要解決的核心問題。所謂"令牌"，就是AI理解信息的基本單位，類似于人類大腦中的記憶片段。令牌壓縮技術(shù)就像給AI配備了一個超級高效的"信息篩選器"，能夠從海量數(shù)據(jù)中迅速識別出最重要的部分，然后將其余冗余信息"壓縮"掉。

一、圖像處理的智能壓縮：讓AI看圖更高效

當AI系統(tǒng)處理圖像時，面臨的挑戰(zhàn)就像一個人試圖在極短時間內(nèi)記住一幅巨大拼圖的每一個細節(jié)。一張普通的數(shù)字照片被AI"看到"時，會被切分成數(shù)百甚至數(shù)千個小方塊，每個方塊都需要占用寶貴的記憶空間。然而，就像人眼觀察風景時會自動忽略天空中相似的云朵而專注于地平線上的建筑物一樣，AI也完全沒必要對每個小方塊都給予同等的關(guān)注。

研究團隊將圖像壓縮方法分為四個主要類型，每種都有其獨特的"智能篩選"策略。第一種是變換式壓縮，這就像是給原始圖像做了一次"智能縮略"。比如，一張包含大片藍天和少量建筑的照片，系統(tǒng)會自動將相似的天空區(qū)域合并，而保留建筑物的細節(jié)。這種方法被InternVL系列和Qwen2系列等先進AI系統(tǒng)廣泛采用，它們能夠?qū)D像的信息量減少到原來的四分之一，同時幾乎不損失重要內(nèi)容。

第二種是相似性壓縮，原理就像整理衣柜時把相似的衣服歸類放置。AI系統(tǒng)會識別圖像中那些看起來相似的區(qū)域，比如一片森林中的許多相似樹葉，然后用一個"代表性"的信息來替代所有相似的部分。研究人員發(fā)現(xiàn)，這種方法特別適合處理那些包含重復圖案的圖像，比如建筑物的外墻或者自然景觀中的紋理。

第三種是注意力導向壓縮，這種方法模仿了人類視覺的工作原理。當你看一張照片時，你的眼睛并不會平均分配注意力，而是會自動聚焦于最吸引人或最重要的部分。AI系統(tǒng)通過分析自己在理解圖像時哪些區(qū)域獲得了更多"關(guān)注"，然后保留這些重要區(qū)域，而將那些幾乎沒有被"注意到"的區(qū)域壓縮掉。

第四種是查詢導向壓縮，這是最聰明的一種方法。就像一個經(jīng)驗豐富的導游會根據(jù)游客的興趣重點介紹景點的不同方面一樣，這種技術(shù)會根據(jù)用戶的具體問題來決定保留圖像的哪些部分。如果你問AI"這張照片里有幾個人"，系統(tǒng)就會優(yōu)先保留人物相關(guān)的信息；如果你問"天氣怎么樣"，系統(tǒng)則會關(guān)注天空和環(huán)境細節(jié)。

在實際應用中，這些壓縮技術(shù)展現(xiàn)出了令人驚喜的效果。研究數(shù)據(jù)顯示，即使將圖像信息壓縮到原來的十分之一，AI系統(tǒng)在回答關(guān)于圖像內(nèi)容的問題時，準確率仍然能保持在95%以上。這就好比一個人看完整部電影后，能夠用十分鐘的精華片段向朋友完整復述劇情要點。

二、視頻理解的時空壓縮：處理動態(tài)信息的藝術(shù)

如果說處理靜態(tài)圖像已經(jīng)很有挑戰(zhàn)性，那么處理視頻就像是在玩一個難度提升了千倍的游戲。視頻不僅包含空間信息（每一幀的畫面內(nèi)容），還包含時間信息（幀與幀之間的變化）。一個90分鐘的高清電影包含大約54萬個"信息單元"，這相當于讓AI同時記住54萬張圖片的內(nèi)容——這對任何系統(tǒng)來說都是一個幾乎不可能完成的任務。

視頻壓縮的核心思想是利用一個簡單但重要的觀察：在大多數(shù)視頻中，相鄰的畫面通常非常相似。比如在一個人物對話的場景中，背景幾乎保持不變，只有說話人的嘴部和表情在輕微變化。傳統(tǒng)的AI系統(tǒng)會把每一幀都當作全新的信息來處理，這就像一個健忘癥患者每秒鐘都要重新認識房間里的所有物品一樣低效。

研究團隊開發(fā)的時空壓縮技術(shù)就像一個聰明的視頻編輯師，能夠識別出視頻中真正發(fā)生變化的部分。在處理一段街道監(jiān)控錄像時，系統(tǒng)會發(fā)現(xiàn)大部分時間里街道背景是靜止的，只有偶爾經(jīng)過的車輛和行人是真正的"新信息"。因此，系統(tǒng)只需要保留一個背景"模板"和那些真正變化的元素，就能夠完整重現(xiàn)視頻內(nèi)容。

這種技術(shù)的一個典型應用是frame clustering（幀聚類）。系統(tǒng)會自動將相似的視頻幀歸為一組，然后用組內(nèi)最具代表性的一幀來代表整組。這就像制作電影預告片時，編輯會從每個場景中選擇最精彩的幾秒鐘片段，最終用兩分鐘的預告片概括兩小時的電影內(nèi)容。

更加先進的方法還能夠進行"智能跳躍"。當AI檢測到視頻中出現(xiàn)場景切換時，會自動調(diào)整壓縮策略。比如從室內(nèi)對話場景切換到室外追車場景時，系統(tǒng)會意識到這是全新的內(nèi)容，需要保留更多細節(jié)；而在同一個場景內(nèi)的連續(xù)鏡頭中，系統(tǒng)則會更加激進地壓縮冗余信息。

研究數(shù)據(jù)顯示，通過這些智能壓縮技術(shù)，AI系統(tǒng)能夠?qū)⒁曨l處理速度提升10到50倍，同時在理解視頻內(nèi)容的準確性上只有微小的損失。這意味著原本需要幾小時才能分析完成的長視頻，現(xiàn)在可能只需要幾分鐘就能完成。

三、音頻處理的頻譜優(yōu)化：讓AI"聽"得更聰明

音頻信息對AI系統(tǒng)來說是另一個獨特的挑戰(zhàn)。與圖像和視頻不同，音頻是一維的時間序列數(shù)據(jù)，但它蘊含的信息密度卻可能極高。一首兩小時的音樂會錄音可能包含72萬個信息單元，而且這些信息在時間軸上連續(xù)分布，不像圖像那樣可以明顯地分割成獨立的區(qū)域。

音頻壓縮的關(guān)鍵在于理解聲音的本質(zhì)特征。就像人類的聽覺系統(tǒng)能夠在嘈雜的餐廳中專注于朋友的談話聲一樣，AI也需要學會從復雜的音頻信號中提取真正有意義的信息。研究團隊發(fā)現(xiàn)，大多數(shù)音頻內(nèi)容都存在大量的冗余：長時間的靜音、重復的背景聲、以及人耳幾乎無法察覺的高頻或低頻成分。

一種有效的音頻壓縮方法是"令牌堆疊"。這種技術(shù)將連續(xù)的音頻片段"堆疊"在一起，形成更密集的信息單元。這就像將一本厚厚的小說壓縮成精煉的摘要，保留主要情節(jié)和對話，去除冗長的環(huán)境描述。通過這種方法，一段原本需要1000個信息單元的音頻可能只需要250個單元就能準確表達。

另一種方法是頻譜分析壓縮。AI系統(tǒng)會將音頻轉(zhuǎn)換成類似于彩虹般的頻譜圖，不同顏色代表不同頻率的聲音強度。然后系統(tǒng)會識別出那些對理解內(nèi)容最重要的頻率范圍，并優(yōu)先保留這些信息。比如在處理人聲對話時，系統(tǒng)會重點保留人聲頻率范圍的信息，而壓縮掉對理解語言內(nèi)容貢獻不大的極高頻或極低頻成分。

研究還發(fā)現(xiàn)了一個有趣的現(xiàn)象：在很多音頻應用中，AI系統(tǒng)實際上只需要關(guān)注很短的時間窗口內(nèi)的信息。比如在語音識別任務中，理解一個單詞通常只需要分析前后幾百毫秒的音頻，而不需要考慮整段對話的內(nèi)容?；谶@個發(fā)現(xiàn)，研究團隊開發(fā)了"滑動窗口"壓縮技術(shù)，讓AI系統(tǒng)像一個專注的聽眾一樣，始終關(guān)注當前最相關(guān)的音頻片段。

四、技術(shù)融合與優(yōu)化：四種策略的協(xié)同作用

在實際應用中，最有效的壓縮系統(tǒng)往往不是依賴單一技術(shù)，而是將不同的壓縮策略巧妙地結(jié)合起來。這就像一個優(yōu)秀的廚師會綜合運用煎、炒、烹、炸等不同技法來制作一道完美的菜肴。

研究團隊發(fā)現(xiàn)，不同類型的壓縮技術(shù)有著各自的優(yōu)勢領(lǐng)域。變換式壓縮在處理結(jié)構(gòu)化內(nèi)容時表現(xiàn)最佳，比如文檔圖像或者建筑物照片；相似性壓縮在處理自然場景時效果顯著，特別是那些包含重復圖案的內(nèi)容；注意力導向壓縮在交互式應用中最為有用，因為它能根據(jù)AI系統(tǒng)的實際需求動態(tài)調(diào)整；而查詢導向壓縮則在特定任務中表現(xiàn)出色，能夠根據(jù)用戶的具體需求精準保留相關(guān)信息。

一個典型的融合應用場景是智能視頻監(jiān)控系統(tǒng)。系統(tǒng)首先使用變換式壓縮來處理相對靜態(tài)的背景信息，然后用相似性壓縮來合并重復的場景，接著通過注意力機制識別出可能的異常活動區(qū)域，最后根據(jù)具體的監(jiān)控需求（比如尋找特定的人或物）進行查詢導向的精細處理。

這種多技術(shù)融合的方法在處理長視頻內(nèi)容時表現(xiàn)尤為出色。研究數(shù)據(jù)顯示，在處理90分鐘的電影時，融合系統(tǒng)能夠?qū)⒃拘枰?400萬個信息單元壓縮到不到100萬個，同時在回答關(guān)于電影內(nèi)容的問題時保持90%以上的準確率。這相當于讓AI系統(tǒng)用不到原來2%的"記憶空間"就能理解整部電影的內(nèi)容。

然而，技術(shù)融合也帶來了新的挑戰(zhàn)。研究團隊發(fā)現(xiàn)，簡單地將多種壓縮技術(shù)疊加使用并不總是能獲得最佳效果，有時甚至會出現(xiàn)"1+1<1"的情況。這是因為不同的壓縮技術(shù)可能會在處理相同內(nèi)容時產(chǎn)生沖突，導致重要信息的意外丟失。因此，如何智能地協(xié)調(diào)不同壓縮技術(shù)的應用成為了一個重要的研究方向。

五、實際應用與性能表現(xiàn)：從實驗室到現(xiàn)實世界

為了驗證這些壓縮技術(shù)的實際效果，研究團隊進行了大量的對比實驗。他們選擇了多個代表性的AI系統(tǒng)，包括LLaVA、Qwen-VL、InternVL等知名模型，在各種真實任務上測試了壓縮技術(shù)的表現(xiàn)。

在圖像理解任務中，實驗結(jié)果令人印象深刻。即使將圖像信息壓縮到原來的八分之一（從576個信息單元減少到64個），AI系統(tǒng)在回答"圖片中有幾個人"、"天氣如何"等問題時的準確率仍然能保持在85%以上。更令人驚喜的是，在某些特定任務中，適度的壓縮甚至能夠提升AI的表現(xiàn)，因為去除冗余信息后，系統(tǒng)能夠更專注于真正重要的內(nèi)容。

視頻處理任務的實驗同樣顯示了壓縮技術(shù)的巨大潛力。在處理包含復雜情節(jié)的長視頻時，系統(tǒng)能夠在保留僅25%原始信息的情況下，依然準確回答關(guān)于視頻內(nèi)容的各種問題。比如在分析一段90分鐘的電影時，壓縮后的系統(tǒng)仍然能夠正確識別主要角色、理解基本情節(jié)發(fā)展、甚至回答一些細節(jié)性的問題。

音頻處理方面的實驗結(jié)果也很有說服力。在語音識別任務中，壓縮技術(shù)能夠?qū)⑻幚頃r間縮短80%以上，同時識別準確率幾乎沒有下降。這意味著原本需要幾分鐘才能處理完成的長音頻，現(xiàn)在可能只需要幾十秒就能得到結(jié)果。

特別值得注意的是，這些壓縮技術(shù)在處理多語言內(nèi)容時表現(xiàn)出了很好的通用性。無論是中文、英文、還是其他語言的內(nèi)容，壓縮效果都相當穩(wěn)定。這為開發(fā)面向全球用戶的AI應用提供了重要的技術(shù)支撐。

六、挑戰(zhàn)與局限：技術(shù)發(fā)展中的現(xiàn)實障礙

盡管令牌壓縮技術(shù)展現(xiàn)出了巨大的潛力，但研究團隊也誠實地指出了當前面臨的一些挑戰(zhàn)和局限性。

首先是性能下降的問題。雖然適度的壓縮通常不會顯著影響AI系統(tǒng)的表現(xiàn)，但當壓縮比例過高時，性能下降就會變得明顯。研究發(fā)現(xiàn)，對于最先進的AI模型，當壓縮比超過90%（即只保留10%的原始信息）時，系統(tǒng)在復雜任務上的表現(xiàn)會出現(xiàn)明顯下降。這就像試圖用一張郵票大小的照片來識別人群中的某個特定面孔一樣困難。

其次是任務特異性的挑戰(zhàn)。某些需要高精度信息的任務，比如醫(yī)學圖像診斷或者精密工程圖紙分析，對壓縮技術(shù)的要求極高。在這些應用中，任何細微信息的丟失都可能導致嚴重后果。研究團隊發(fā)現(xiàn)，目前的壓縮技術(shù)在這些高精度應用中還需要更多的改進和優(yōu)化。

第三個挑戰(zhàn)是實時處理的要求。雖然壓縮技術(shù)能夠大幅提升AI系統(tǒng)的處理速度，但壓縮過程本身也需要時間。在某些需要極快響應的應用中，比如自動駕駛或者實時視頻分析，壓縮帶來的延遲可能會抵消其帶來的速度優(yōu)勢。

技術(shù)兼容性也是一個現(xiàn)實問題。目前主流的AI加速硬件和軟件框架都是針對傳統(tǒng)的"全信息"處理模式設計的，而壓縮技術(shù)往往需要特殊的計算模式。這就像試圖在為右舵汽車設計的道路上行駛左舵汽車一樣，需要額外的適配工作。

七、未來發(fā)展方向：下一代智能壓縮技術(shù)

面向未來，研究團隊提出了幾個重要的發(fā)展方向，這些方向可能會徹底改變AI系統(tǒng)處理多媒體信息的方式。

第一個方向是統(tǒng)一多模態(tài)壓縮框架的開發(fā)。目前，處理圖像、視頻、音頻的壓縮技術(shù)基本上是分離的，就像三個獨立工作的專家。未來的系統(tǒng)可能會發(fā)展出一種"通用語言"，能夠同時理解和壓縮不同類型的媒體內(nèi)容。這種統(tǒng)一框架不僅能提高效率，還能利用不同模態(tài)之間的相關(guān)性來進一步優(yōu)化壓縮效果。

第二個方向是自適應壓縮技術(shù)的發(fā)展。未來的AI系統(tǒng)可能會像一個經(jīng)驗豐富的編輯一樣，能夠根據(jù)內(nèi)容的重要性、用戶的需求、以及系統(tǒng)的當前負載來動態(tài)調(diào)整壓縮策略。比如在處理一段包含緊急情況的視頻時，系統(tǒng)會自動降低壓縮比例以保留更多細節(jié)；而在處理日常監(jiān)控錄像時，則會采用更激進的壓縮策略。

第三個方向是硬件協(xié)同優(yōu)化。隨著專門為AI計算設計的芯片越來越普及，壓縮技術(shù)也將與這些硬件更緊密地結(jié)合。未來的AI芯片可能會內(nèi)置專門的壓縮處理單元，就像現(xiàn)在的圖形處理器內(nèi)置專門的渲染單元一樣。

第四個方向是智能評估體系的建立。目前評估壓縮效果主要依賴傳統(tǒng)的準確率指標，但這些指標可能無法完全反映用戶的實際體驗。未來需要開發(fā)更加全面的評估體系，能夠綜合考慮處理速度、資源消耗、用戶滿意度等多個維度。

八、廣泛應用前景：改變生活的技術(shù)潛力

這項研究的意義遠遠超出了學術(shù)范疇，它有潛力在多個領(lǐng)域產(chǎn)生深遠影響。

在智能手機和個人設備領(lǐng)域，壓縮技術(shù)能夠讓設備在有限的計算資源下運行更強大的AI功能。用戶可能很快就能在普通手機上體驗到目前只有高端服務器才能提供的復雜AI服務，比如實時視頻內(nèi)容分析、多語言實時翻譯、或者高質(zhì)量的圖像處理功能。

在醫(yī)療健康領(lǐng)域，這項技術(shù)能夠讓醫(yī)學影像分析變得更加高效和普及。醫(yī)生可能不再需要等待數(shù)小時才能得到AI輔助的診斷結(jié)果，而是能夠在幾分鐘內(nèi)獲得初步分析。這對于急診醫(yī)學和遠程醫(yī)療具有重要意義。

在教育領(lǐng)域，壓縮技術(shù)能夠讓個性化學習助手變得更加實用。AI系統(tǒng)能夠快速分析學生的學習視頻、作業(yè)圖片等多種材料，提供即時的反饋和指導，而不需要強大的服務器支持。

在自動駕駛和機器人領(lǐng)域，這項技術(shù)能夠讓系統(tǒng)更快速地處理環(huán)境信息，做出更及時的決策。這對于提高自動駕駛的安全性和機器人的響應速度具有重要意義。

在內(nèi)容創(chuàng)作和娛樂領(lǐng)域，壓縮技術(shù)能夠讓AI助手更好地理解和處理視頻、音頻內(nèi)容，為創(chuàng)作者提供更智能的編輯建議和內(nèi)容分析。

研究團隊特別指出，隨著5G和6G網(wǎng)絡的普及，以及邊緣計算技術(shù)的發(fā)展，這些壓縮技術(shù)將能夠在更廣泛的場景中發(fā)揮作用。用戶可能不再需要依賴云端的強大服務器，而是能夠在本地設備上享受高質(zhì)量的AI服務。

說到底，這項研究解決的是一個非常根本的問題：如何讓AI系統(tǒng)變得更加智能和高效。就像人類大腦能夠從海量的感官信息中快速提取關(guān)鍵內(nèi)容一樣，未來的AI系統(tǒng)也需要具備這種"智能篩選"的能力。西湖大學團隊的這項研究為我們展示了一條通往更智能AI的可行路徑。

當然，技術(shù)的發(fā)展永遠不是一蹴而就的。目前的壓縮技術(shù)還需要在更多實際場景中得到驗證和改進，也需要與硬件制造商、軟件開發(fā)商等產(chǎn)業(yè)鏈各環(huán)節(jié)緊密合作。但可以確信的是，隨著這項技術(shù)的不斷成熟，我們的日常生活將會因為更智能、更高效的AI助手而變得更加便利和豐富。

對于普通用戶來說，這意味著什么呢？簡單來說，你可能很快就能在自己的設備上體驗到更強大、更快速、更智能的AI功能。無論是拍照時的智能優(yōu)化、視頻通話時的實時翻譯、還是語音助手的快速響應，這些看似神奇的功能背后，都可能有令牌壓縮技術(shù)在默默發(fā)揮作用。這項看似深奧的技術(shù)研究，最終會以我們意想不到的方式融入日常生活，讓科技真正服務于每一個人。

Q&A

Q1：什么是令牌壓縮技術(shù)？它能解決什么問題？ A：令牌壓縮技術(shù)就像給AI配備了一個智能篩選器，能從海量信息中快速識別重要部分，壓縮掉冗余內(nèi)容。它主要解決AI系統(tǒng)處理圖片、視頻、音頻時"記憶不夠用"的問題，讓AI能更快速、高效地理解復雜多媒體內(nèi)容。

Q2：這項技術(shù)會不會讓AI變得不準確？ A：適度壓縮通常不會顯著影響準確性。研究顯示，即使壓縮到原來的八分之一，AI回答問題的準確率仍能保持85%以上。就像電影預告片能用幾分鐘概括整部電影要點一樣，AI也能用更少的信息保持理解能力。

Q3：普通人什么時候能用上這種技術(shù)？ A：這項技術(shù)很可能已經(jīng)在悄悄改變我們的體驗了。未來幾年，你可能會發(fā)現(xiàn)手機的AI功能變得更快更聰明、視頻處理速度大幅提升、語音助手響應更及時，這些改進背后都可能有令牌壓縮技術(shù)的貢獻。