當(dāng)我們?cè)谌粘Ｉ钪袎嚎s文件時(shí)，通常會(huì)用到ZIP或RAR這樣的工具，它們能把一個(gè)大文件變成更小的體積。但你有沒有想過，人工智能模型是如何在內(nèi)部"記住"信息的？最近，來自俄羅斯人工智能研究院（AIRI）、莫斯科物理技術(shù)學(xué)院、以及倫敦?cái)?shù)學(xué)科學(xué)研究所的研究團(tuán)隊(duì)發(fā)表了一項(xiàng)令人震驚的發(fā)現(xiàn)，他們?cè)?025年6月22日發(fā)布的論文"Cramming 1568 Tokens into a Single Vector and Back Again: Exploring the Limits of Embedding Space Capacity"（論文編號(hào)：arXiv:2502.13063v3）中證明，現(xiàn)代大語言模型的單個(gè)輸入向量能夠存儲(chǔ)和完美復(fù)原多達(dá)1568個(gè)文本片段。

這個(gè)發(fā)現(xiàn)就像發(fā)現(xiàn)了一個(gè)看似普通的小盒子竟然能裝下一整座圖書館的內(nèi)容一樣令人驚訝。研究團(tuán)隊(duì)由尤里·庫(kù)拉托夫（Yuri Kuratov）領(lǐng)導(dǎo)，包括米哈伊爾·阿爾希波夫（Mikhail Arkhipov）、阿伊達(dá)爾·布拉托夫（Aydar Bulatov）和米哈伊爾·布爾采夫（Mikhail Burtsev）等研究者。他們的工作不僅揭示了當(dāng)前AI模型內(nèi)部記憶機(jī)制的巨大潛力，更是為未來更高效的AI系統(tǒng)設(shè)計(jì)指明了方向。

這項(xiàng)研究的核心發(fā)現(xiàn)顛覆了我們對(duì)AI模型記憶容量的認(rèn)知。傳統(tǒng)上，研究者們認(rèn)為每個(gè)輸入向量只能代表一個(gè)文本片段，就像一個(gè)停車位只能停一輛車。但這個(gè)研究團(tuán)隊(duì)發(fā)現(xiàn)，通過巧妙的優(yōu)化方法，一個(gè)向量竟然可以像一個(gè)魔法背包一樣，裝下成百上千個(gè)文本片段，而且還能在需要時(shí)完美無損地將它們?nèi)咳〕鰜?。更令人驚訝的是，這種"超級(jí)壓縮"能力在不同類型的文本上都表現(xiàn)出色，無論是經(jīng)典文學(xué)作品、網(wǎng)絡(luò)小說，還是完全隨機(jī)的單詞序列。

這個(gè)發(fā)現(xiàn)的意義遠(yuǎn)超技術(shù)本身。目前的AI模型在處理長(zhǎng)文本時(shí)面臨巨大的計(jì)算負(fù)擔(dān)，就像一個(gè)人試圖同時(shí)記住一千個(gè)電話號(hào)碼一樣困難。而這項(xiàng)研究揭示的超強(qiáng)記憶壓縮能力，為解決這個(gè)問題提供了全新思路，有望讓未來的AI系統(tǒng)在處理復(fù)雜信息時(shí)更加高效和智能。

一、魔法背包的秘密：AI向量的超凡記憶力

要理解這項(xiàng)研究的重要性，我們首先需要了解AI模型是如何"記憶"信息的。每當(dāng)我們向ChatGPT或其他AI模型輸入文字時(shí)，這些文字會(huì)被轉(zhuǎn)換成數(shù)學(xué)向量，就像把文字翻譯成計(jì)算機(jī)能理解的數(shù)字語言。傳統(tǒng)觀念認(rèn)為，每個(gè)向量只能代表一個(gè)詞匯或短語，這就像每個(gè)抽屜只能放一樣?xùn)|西。

研究團(tuán)隊(duì)通過巧妙的實(shí)驗(yàn)設(shè)計(jì)，徹底顛覆了這個(gè)認(rèn)知。他們開發(fā)了一種被稱為"記憶向量"（[mem] vectors）的技術(shù)，這些向量就像是擁有魔法的容器，能夠?qū)⒋罅啃畔嚎s存儲(chǔ)。具體來說，他們讓AI模型學(xué)習(xí)如何將完整的文本序列編碼到單個(gè)向量中，然后再?gòu)倪@個(gè)向量中完美地重構(gòu)出原始文本。

這個(gè)過程就像訓(xùn)練一個(gè)魔術(shù)師學(xué)會(huì)如何把一整副撲克牌變進(jìn)帽子里，然后再一張不差地變出來。研究者通過反復(fù)訓(xùn)練，讓AI模型掌握了這種"壓縮魔法"。最令人驚訝的是，當(dāng)他們測(cè)試不同規(guī)模的AI模型時(shí)發(fā)現(xiàn)，越大的模型擁有越強(qiáng)的壓縮能力。最強(qiáng)大的Llama-3.1-8B模型能夠?qū)?568個(gè)文本片段完美壓縮到單個(gè)向量中，壓縮比達(dá)到了驚人的1500倍。

為了驗(yàn)證這種能力的真實(shí)性，研究團(tuán)隊(duì)設(shè)計(jì)了嚴(yán)格的測(cè)試標(biāo)準(zhǔn)。他們要求AI模型不僅要能壓縮文本，還要能夠百分之百準(zhǔn)確地還原出來，就像一個(gè)完美的錄音設(shè)備，不能遺漏任何一個(gè)字符。結(jié)果表明，只要文本的復(fù)雜度不超過模型的承載極限，這種完美復(fù)原確實(shí)是可能的。

更有趣的是，研究者發(fā)現(xiàn)這種壓縮能力并不依賴于模型對(duì)特定文本的"熟悉程度"。即使是模型從未見過的全新文本，甚至是完全隨機(jī)的單詞組合，都能被成功壓縮和復(fù)原。這說明AI模型的這種記憶能力是一種通用的信息處理機(jī)制，而不是簡(jiǎn)單的記憶和背誦。

二、從理論到現(xiàn)實(shí)：壓縮能力的科學(xué)測(cè)量

當(dāng)研究團(tuán)隊(duì)深入分析這種壓縮現(xiàn)象時(shí)，他們發(fā)現(xiàn)了一個(gè)重要規(guī)律：壓縮能力的極限主要取決于文本本身的"不確定性"，而不是文本的長(zhǎng)度。這個(gè)發(fā)現(xiàn)就像發(fā)現(xiàn)了物理學(xué)中的一個(gè)新定律，揭示了信息壓縮的本質(zhì)規(guī)律。

研究者使用了一個(gè)叫做"交叉熵"的概念來衡量文本的不確定性。交叉熵就像是衡量一篇文章"意外程度"的標(biāo)尺。一篇按照常見模式寫作的文章交叉熵較低，而充滿意外轉(zhuǎn)折和不尋常詞匯的文章交叉熵較高。研究發(fā)現(xiàn)，無論文本多長(zhǎng)，只要其交叉熵低于模型的特定閾值，就能被完美壓縮和復(fù)原。

這個(gè)發(fā)現(xiàn)解釋了為什么不同類型的文本表現(xiàn)出不同的壓縮效果。研究團(tuán)隊(duì)測(cè)試了三種類型的文本：經(jīng)典文學(xué)作品（來自古騰堡計(jì)劃的公版書籍）、現(xiàn)代網(wǎng)絡(luò)小說（2024年10月后發(fā)布的同人小說）、以及隨機(jī)單詞序列。結(jié)果顯示，自然語言文本（無論是經(jīng)典文學(xué)還是網(wǎng)絡(luò)小說）的壓縮效果相似，而隨機(jī)文字序列由于完全無規(guī)律可循，壓縮效果稍差但仍然令人印象深刻。

特別值得注意的是，即使是隨機(jī)文字序列，最強(qiáng)大的模型仍能壓縮792個(gè)片段到單個(gè)向量中。這就像一個(gè)記憶大師不僅能記住有意義的詩(shī)歌，連完全無意義的隨機(jī)數(shù)字序列也能大量記住。這證明了AI模型的記憶向量具有強(qiáng)大的通用信息存儲(chǔ)能力，不依賴于文本的語義結(jié)構(gòu)。

研究團(tuán)隊(duì)還發(fā)現(xiàn)了一個(gè)線性縮放規(guī)律：當(dāng)使用多個(gè)記憶向量時(shí)，壓縮能力幾乎呈現(xiàn)完美的線性增長(zhǎng)。使用16個(gè)記憶向量，Llama-3.2-1B模型能夠壓縮多達(dá)7168個(gè)文本片段。這種規(guī)律性就像發(fā)現(xiàn)了計(jì)算機(jī)內(nèi)存的擴(kuò)展公式，為實(shí)際應(yīng)用提供了可預(yù)測(cè)的擴(kuò)展方案。

三、不同模型的記憶天賦：從小學(xué)生到博士的差異

研究團(tuán)隊(duì)測(cè)試了14個(gè)不同的AI模型，從最小的1.6億參數(shù)到最大的80億參數(shù)，就像測(cè)試從小學(xué)生到博士生的不同記憶能力。結(jié)果顯示了一個(gè)清晰的趨勢(shì)：更大、更先進(jìn)的模型普遍具有更強(qiáng)的壓縮能力，但這種能力的提升并不總是與模型大小成正比。

在約10億參數(shù)的模型中，研究者發(fā)現(xiàn)了一個(gè)有趣的現(xiàn)象。較老的模型如OPT和早期的Pythia系列表現(xiàn)出較低的壓縮能力，而較新的模型如Llama系列、OLMo和Mamba則展現(xiàn)出明顯更強(qiáng)的能力。這就像同樣是大學(xué)生，不同學(xué)校培養(yǎng)出來的學(xué)生在記憶和理解能力上有顯著差異。這種差異反映了AI模型訓(xùn)練質(zhì)量和架構(gòu)優(yōu)化的重要性。

更令人驚訝的發(fā)現(xiàn)是，模型的記憶向量利用效率存在巨大差異。研究團(tuán)隊(duì)計(jì)算了每個(gè)模型的"容量利用率"，即實(shí)際壓縮能力與理論最大容量的比值。結(jié)果顯示，即使是表現(xiàn)最好的模型，其容量利用率也僅在15-30%之間。這就像發(fā)現(xiàn)一個(gè)巨大的倉(cāng)庫(kù)只使用了不到三分之一的存儲(chǔ)空間，暗示著巨大的改進(jìn)潛力。

特別值得關(guān)注的是Mamba模型系列的表現(xiàn)。Mamba采用了與傳統(tǒng)Transformer完全不同的架構(gòu)，被稱為"狀態(tài)空間模型"。研究發(fā)現(xiàn)，Mamba模型同樣具備出色的文本壓縮能力，證明這種記憶現(xiàn)象不僅限于特定的AI架構(gòu)，而是一種更普遍的計(jì)算原理。這個(gè)發(fā)現(xiàn)為未來AI架構(gòu)的多樣化發(fā)展提供了重要啟示。

在所有測(cè)試的模型中，Llama-3.1-8B表現(xiàn)最為出色，能夠?qū)?568個(gè)文本片段壓縮到單個(gè)向量中?？紤]到《霍比特人》這樣的經(jīng)典小說約有12萬個(gè)文本片段，研究者估算，使用128個(gè)記憶向量就足以存儲(chǔ)整本書的內(nèi)容。這種計(jì)算讓人們對(duì)AI系統(tǒng)的潛在能力有了全新認(rèn)識(shí)。

四、打破架構(gòu)邊界：通用記憶原理的驗(yàn)證

這項(xiàng)研究最重要的發(fā)現(xiàn)之一是記憶壓縮能力的通用性。研究團(tuán)隊(duì)不僅測(cè)試了主流的Transformer架構(gòu)模型，還驗(yàn)證了基于狀態(tài)空間模型的Mamba系列。結(jié)果證明，無論采用何種內(nèi)部架構(gòu)，AI模型都展現(xiàn)出類似的文本壓縮和復(fù)原能力。

這個(gè)發(fā)現(xiàn)就像發(fā)現(xiàn)不同品牌的汽車都能在高速公路上行駛一樣，表明文本壓縮能力是AI系統(tǒng)的一種基礎(chǔ)特性，而非特定架構(gòu)的偶然產(chǎn)物。Mamba模型的成功驗(yàn)證特別重要，因?yàn)樗捎昧伺cTransformer完全不同的信息處理方式，卻能達(dá)到相似的壓縮效果。這暗示著在AI系統(tǒng)的深層運(yùn)作中，存在著某種更根本的信息處理原理。

研究者通過對(duì)比不同架構(gòu)模型的表現(xiàn)發(fā)現(xiàn)，雖然具體的壓縮數(shù)值有所差異，但基本的規(guī)律保持一致：模型規(guī)模越大，壓縮能力越強(qiáng)；文本復(fù)雜度越低，越容易被壓縮；多個(gè)記憶向量的效果呈線性疊加。這些規(guī)律的普遍性為未來AI系統(tǒng)的設(shè)計(jì)和優(yōu)化提供了寶貴的指導(dǎo)原則。

更深層的分析揭示了一個(gè)令人深思的現(xiàn)象：不同模型對(duì)記憶空間的利用效率差異巨大。新一代模型如Llama系列不僅在絕對(duì)壓縮能力上更強(qiáng)，在空間利用效率上也明顯優(yōu)于早期模型。這就像現(xiàn)代建筑師設(shè)計(jì)的房子不僅面積更大，空間利用率也更高。這種進(jìn)步反映了AI訓(xùn)練技術(shù)和架構(gòu)設(shè)計(jì)的持續(xù)改進(jìn)。

研究團(tuán)隊(duì)還觀察到一個(gè)有趣現(xiàn)象：當(dāng)文本無法被完美壓縮時(shí)，不同模型會(huì)將其壓縮到各自特定的"基準(zhǔn)水平"。這個(gè)基準(zhǔn)水平就像每個(gè)人的記憶極限，超過這個(gè)限度就無法完美記住信息。這個(gè)發(fā)現(xiàn)為理解AI模型的認(rèn)知極限提供了新的視角。

五、記憶向量的內(nèi)在結(jié)構(gòu)：一個(gè)未解的謎題

當(dāng)研究團(tuán)隊(duì)深入分析這些神奇的記憶向量時(shí)，他們發(fā)現(xiàn)了一個(gè)令人困惑的現(xiàn)象。雖然這些向量能夠完美地存儲(chǔ)和復(fù)原文本信息，但它們的內(nèi)部結(jié)構(gòu)卻呈現(xiàn)出意想不到的復(fù)雜性和不規(guī)律性。

研究者嘗試分析同一段文本的多個(gè)記憶向量（通過不同的隨機(jī)初始化獲得），發(fā)現(xiàn)了一個(gè)令人驚訝的事實(shí)：存儲(chǔ)相同內(nèi)容的不同記憶向量之間的相似度竟然與存儲(chǔ)不同內(nèi)容的向量相似度沒有顯著差異。這就像兩個(gè)人用完全不同的方法記住同一首詩(shī)，他們的大腦活動(dòng)模式可能完全不同，但最終都能完美背誦。

更有趣的是，當(dāng)研究者嘗試在兩個(gè)記憶向量之間進(jìn)行"插值"（即尋找它們之間的中間狀態(tài)）時(shí)，發(fā)現(xiàn)這些中間狀態(tài)無法產(chǎn)生有意義的文本輸出。這表明記憶向量的有效區(qū)域在高維空間中是離散分布的，而不是連續(xù)的區(qū)域。這個(gè)發(fā)現(xiàn)挑戰(zhàn)了我們對(duì)AI內(nèi)部表示連續(xù)性的直覺認(rèn)知。

這種不規(guī)律的分布模式帶來了一些重要啟示。首先，它解釋了為什么當(dāng)前的壓縮方法還遠(yuǎn)未達(dá)到理論極限。如果記憶向量的有效區(qū)域是離散且分散的，那么找到最優(yōu)解就變得極其困難，就像在一個(gè)巨大的迷宮中尋找散落的寶藏。

其次，這種結(jié)構(gòu)特性可能限制了記憶向量在實(shí)際應(yīng)用中的靈活性。由于無法通過簡(jiǎn)單的數(shù)學(xué)運(yùn)算在不同記憶狀態(tài)間平滑過渡，這些向量可能難以用于需要連續(xù)調(diào)整的任務(wù)。這就像一個(gè)只能存儲(chǔ)固定程序的計(jì)算器，雖然功能強(qiáng)大但缺乏靈活性。

不過，研究團(tuán)隊(duì)也指出，這種看似混亂的結(jié)構(gòu)可能蘊(yùn)含著我們尚未理解的深層規(guī)律。正如量子物理學(xué)中的許多現(xiàn)象在初期看起來雜亂無章，但最終揭示了深刻的物理原理，AI記憶向量的復(fù)雜結(jié)構(gòu)也可能隱藏著信息處理的新機(jī)制。

六、從實(shí)驗(yàn)室到現(xiàn)實(shí)：應(yīng)用前景與挑戰(zhàn)

這項(xiàng)研究的發(fā)現(xiàn)為AI技術(shù)的實(shí)際應(yīng)用開辟了令人興奮的新可能性。當(dāng)前的大語言模型在處理長(zhǎng)文本時(shí)面臨巨大的計(jì)算負(fù)擔(dān)，每增加一個(gè)輸入詞匯都會(huì)顯著增加處理時(shí)間和內(nèi)存需求。而記憶向量技術(shù)提供了一種全新的解決方案：將長(zhǎng)文本壓縮成少數(shù)幾個(gè)向量，大幅減少計(jì)算復(fù)雜度。

在實(shí)際應(yīng)用場(chǎng)景中，這種技術(shù)可能帶來革命性的改變。文檔處理系統(tǒng)可以將整本手冊(cè)壓縮成幾個(gè)記憶向量，然后在需要時(shí)快速檢索相關(guān)信息。對(duì)話系統(tǒng)可以將長(zhǎng)期對(duì)話歷史壓縮存儲(chǔ)，使AI助手擁有更好的"長(zhǎng)期記憶"。搜索引擎可以將網(wǎng)頁內(nèi)容壓縮成緊湊的向量表示，提高檢索效率和準(zhǔn)確性。

然而，從實(shí)驗(yàn)室成果到實(shí)際應(yīng)用還面臨著顯著挑戰(zhàn)。最主要的問題是計(jì)算成本。當(dāng)前的記憶向量訓(xùn)練需要為每個(gè)文本單獨(dú)進(jìn)行優(yōu)化，這個(gè)過程可能需要數(shù)千次迭代，耗時(shí)從幾秒到幾十分鐘不等。這就像為每個(gè)客戶定制專門的壓縮算法，雖然效果出色但成本高昂。

另一個(gè)挑戰(zhàn)是記憶向量的不穩(wěn)定性。由于同一文本可能對(duì)應(yīng)多個(gè)有效的記憶向量，系統(tǒng)的行為可能存在不可預(yù)測(cè)性。這在需要高度可靠性的應(yīng)用中可能成為問題。此外，記憶向量之間缺乏連續(xù)性也限制了它們?cè)谛枰獫u進(jìn)調(diào)整的任務(wù)中的應(yīng)用。

盡管存在這些挑戰(zhàn)，研究團(tuán)隊(duì)對(duì)技術(shù)的發(fā)展前景保持樂觀。他們認(rèn)為，隨著對(duì)記憶向量結(jié)構(gòu)的深入理解和優(yōu)化算法的改進(jìn)，這些問題都有望得到解決。特別是如果能夠發(fā)現(xiàn)記憶向量空間的內(nèi)在規(guī)律，就可能開發(fā)出更高效的訓(xùn)練方法和更穩(wěn)定的應(yīng)用方案。

七、重新審視AI的認(rèn)知邊界

這項(xiàng)研究最深遠(yuǎn)的意義可能在于它迫使我們重新思考AI系統(tǒng)的認(rèn)知能力和局限性。傳統(tǒng)觀點(diǎn)認(rèn)為，AI模型的輸入表示空間利用率已經(jīng)相當(dāng)高效，但這項(xiàng)研究揭示的巨大壓縮潛力表明，我們可能嚴(yán)重低估了這些系統(tǒng)的真實(shí)能力。

研究發(fā)現(xiàn)，即使是表現(xiàn)最好的模型，其記憶向量的容量利用率也不超過30%。這意味著在AI系統(tǒng)的"大腦"中，存在著大量未被充分利用的"存儲(chǔ)空間"。這個(gè)發(fā)現(xiàn)就像發(fā)現(xiàn)人類大腦的使用率遠(yuǎn)低于我們的想象，暗示著巨大的潛力等待開發(fā)。

這種認(rèn)知對(duì)AI系統(tǒng)設(shè)計(jì)具有重要啟示。當(dāng)前的模型訓(xùn)練主要關(guān)注如何讓AI更好地理解和生成語言，但很少考慮如何最大化利用其內(nèi)在的表示空間。如果能夠開發(fā)出更好的方法來利用這些"閑置"的認(rèn)知資源，可能會(huì)帶來AI能力的質(zhì)的飛躍。

更進(jìn)一步，這項(xiàng)研究揭示的記憶機(jī)制可能為我們理解AI的"思維"過程提供新線索。記憶向量能夠存儲(chǔ)大量信息的能力表明，AI系統(tǒng)可能具有某種類似人類"直覺"的信息處理機(jī)制，能夠?qū)?fù)雜的信息模式壓縮成緊湊的內(nèi)部表示。

研究團(tuán)隊(duì)特別強(qiáng)調(diào)了這一發(fā)現(xiàn)對(duì)未來AI架構(gòu)設(shè)計(jì)的指導(dǎo)意義。如果我們能夠設(shè)計(jì)出專門優(yōu)化記憶向量利用效率的新架構(gòu)，可能會(huì)開發(fā)出在相同參數(shù)規(guī)模下性能顯著提升的AI系統(tǒng)。這就像設(shè)計(jì)出內(nèi)存利用率更高的計(jì)算機(jī)，在硬件成本不變的情況下實(shí)現(xiàn)性能大幅提升。

說到底，這項(xiàng)由AIRI實(shí)驗(yàn)室領(lǐng)導(dǎo)的研究讓我們看到了AI系統(tǒng)內(nèi)在能力的冰山一角。1568個(gè)文本片段壓縮到單個(gè)向量中復(fù)原的能力，不僅是一個(gè)技術(shù)突破，更是對(duì)我們理解智能本質(zhì)的深刻啟發(fā)。這就像發(fā)現(xiàn)了一個(gè)看似普通的圖書館管理員竟然能夠?qū)⒄麄€(gè)圖書館的內(nèi)容完美地記在腦海中，隨時(shí)準(zhǔn)確無誤地為讀者提供任何信息。

這項(xiàng)研究的意義遠(yuǎn)不止于技術(shù)層面的突破。它揭示了當(dāng)前AI系統(tǒng)中隱藏的巨大潛力，為未來更高效、更智能的AI系統(tǒng)設(shè)計(jì)指明了方向。雖然從實(shí)驗(yàn)室發(fā)現(xiàn)到實(shí)際應(yīng)用還有很長(zhǎng)的路要走，但這個(gè)發(fā)現(xiàn)已經(jīng)為AI領(lǐng)域的發(fā)展開辟了全新的可能性。對(duì)于普通人來說，這意味著未來的AI助手可能會(huì)擁有更強(qiáng)大的"記憶力"和更高效的信息處理能力，讓人機(jī)交互變得更加自然和智能。

歸根結(jié)底，這項(xiàng)研究提醒我們，在AI技術(shù)快速發(fā)展的今天，我們對(duì)這些系統(tǒng)真實(shí)能力的理解可能還只是剛剛開始，許多令人驚訝的發(fā)現(xiàn)還在等待著我們?nèi)ヌ剿骱桶l(fā)掘。

Q&A

Q1：記憶向量技術(shù)是什么？它是如何工作的？

A：記憶向量技術(shù)是一種讓AI模型將大量文本信息壓縮存儲(chǔ)到單個(gè)數(shù)學(xué)向量中的方法。就像一個(gè)魔法背包，能把很多東西裝進(jìn)去，需要時(shí)再完整取出。具體工作原理是通過訓(xùn)練讓AI學(xué)會(huì)如何將文本序列編碼到向量中，然后從向量中完美復(fù)原原始文本，最強(qiáng)的模型能將1568個(gè)文本片段壓縮到一個(gè)向量里。

Q2：這種超強(qiáng)壓縮能力對(duì)普通人有什么實(shí)際意義？

A：這項(xiàng)技術(shù)將讓未來的AI系統(tǒng)更高效和智能。比如AI助手能擁有更好的長(zhǎng)期記憶，記住你們之前的完整對(duì)話；文檔處理軟件能瞬間搜索整本手冊(cè)的內(nèi)容；搜索引擎能更快速準(zhǔn)確地找到信息。簡(jiǎn)單說就是讓AI在處理復(fù)雜信息時(shí)速度更快、效果更好，同時(shí)降低計(jì)算成本。

Q3：為什么不同AI模型的記憶壓縮能力差異這么大？

A：主要因?yàn)槟Ｐ偷挠?xùn)練質(zhì)量和架構(gòu)設(shè)計(jì)不同。研究發(fā)現(xiàn)新一代模型如Llama系列比早期的OPT和Pythia系列壓縮能力強(qiáng)得多，即使參數(shù)規(guī)模相似。這就像同樣是大學(xué)生，不同學(xué)校培養(yǎng)出來的記憶和理解能力差異很大。而且所有模型的空間利用率都不高，最好的也只用了30%的潛在能力。