當(dāng)我們提到人工智能的"記憶"時(shí)，大多數(shù)人可能會(huì)想到那些看起來重要的詞匯——名詞、動(dòng)詞、形容詞。但是，由俄羅斯人工智能研究院（AIRI）聯(lián)合俄羅斯知名高校斯科爾科沃理工學(xué)院、莫斯科國立大學(xué)等機(jī)構(gòu)的研究團(tuán)隊(duì)，在2025年2月發(fā)表的最新研究卻給我們帶來了一個(gè)令人意外的發(fā)現(xiàn)：那些我們平時(shí)不太在意的標(biāo)點(diǎn)符號(hào)、冠詞和停用詞，竟然是大語言模型記憶系統(tǒng)中最重要的"秘密武器"。這項(xiàng)研究由Anton Razzhigaev領(lǐng)導(dǎo)，發(fā)表在預(yù)印本服務(wù)器arXiv上，論文編號(hào)為2502.15007v1，為我們打開了理解AI內(nèi)部工作機(jī)制的全新窗口。

研究團(tuán)隊(duì)開發(fā)了一套名為"LLM-Microscope"的開源工具包，這就像是給AI裝上了一臺(tái)高倍顯微鏡，讓我們能夠看清楚這些智能系統(tǒng)內(nèi)部究竟發(fā)生了什么。通過這個(gè)工具，研究人員發(fā)現(xiàn)了一個(gè)顛覆性的事實(shí)：當(dāng)我們刪除文本中的逗號(hào)、句號(hào)、冠詞（如"the"、"a"、"an"）時(shí)，即便是最強(qiáng)大的AI模型在回答問題時(shí)也會(huì)出現(xiàn)明顯的性能下降。更令人驚訝的是，即使讓另一個(gè)更強(qiáng)的AI（GPT-4）來仔細(xì)篩選，只刪除那些看起來"無關(guān)緊要"的標(biāo)點(diǎn)符號(hào)，AI模型的表現(xiàn)仍然會(huì)受到影響。

這就好比我們發(fā)現(xiàn)，一個(gè)看似普通的圖書館管理員實(shí)際上掌握著整個(gè)圖書館的核心運(yùn)作秘密。在人類的理解中，"貓坐在墊子上"這句話里，"貓"和"墊子"顯然是最重要的信息載體。但在AI的世界里，那個(gè)看似微不足道的介詞"在"和定冠詞"the"，卻可能承載著更多的上下文記憶信息。

一、AI的"記憶倉庫"原來長(zhǎng)這樣

要理解這項(xiàng)研究的重要性，我們首先需要了解大語言模型是如何"記住"信息的。設(shè)想一下，如果把AI的思考過程比作一條流水線，每一層就像是流水線上的一個(gè)工作站。在每個(gè)工作站，工人們（也就是AI的計(jì)算單元）會(huì)對(duì)傳遞過來的信息進(jìn)行加工處理。

研究團(tuán)隊(duì)發(fā)現(xiàn)，在這條"流水線"上，信息的傳遞并不像我們想象的那樣復(fù)雜。實(shí)際上，從一個(gè)工作站到下一個(gè)工作站的信息轉(zhuǎn)換，很多時(shí)候可以用非常簡(jiǎn)單的線性變換來描述。這就像是工人們使用的是標(biāo)準(zhǔn)化的操作手冊(cè)，而不是每次都要重新發(fā)明處理方法。

更有趣的是，研究人員開發(fā)了一種測(cè)量每個(gè)詞匯"記憶容量"的方法。他們訓(xùn)練了一個(gè)特殊的系統(tǒng)，讓它嘗試從單個(gè)詞匯的內(nèi)部表示中重建出這個(gè)詞匯之前的所有文本內(nèi)容。結(jié)果令人震驚：那些在語法上看似次要的詞匯——比如"的"、"在"、"和"，以及各種標(biāo)點(diǎn)符號(hào)——竟然能夠幫助系統(tǒng)更準(zhǔn)確地重建出前文內(nèi)容。

這個(gè)發(fā)現(xiàn)相當(dāng)于告訴我們，在AI的"記憶倉庫"里，那些看起來不起眼的"小倉管"實(shí)際上掌握著整個(gè)倉庫的貨物分布圖。當(dāng)我們需要找到特定信息時(shí)，這些"小倉管"能夠提供最精確的指引。

二、當(dāng)AI失去了它的"記憶助手"會(huì)發(fā)生什么

為了驗(yàn)證這些"不起眼"詞匯的重要性，研究團(tuán)隊(duì)設(shè)計(jì)了一系列實(shí)驗(yàn)，就像是故意拿走圖書館管理員的索引卡片，看看讀者們還能不能找到想要的書。

他們選擇了兩個(gè)具有代表性的測(cè)試：MMLU測(cè)試和BABILong-4k測(cè)試。MMLU就像是一場(chǎng)涵蓋各個(gè)學(xué)科的綜合性考試，需要AI展示它在數(shù)學(xué)、歷史、科學(xué)等領(lǐng)域的知識(shí)儲(chǔ)備。而BABILong-4k則更像是一場(chǎng)"大海撈針"的游戲，需要AI在長(zhǎng)達(dá)4000個(gè)詞匯的文章中找到關(guān)鍵信息來回答問題。

實(shí)驗(yàn)結(jié)果令人印象深刻。研究團(tuán)隊(duì)嘗試了幾種不同的"刪除策略"：有時(shí)候刪除所有的停用詞（比如"的"、"在"、"和"等），有時(shí)候只刪除標(biāo)點(diǎn)符號(hào)，有時(shí)候只刪除冠詞，還有時(shí)候讓更聰明的GPT-4來判斷哪些詞匯可以安全刪除。

無論采用哪種策略，AI模型的表現(xiàn)都出現(xiàn)了明顯下降。在MMLU測(cè)試中，即使是最溫和的刪除策略（只刪除冠詞），也會(huì)讓AI的準(zhǔn)確率下降2-4個(gè)百分點(diǎn)。在更具挑戰(zhàn)性的BABILong-4k測(cè)試中，這種影響更加明顯，有些情況下準(zhǔn)確率下降超過6個(gè)百分點(diǎn)。

這就好比我們發(fā)現(xiàn)，即使是最有經(jīng)驗(yàn)的廚師，一旦失去了鹽和胡椒這些"配角調(diào)料"，做出來的菜也會(huì)失去原有的風(fēng)味。那些看似微不足道的元素，實(shí)際上是整個(gè)"味覺系統(tǒng)"不可缺少的組成部分。

三、AI大腦中的"線性密碼"

研究中另一個(gè)引人注目的發(fā)現(xiàn)是，那些承載更多上下文信息的詞匯，在AI的不同層之間傳遞時(shí)表現(xiàn)出更強(qiáng)的"線性特征"。這聽起來很抽象，但我們可以用一個(gè)簡(jiǎn)單的比喻來理解。

設(shè)想AI的每一層就像是一臺(tái)特殊的"翻譯機(jī)器"，它接收上一層傳來的信息，然后將其轉(zhuǎn)換成下一層能夠理解的形式。研究發(fā)現(xiàn)，對(duì)于那些攜帶大量上下文信息的詞匯（主要是標(biāo)點(diǎn)符號(hào)和功能詞），這種"翻譯"過程非常直接和線性，就像是使用一套固定的轉(zhuǎn)換公式。

相比之下，那些承載具體語義的詞匯（如名詞和形容詞）在層與層之間的轉(zhuǎn)換就顯得更加復(fù)雜和非線性。這就好比處理重要文件時(shí)使用標(biāo)準(zhǔn)化流程，而處理復(fù)雜案件時(shí)需要更多的個(gè)性化判斷。

研究團(tuán)隊(duì)在多個(gè)不同的AI模型上都觀察到了這種現(xiàn)象，包括不同規(guī)模的OPT模型、Llama模型、Phi模型等。這種一致性表明，這可能是大語言模型的一個(gè)普遍特征，而不是某個(gè)特定模型的偶然現(xiàn)象。

更令人驚訝的是，研究人員發(fā)現(xiàn)"記憶容量"和"線性程度"之間存在強(qiáng)烈的正相關(guān)關(guān)系。也就是說，越是那些能夠幫助重建上下文的詞匯，它們?cè)贏I內(nèi)部的處理過程就越是呈現(xiàn)線性特征。這種相關(guān)性在不同的模型中都得到了驗(yàn)證，相關(guān)系數(shù)普遍在0.15到0.56之間，這在統(tǒng)計(jì)學(xué)上是非常顯著的。

四、用"透視鏡"看AI如何一步步形成答案

研究團(tuán)隊(duì)還開發(fā)了一種被稱為"邏輯透鏡"（Logit Lens）的可視化技術(shù)，讓我們能夠觀察AI在處理信息時(shí)每一層的"思考過程"。這就像是給AI的大腦裝上了一臺(tái)實(shí)時(shí)掃描儀，讓我們能夠看到它是如何一步步形成最終答案的。

通過這個(gè)工具，研究人員觀察到了一個(gè)有趣的現(xiàn)象：當(dāng)AI處理非英語文本時(shí)，它的中間層往往會(huì)先將信息"翻譯"成英語的表示形式，然后再在最后幾層轉(zhuǎn)換回目標(biāo)語言。這個(gè)發(fā)現(xiàn)揭示了多語言AI模型的一個(gè)重要工作機(jī)制。

舉個(gè)具體例子，當(dāng)給AI輸入德語序列"eins zwei drei vier fünf sechs sieben"（意思是"一二三四五六七"）時(shí)，透過"邏輯透鏡"可以看到，AI在中間層會(huì)顯示出對(duì)應(yīng)英語單詞的傾向，然后在最后幾層才確定輸出德語。這就像是一個(gè)精通多國語言的翻譯官，會(huì)先在腦海中用自己最熟悉的語言理解內(nèi)容，然后再轉(zhuǎn)換成目標(biāo)語言表達(dá)出來。

這種可視化技術(shù)不僅幫助我們理解AI的工作機(jī)制，也為改進(jìn)AI系統(tǒng)提供了重要線索。通過觀察哪些層對(duì)最終預(yù)測(cè)貢獻(xiàn)最大，我們可以更好地優(yōu)化模型結(jié)構(gòu)和訓(xùn)練策略。

五、AI記憶系統(tǒng)的"維度密碼"

除了觀察信息在不同層之間的傳遞，研究團(tuán)隊(duì)還深入探索了AI內(nèi)部表示的"維度特征"。這聽起來很技術(shù)化，但我們可以用一個(gè)形象的比喻來理解。

設(shè)想每個(gè)詞匯在AI內(nèi)部都被轉(zhuǎn)換成一個(gè)多維空間中的點(diǎn)，就像是在一個(gè)巨大的立體坐標(biāo)系中標(biāo)記位置。研究人員使用一種特殊的數(shù)學(xué)方法來計(jì)算這些點(diǎn)實(shí)際上占用了多少"真實(shí)維度"。這就像是測(cè)量一團(tuán)看似復(fù)雜的毛線球?qū)嶋H上可以展開成多大的平面。

結(jié)果顯示，不同類型的詞匯在這個(gè)多維空間中表現(xiàn)出不同的"維度密度"。那些攜帶豐富上下文信息的功能詞和標(biāo)點(diǎn)符號(hào)，往往在相對(duì)較低的維度空間中就能得到很好的表示。而那些語義豐富的名詞和動(dòng)詞，則需要更高維度的空間來完整描述。

這個(gè)發(fā)現(xiàn)有著重要的實(shí)際意義。它告訴我們，AI在處理不同類型信息時(shí)采用了不同的"存儲(chǔ)策略"。對(duì)于那些主要起到連接和組織作用的詞匯，AI使用了更加緊湊和高效的表示方法。而對(duì)于那些承載具體語義的詞匯，AI則保留了更多的表示空間，以容納它們豐富的含義變化。

六、開源工具包：人人都能窺探AI內(nèi)心

認(rèn)識(shí)到這些發(fā)現(xiàn)的重要性，研究團(tuán)隊(duì)將他們的全部分析工具打包成了一個(gè)開源工具包，命名為"LLM-Microscope"。這就像是把專業(yè)的顯微鏡技術(shù)民主化，讓任何對(duì)AI內(nèi)部機(jī)制感興趣的人都能進(jìn)行深入探索。

這個(gè)工具包提供了多種分析功能。用戶可以測(cè)量任何文本中每個(gè)詞匯的"非線性程度"，觀察它們?cè)贏I不同層之間的變換特征。同時(shí)，工具還能評(píng)估每個(gè)詞匯的"上下文記憶容量"，顯示它們對(duì)于重建前文信息的貢獻(xiàn)程度。

更貼心的是，研究團(tuán)隊(duì)還開發(fā)了一個(gè)基于網(wǎng)頁的演示系統(tǒng)，用戶只需要輸入任何文本，就能實(shí)時(shí)看到AI處理這段文本時(shí)的內(nèi)部狀態(tài)變化。系統(tǒng)會(huì)生成各種可視化圖表，包括熱力圖顯示每個(gè)詞匯在不同層的非線性程度，折線圖展示平均線性度隨層數(shù)的變化，以及每個(gè)詞匯對(duì)最終預(yù)測(cè)的貢獻(xiàn)程度等。

這種開放性不僅促進(jìn)了學(xué)術(shù)研究的進(jìn)步，也讓普通用戶有機(jī)會(huì)親自體驗(yàn)AI的內(nèi)部工作過程。任何人都可以通過這個(gè)工具來驗(yàn)證研究團(tuán)隊(duì)的發(fā)現(xiàn)，或者探索自己感興趣的文本在AI內(nèi)部是如何被處理的。

七、這項(xiàng)發(fā)現(xiàn)為何如此重要

這項(xiàng)研究的意義遠(yuǎn)遠(yuǎn)超出了純粹的學(xué)術(shù)價(jià)值。它為我們重新理解語言和AI的關(guān)系提供了全新視角。

首先，這項(xiàng)發(fā)現(xiàn)挑戰(zhàn)了我們對(duì)語言重要性的傳統(tǒng)認(rèn)知。在人類的理解中，名詞、動(dòng)詞、形容詞等實(shí)詞承載著主要的信息內(nèi)容，而介詞、冠詞、標(biāo)點(diǎn)符號(hào)等只是輔助性的"語法工具"。但AI的工作方式顯然與人類不同，它更加依賴這些"語法工具"來維持對(duì)整個(gè)語言結(jié)構(gòu)的理解。

其次，這項(xiàng)研究為AI系統(tǒng)的優(yōu)化提供了重要指導(dǎo)。既然我們知道了某些類型的詞匯在AI的記憶系統(tǒng)中扮演著關(guān)鍵角色，就可以在訓(xùn)練和使用AI時(shí)特別關(guān)注這些元素的處理。這可能會(huì)導(dǎo)致更加高效和準(zhǔn)確的AI系統(tǒng)。

此外，這項(xiàng)發(fā)現(xiàn)也為AI的安全性和可解釋性研究開辟了新方向。通過理解AI如何使用這些"記憶助手"，我們可以更好地預(yù)測(cè)和控制AI的行為，避免潛在的錯(cuò)誤和偏見。

研究結(jié)果還揭示了一個(gè)有趣的現(xiàn)象：AI模型在處理長(zhǎng)文本時(shí)的策略與人類存在根本性差異。人類傾向于關(guān)注關(guān)鍵詞和核心概念，而AI則更依賴文本的整體結(jié)構(gòu)信息。這種差異可能解釋了為什么有些看起來簡(jiǎn)單的任務(wù)對(duì)AI來說卻很困難，而有些對(duì)人類很復(fù)雜的任務(wù)AI卻能輕松完成。

八、研究的局限性與未來展望

誠然，這項(xiàng)研究也存在一些局限性。研究團(tuán)隊(duì)坦承，他們使用的分析方法可能受到具體技術(shù)實(shí)現(xiàn)的影響。比如，在測(cè)量詞匯"記憶容量"時(shí)，他們使用了額外的適配器網(wǎng)絡(luò)，這些網(wǎng)絡(luò)的架構(gòu)和訓(xùn)練方式可能會(huì)影響最終結(jié)果的準(zhǔn)確性。

同樣，將預(yù)訓(xùn)練的語言模型頭部直接應(yīng)用到中間層表示上的做法，可能無法完全準(zhǔn)確地反映這些中間層的真實(shí)功能。這就像是用現(xiàn)代的顯微鏡去觀察古代的標(biāo)本，觀察工具本身可能會(huì)引入一些偏差。

研究結(jié)果的普適性也需要進(jìn)一步驗(yàn)證。雖然研究團(tuán)隊(duì)在多個(gè)不同的模型上都觀察到了類似現(xiàn)象，但這些模型大多基于相似的架構(gòu)原理。對(duì)于那些采用完全不同設(shè)計(jì)理念的AI系統(tǒng)，這些發(fā)現(xiàn)是否仍然適用還需要更多研究來確認(rèn)。

盡管存在這些局限性，這項(xiàng)研究為我們打開了理解AI內(nèi)部工作機(jī)制的一扇重要窗口。未來的研究可以在此基礎(chǔ)上繼續(xù)深入，探索更多類型的AI系統(tǒng)，開發(fā)更加精確的分析方法，并將這些發(fā)現(xiàn)應(yīng)用到實(shí)際的AI系統(tǒng)優(yōu)化中。

研究團(tuán)隊(duì)表示，他們將繼續(xù)完善LLM-Microscope工具包，增加更多的分析功能，支持更多類型的AI模型。同時(shí)，他們也呼吁更多研究者加入到這個(gè)領(lǐng)域，共同推動(dòng)AI可解釋性研究的發(fā)展。

說到底，這項(xiàng)由俄羅斯人工智能研究院主導(dǎo)的研究告訴我們，AI的工作方式遠(yuǎn)比我們想象的更加精妙和反直覺。那些我們平時(shí)不太重視的標(biāo)點(diǎn)符號(hào)和功能詞，在AI的記憶系統(tǒng)中扮演著不可替代的角色。這個(gè)發(fā)現(xiàn)不僅改變了我們對(duì)AI內(nèi)部機(jī)制的理解，也為未來開發(fā)更加智能和可靠的AI系統(tǒng)指明了方向。對(duì)于任何關(guān)心AI技術(shù)發(fā)展的人來說，這都是一個(gè)值得深入了解的重要進(jìn)展。有興趣的讀者可以通過論文編號(hào)arXiv:2502.15007v1查閱完整研究?jī)?nèi)容，或訪問研究團(tuán)隊(duì)開放的演示網(wǎng)站親自體驗(yàn)這些發(fā)現(xiàn)。

Q&A

Q1：LLM-Microscope工具包具體能做什么？普通人可以使用嗎？

A：LLM-Microscope是一個(gè)開源分析工具包，可以測(cè)量AI模型中每個(gè)詞匯的記憶容量和非線性程度，還能可視化AI的逐層思考過程。普通人可以通過研究團(tuán)隊(duì)提供的網(wǎng)頁演示系統(tǒng)免費(fèi)使用，只需輸入文本就能看到AI的內(nèi)部處理過程，網(wǎng)址可在GitHub上找到。

Q2：為什么刪除標(biāo)點(diǎn)符號(hào)和停用詞會(huì)影響AI性能？這些詞看起來并不重要啊？

A：雖然標(biāo)點(diǎn)符號(hào)和停用詞在人類理解中似乎不重要，但在AI的記憶系統(tǒng)中它們承擔(dān)著"信息組織者"的角色。就像圖書館的索引卡片一樣，這些詞匯幫助AI維持對(duì)整個(gè)文本結(jié)構(gòu)的理解。刪除它們就像拿走了AI的"記憶地圖"，導(dǎo)致AI無法準(zhǔn)確定位和利用上下文信息。

Q3：這項(xiàng)研究發(fā)現(xiàn)的AI記憶機(jī)制與人類大腦的記憶方式有什么不同？

A：人類傾向于重點(diǎn)記住關(guān)鍵詞匯和核心概念，而AI更依賴文本的整體結(jié)構(gòu)信息。人類會(huì)說"記住了貓坐在墊子上"，重點(diǎn)是"貓"和"墊子"，但AI可能更關(guān)注"坐在"這個(gè)介詞以及句子的語法結(jié)構(gòu)。這種差異解釋了為什么某些任務(wù)對(duì)人類和AI來說難度完全不同。