這項(xiàng)由麻省理工學(xué)院CSAIL實(shí)驗(yàn)室的研究團(tuán)隊(duì)完成的重要研究，于2024年發(fā)表在神經(jīng)信息處理系統(tǒng)大會(huì)（NeurIPS 2024）上。研究團(tuán)隊(duì)由Nathan Stringham、Riley Goodside、Leyre Sanchez、Alex Stein、Stephen Casper和Jacob Andreas等學(xué)者組成。這項(xiàng)研究首次從全新角度解析了大語(yǔ)言模型產(chǎn)生"幻覺(jué)"（虛假信息）的深層機(jī)制，有興趣深入了解的讀者可以通過(guò)論文原文獲取更多技術(shù)細(xì)節(jié)。

想象一下，你有一個(gè)非常聰明的朋友，平時(shí)回答問(wèn)題都很準(zhǔn)確，但有時(shí)候會(huì)突然編造一些聽(tīng)起來(lái)很有道理卻完全錯(cuò)誤的答案。這就是目前大語(yǔ)言模型面臨的一個(gè)令人困擾的問(wèn)題——"幻覺(jué)"現(xiàn)象。當(dāng)我們問(wèn)ChatGPT或其他AI助手一些問(wèn)題時(shí)，它們有時(shí)會(huì)非常自信地給出完全虛構(gòu)的信息，比如編造不存在的歷史事件、虛構(gòu)的科學(xué)研究，或者給出錯(cuò)誤的數(shù)學(xué)計(jì)算結(jié)果。

麻省理工學(xué)院的研究團(tuán)隊(duì)決定深入挖掘這個(gè)問(wèn)題的根本原因。過(guò)去，研究者們主要把"幻覺(jué)"歸咎于訓(xùn)練數(shù)據(jù)的質(zhì)量問(wèn)題或者模型規(guī)模不夠大。但這次的研究卻發(fā)現(xiàn)了一個(gè)更加根本的問(wèn)題：即使是在理想條件下，大語(yǔ)言模型的核心組件——注意力機(jī)制——本身就存在內(nèi)在的局限性，會(huì)導(dǎo)致模型產(chǎn)生錯(cuò)誤信息。

這個(gè)發(fā)現(xiàn)就像是發(fā)現(xiàn)了一臺(tái)看似完美的機(jī)器內(nèi)部有一個(gè)設(shè)計(jì)缺陷，無(wú)論你如何改進(jìn)材料或增大尺寸，這個(gè)缺陷都會(huì)持續(xù)存在。研究團(tuán)隊(duì)通過(guò)精密的理論分析和大量實(shí)驗(yàn)，證明了注意力機(jī)制在處理某些類(lèi)型的推理任務(wù)時(shí)會(huì)出現(xiàn)系統(tǒng)性錯(cuò)誤，這些錯(cuò)誤并非偶然，而是機(jī)制本身的固有特性造成的。

**一、像偵探一樣追蹤"幻覺(jué)"的真正源頭**

為了理解這項(xiàng)研究的重要性，我們需要先了解什么是注意力機(jī)制。把大語(yǔ)言模型想象成一個(gè)超級(jí)圖書(shū)管理員，當(dāng)你問(wèn)它一個(gè)問(wèn)題時(shí)，它需要從腦海中存儲(chǔ)的海量信息中找到相關(guān)內(nèi)容來(lái)回答你。注意力機(jī)制就像是這個(gè)管理員的"聚焦能力"——它決定了在回答問(wèn)題時(shí)應(yīng)該重點(diǎn)關(guān)注哪些信息，忽略哪些信息。

研究團(tuán)隊(duì)發(fā)現(xiàn)，這個(gè)看似完美的聚焦機(jī)制實(shí)際上存在一個(gè)根本性的盲點(diǎn)。當(dāng)面對(duì)需要多步推理的復(fù)雜問(wèn)題時(shí)，注意力機(jī)制可能會(huì)陷入一種"自相矛盾"的狀態(tài)。具體來(lái)說(shuō)，模型在處理信息的不同階段可能會(huì)關(guān)注不同的內(nèi)容，而這些不同的關(guān)注點(diǎn)之間可能存在沖突，最終導(dǎo)致錯(cuò)誤的結(jié)論。

舉個(gè)生活中的例子來(lái)說(shuō)明這種現(xiàn)象。假設(shè)你在做一道復(fù)雜的數(shù)學(xué)題，需要先算出A的值，再用A去計(jì)算B，最后用B得出最終答案。如果你在計(jì)算A時(shí)專(zhuān)注于某些條件，但在計(jì)算B時(shí)卻忘記了這些條件，轉(zhuǎn)而關(guān)注其他看似相關(guān)但實(shí)際沖突的信息，你就很可能得出錯(cuò)誤的答案。大語(yǔ)言模型的注意力機(jī)制也會(huì)遇到類(lèi)似的問(wèn)題。

研究團(tuán)隊(duì)通過(guò)數(shù)學(xué)理論證明了這種現(xiàn)象的必然性。他們發(fā)現(xiàn)，在處理需要多步邏輯推理的任務(wù)時(shí)，注意力機(jī)制無(wú)法同時(shí)保持對(duì)所有必要信息的正確關(guān)注，這就像是試圖同時(shí)看清遠(yuǎn)處和近處的物體，眼睛無(wú)法同時(shí)對(duì)兩個(gè)距離完美對(duì)焦一樣。

**二、精心設(shè)計(jì)的"陷阱"實(shí)驗(yàn)揭示問(wèn)題本質(zhì)**

為了驗(yàn)證理論發(fā)現(xiàn)，研究團(tuán)隊(duì)設(shè)計(jì)了一系列巧妙的實(shí)驗(yàn)。他們沒(méi)有使用現(xiàn)有的復(fù)雜數(shù)據(jù)集，而是創(chuàng)造了一些看似簡(jiǎn)單但實(shí)際上能夠精準(zhǔn)觸發(fā)注意力機(jī)制缺陷的測(cè)試任務(wù)。這就像是為了測(cè)試一臺(tái)機(jī)器的特定弱點(diǎn)而專(zhuān)門(mén)設(shè)計(jì)的壓力測(cè)試。

其中一個(gè)典型實(shí)驗(yàn)是關(guān)于邏輯推理的。研究團(tuán)隊(duì)給模型提供一系列邏輯規(guī)則和事實(shí)，然后要求模型根據(jù)這些信息得出結(jié)論。表面上看，這些任務(wù)并不復(fù)雜，人類(lèi)可以輕松解決。但是，研究團(tuán)隊(duì)精心設(shè)計(jì)了信息的呈現(xiàn)方式，使得模型的注意力機(jī)制必須在不同的推理步驟中保持對(duì)不同信息的關(guān)注，而這正是注意力機(jī)制的薄弱環(huán)節(jié)。

實(shí)驗(yàn)結(jié)果令人震驚。即使是表現(xiàn)最好的大語(yǔ)言模型，在這些特制任務(wù)上的錯(cuò)誤率也高得驚人。更重要的是，這些錯(cuò)誤表現(xiàn)出明顯的規(guī)律性，證明了它們確實(shí)源于注意力機(jī)制的系統(tǒng)性缺陷，而不是隨機(jī)錯(cuò)誤。

研究團(tuán)隊(duì)還進(jìn)行了一系列對(duì)照實(shí)驗(yàn)。他們修改了任務(wù)的表述方式，使得相同的邏輯問(wèn)題以不同的格式呈現(xiàn)。結(jié)果發(fā)現(xiàn)，當(dāng)信息以某種方式組織時(shí)，模型能夠正確回答，但當(dāng)以另一種方式組織相同信息時(shí)，模型就會(huì)產(chǎn)生錯(cuò)誤。這進(jìn)一步證明了問(wèn)題確實(shí)出在注意力機(jī)制如何處理和整合信息上，而不是模型缺乏相關(guān)知識(shí)。

**三、從微觀到宏觀：解剖注意力機(jī)制的運(yùn)作原理**

為了更深入地理解問(wèn)題的根源，研究團(tuán)隊(duì)還進(jìn)行了詳細(xì)的機(jī)制分析。他們使用了先進(jìn)的可視化技術(shù)，觀察模型在處理問(wèn)題時(shí)注意力權(quán)重的變化模式。這就像是給大腦做CT掃描，觀察思考過(guò)程中不同區(qū)域的活躍程度。

分析結(jié)果顯示，當(dāng)模型遇到需要多步推理的問(wèn)題時(shí)，其注意力權(quán)重會(huì)出現(xiàn)明顯的"搖擺"現(xiàn)象。在推理的早期階段，模型可能正確地關(guān)注了相關(guān)信息，但隨著推理過(guò)程的深入，注意力逐漸轉(zhuǎn)移到其他看似相關(guān)但實(shí)際上會(huì)干擾正確推理的信息上。

這種現(xiàn)象可以用一個(gè)生動(dòng)的比喻來(lái)理解。假設(shè)你在一個(gè)嘈雜的聚會(huì)上試圖聽(tīng)清一個(gè)朋友的話。開(kāi)始時(shí)，你能夠很好地過(guò)濾掉背景噪音，專(zhuān)注于朋友的聲音。但隨著談話的進(jìn)行，背景中其他有趣的對(duì)話片段開(kāi)始吸引你的注意力，你的大腦開(kāi)始在不同的聲音源之間跳躍，最終可能誤解朋友想要表達(dá)的完整意思。

研究團(tuán)隊(duì)發(fā)現(xiàn)，這種注意力的"分心"現(xiàn)象在大語(yǔ)言模型中是系統(tǒng)性的，而且隨著推理步驟的增加而加劇。這解釋了為什么模型在處理簡(jiǎn)單問(wèn)題時(shí)表現(xiàn)良好，但在面對(duì)需要多步推理的復(fù)雜問(wèn)題時(shí)錯(cuò)誤率顯著上升。

**四、理論與實(shí)踐的完美結(jié)合：數(shù)學(xué)證明遇見(jiàn)現(xiàn)實(shí)測(cè)試**

這項(xiàng)研究的一個(gè)突出特點(diǎn)是理論分析與實(shí)際測(cè)試的緊密結(jié)合。研究團(tuán)隊(duì)不僅通過(guò)數(shù)學(xué)理論證明了注意力機(jī)制存在固有局限性，還通過(guò)大量實(shí)驗(yàn)驗(yàn)證了這些理論預(yù)測(cè)。

從理論角度，研究團(tuán)隊(duì)使用了復(fù)雜的數(shù)學(xué)工具來(lái)分析注意力機(jī)制的計(jì)算能力邊界。他們證明了在某些特定的推理任務(wù)中，標(biāo)準(zhǔn)的注意力機(jī)制在數(shù)學(xué)上不可能產(chǎn)生正確的輸出分布。這就像是證明了一個(gè)工具在物理上無(wú)法完成某種特定操作，無(wú)論如何改進(jìn)工藝都無(wú)法克服這個(gè)根本限制。

在實(shí)踐層面，研究團(tuán)隊(duì)在多個(gè)不同規(guī)模和架構(gòu)的模型上重復(fù)了實(shí)驗(yàn)，包括GPT系列、Llama系列等主流模型。結(jié)果顯示，這種注意力機(jī)制的局限性是普遍存在的，不依賴于特定的模型架構(gòu)或訓(xùn)練方法。即使是最新、最大的模型也會(huì)在特定類(lèi)型的推理任務(wù)上表現(xiàn)出相同的系統(tǒng)性錯(cuò)誤模式。

研究團(tuán)隊(duì)還探索了一些可能的緩解策略。他們嘗試了不同的提示詞技巧、推理步驟分解方法，以及鏈?zhǔn)剿伎嫉燃夹g(shù)。雖然這些方法在某些情況下能夠改善模型表現(xiàn)，但都無(wú)法完全解決根本問(wèn)題。這進(jìn)一步證實(shí)了問(wèn)題確實(shí)源于注意力機(jī)制的內(nèi)在限制，而不是可以通過(guò)簡(jiǎn)單的工程優(yōu)化解決的表面問(wèn)題。

**五、對(duì)未來(lái)AI發(fā)展的深遠(yuǎn)影響**

這項(xiàng)研究的發(fā)現(xiàn)對(duì)整個(gè)人工智能領(lǐng)域具有重要意義。長(zhǎng)期以來(lái)，研究者們相信只要有足夠的數(shù)據(jù)和計(jì)算資源，基于Transformer架構(gòu)的大語(yǔ)言模型就能夠解決幾乎所有的語(yǔ)言理解和推理問(wèn)題。但這項(xiàng)研究表明，現(xiàn)有架構(gòu)存在根本性的理論限制，無(wú)法通過(guò)簡(jiǎn)單的規(guī)模擴(kuò)大來(lái)克服。

這個(gè)發(fā)現(xiàn)并不意味著大語(yǔ)言模型技術(shù)的終結(jié)，而是為未來(lái)的研究指明了新的方向。就像發(fā)現(xiàn)了傳統(tǒng)飛機(jī)設(shè)計(jì)在超音速飛行中的局限性推動(dòng)了新型飛機(jī)設(shè)計(jì)的發(fā)展一樣，理解注意力機(jī)制的限制為開(kāi)發(fā)新的架構(gòu)和方法提供了重要指導(dǎo)。

研究團(tuán)隊(duì)提出了幾個(gè)可能的研究方向。一個(gè)是開(kāi)發(fā)新的注意力機(jī)制變體，能夠更好地處理多步推理任務(wù)。另一個(gè)是探索混合架構(gòu)，結(jié)合不同類(lèi)型的計(jì)算模塊來(lái)克服單一注意力機(jī)制的局限性。還有一個(gè)方向是開(kāi)發(fā)專(zhuān)門(mén)的推理增強(qiáng)技術(shù)，通過(guò)外部工具或模塊來(lái)輔助模型進(jìn)行復(fù)雜推理。

對(duì)于普通用戶來(lái)說(shuō)，這項(xiàng)研究提醒我們?cè)谑褂肁I工具時(shí)需要保持適當(dāng)?shù)闹?jǐn)慎，特別是在需要復(fù)雜推理的任務(wù)中。雖然大語(yǔ)言模型在很多方面表現(xiàn)出色，但我們現(xiàn)在知道它們?cè)谀承╊?lèi)型的推理任務(wù)中存在系統(tǒng)性的弱點(diǎn)。理解這些限制有助于我們更好地利用AI工具，避免在關(guān)鍵決策中過(guò)度依賴可能出錯(cuò)的AI建議。

說(shuō)到底，這項(xiàng)研究為我們揭示了一個(gè)重要事實(shí)：即使是最先進(jìn)的AI系統(tǒng)也有其固有的局限性。這些限制不是缺陷，而是當(dāng)前技術(shù)發(fā)展階段的自然特征。正如早期汽車(chē)無(wú)法在所有地形上行駛一樣，當(dāng)前的大語(yǔ)言模型也無(wú)法完美處理所有類(lèi)型的推理任務(wù)。但正是通過(guò)深入理解這些局限性，我們才能推動(dòng)技術(shù)向前發(fā)展，最終開(kāi)發(fā)出更加強(qiáng)大和可靠的AI系統(tǒng)。

這項(xiàng)研究也提醒我們，在AI快速發(fā)展的時(shí)代，基礎(chǔ)理論研究的重要性不容忽視。只有深入理解技術(shù)的工作原理和固有限制，我們才能真正掌控這些強(qiáng)大工具的發(fā)展方向，確保它們?yōu)槿祟?lèi)社會(huì)帶來(lái)最大的益處。隨著研究的深入，我們期待看到更多創(chuàng)新的解決方案出現(xiàn)，推動(dòng)人工智能技術(shù)邁向新的高度。

Q&A

Q1：什么是大語(yǔ)言模型的"幻覺(jué)"現(xiàn)象？

A："幻覺(jué)"是指大語(yǔ)言模型有時(shí)會(huì)生成聽(tīng)起來(lái)合理但實(shí)際上完全錯(cuò)誤的信息，比如編造不存在的歷史事件、虛構(gòu)科學(xué)研究或給出錯(cuò)誤的計(jì)算結(jié)果。就像一個(gè)很聰明的朋友偶爾會(huì)非常自信地說(shuō)出完全錯(cuò)誤的話。

Q2：注意力機(jī)制的問(wèn)題具體是什么？

A：注意力機(jī)制在處理需要多步推理的任務(wù)時(shí)會(huì)出現(xiàn)"自相矛盾"現(xiàn)象。模型在推理的不同階段可能關(guān)注沖突的信息，就像做數(shù)學(xué)題時(shí)前后使用了矛盾的條件，最終導(dǎo)致錯(cuò)誤結(jié)論。

Q3：這個(gè)發(fā)現(xiàn)對(duì)普通人使用AI有什么影響？

A：這提醒我們?cè)谑褂肅hatGPT等AI工具時(shí)要保持謹(jǐn)慎，特別是涉及復(fù)雜推理的任務(wù)。雖然AI在很多方面很強(qiáng)大，但在需要多步邏輯推理的問(wèn)題上可能出現(xiàn)系統(tǒng)性錯(cuò)誤，重要決策時(shí)不應(yīng)完全依賴AI建議。