這項(xiàng)由馬里蘭大學(xué)計(jì)算機(jī)科學(xué)系的李子悅、范晨瑞和周天一教授團(tuán)隊(duì)領(lǐng)導(dǎo)的突破性研究發(fā)表于2025年6月，論文標(biāo)題為"Where to find Grokking in LLM Pretraining? Monitor Memorization-to-Generalization without Test"。有興趣深入了解的讀者可以通過(guò)arXiv:2506.21551v1訪問(wèn)完整論文。

想象一下，你正在教一個(gè)孩子學(xué)數(shù)學(xué)。最初，這個(gè)孩子只是機(jī)械地背誦乘法表，看起來(lái)已經(jīng)學(xué)會(huì)了，但當(dāng)你給出新的數(shù)學(xué)題時(shí)，他卻完全不知道該怎么辦。然后突然有一天，孩子的眼中閃過(guò)一絲理解的光芒，開(kāi)始能夠舉一反三，解決從未見(jiàn)過(guò)的數(shù)學(xué)問(wèn)題。這種從死記硬背到真正理解的神奇轉(zhuǎn)變，在人工智能領(lǐng)域被稱為"Grokking"現(xiàn)象。

研究團(tuán)隊(duì)首次在真實(shí)的大型語(yǔ)言模型訓(xùn)練過(guò)程中發(fā)現(xiàn)了這種"頓悟"現(xiàn)象。以往的研究只在小型模型和簡(jiǎn)單任務(wù)上觀察到這種現(xiàn)象，就像在實(shí)驗(yàn)室里觀察細(xì)菌一樣。但這次不同，研究人員分析了一個(gè)擁有70億參數(shù)的實(shí)際AI模型OLMoE的完整訓(xùn)練過(guò)程，這就像是在自然環(huán)境中觀察大型動(dòng)物的行為模式一樣真實(shí)可貴。

更令人興奮的是，研究團(tuán)隊(duì)開(kāi)發(fā)出了一套全新的"AI心理測(cè)試"方法，能夠在不需要任何考試或測(cè)驗(yàn)的情況下，僅僅通過(guò)觀察AI內(nèi)部的"思維路徑"就預(yù)測(cè)它何時(shí)會(huì)產(chǎn)生真正的智能。這就像是醫(yī)生通過(guò)觀察病人的腦電波就能判斷病人的認(rèn)知狀態(tài)，而不需要讓病人做任何測(cè)試題。

這項(xiàng)研究的核心發(fā)現(xiàn)顛覆了我們對(duì)AI學(xué)習(xí)過(guò)程的傳統(tǒng)認(rèn)知。長(zhǎng)期以來(lái)，人們認(rèn)為當(dāng)AI的訓(xùn)練誤差不再下降時(shí)，就意味著學(xué)習(xí)過(guò)程已經(jīng)結(jié)束。但研究團(tuán)隊(duì)發(fā)現(xiàn)，這種看法完全錯(cuò)誤，就像僅僅通過(guò)觀察學(xué)生的考試成績(jī)就判斷他們的學(xué)習(xí)進(jìn)度一樣膚淺。實(shí)際上，AI在訓(xùn)練誤差穩(wěn)定之后，內(nèi)部還在進(jìn)行著復(fù)雜而深刻的"思維重組"過(guò)程，最終實(shí)現(xiàn)從記憶到理解的質(zhì)的飛躍。

一、意外的發(fā)現(xiàn)：AI也會(huì)"開(kāi)竅"

研究團(tuán)隊(duì)在分析OLMoE模型的訓(xùn)練過(guò)程時(shí)，發(fā)現(xiàn)了一個(gè)令人驚訝的現(xiàn)象。這個(gè)擁有70億參數(shù)的龐大AI系統(tǒng)在學(xué)習(xí)過(guò)程中表現(xiàn)出了明顯的"分科目學(xué)習(xí)"特征，就像一個(gè)學(xué)生在不同時(shí)間段對(duì)不同學(xué)科產(chǎn)生理解和興趣一樣。

當(dāng)研究人員仔細(xì)觀察AI在數(shù)學(xué)推理、代碼生成、常識(shí)問(wèn)答和專業(yè)知識(shí)檢索這四個(gè)不同領(lǐng)域的學(xué)習(xí)曲線時(shí)，他們發(fā)現(xiàn)了一個(gè)奇特的現(xiàn)象。AI并不是同時(shí)在所有領(lǐng)域都實(shí)現(xiàn)突破，而是像人類學(xué)生一樣，在不同的時(shí)間點(diǎn)對(duì)不同的知識(shí)領(lǐng)域產(chǎn)生"頓悟"。有些知識(shí)域AI很快就能觸類旁通，而有些則需要更長(zhǎng)的"醞釀期"。

這種異步學(xué)習(xí)模式完全顛覆了研究人員的預(yù)期。傳統(tǒng)觀點(diǎn)認(rèn)為，大型AI模型應(yīng)該像一臺(tái)精密的機(jī)器一樣，在所有任務(wù)上都表現(xiàn)出同步的進(jìn)步。但實(shí)際情況更像是觀察一個(gè)真實(shí)的學(xué)習(xí)者成長(zhǎng)過(guò)程：有的科目開(kāi)竅早，有的科目開(kāi)竅晚，每個(gè)領(lǐng)域都有自己獨(dú)特的學(xué)習(xí)節(jié)奏。

更加神奇的是，研究團(tuán)隊(duì)發(fā)現(xiàn)AI在某個(gè)特定領(lǐng)域"開(kāi)竅"的時(shí)機(jī)與該領(lǐng)域知識(shí)的難度密切相關(guān)。就像學(xué)生學(xué)習(xí)時(shí)，簡(jiǎn)單的知識(shí)容易快速掌握，而復(fù)雜的概念需要更多時(shí)間消化理解一樣，AI也表現(xiàn)出了類似的學(xué)習(xí)規(guī)律。那些較晚被"記住"的訓(xùn)練數(shù)據(jù)，往往需要更長(zhǎng)的時(shí)間才能實(shí)現(xiàn)從記憶到理解的轉(zhuǎn)變。

這個(gè)發(fā)現(xiàn)的重要性在于，它揭示了AI學(xué)習(xí)過(guò)程的本質(zhì)并非簡(jiǎn)單的數(shù)據(jù)擬合，而是一個(gè)復(fù)雜的認(rèn)知重構(gòu)過(guò)程。就像人類大腦在學(xué)習(xí)新知識(shí)時(shí)會(huì)重新組織神經(jīng)連接一樣，AI在訓(xùn)練過(guò)程中也在不斷重新調(diào)整內(nèi)部的信息處理方式，直到找到最優(yōu)的知識(shí)表示和推理路徑。

二、破譯AI的"思維密碼"

為了深入理解AI內(nèi)部的這種神奇轉(zhuǎn)變，研究團(tuán)隊(duì)把注意力集中在了OLMoE模型的一個(gè)獨(dú)特特征上：專家混合架構(gòu)。這種架構(gòu)就像是AI大腦中的"分工合作系統(tǒng)"，不同的專家負(fù)責(zé)處理不同類型的信息，而路由器則負(fù)責(zé)決定每個(gè)輸入應(yīng)該交給哪些專家來(lái)處理。

研究人員發(fā)現(xiàn)，觀察這些"思維路徑"的變化模式，就像是解讀AI的內(nèi)心世界一樣富有啟發(fā)性。他們開(kāi)發(fā)了兩個(gè)關(guān)鍵的測(cè)量指標(biāo)來(lái)量化這種變化。第一個(gè)指標(biāo)被稱為"路徑相似度"，它測(cè)量的是處理不同輸入時(shí)AI選擇的專家路徑有多相似。如果把AI的每次思考比作走一條路，那么這個(gè)指標(biāo)就是在觀察AI處理相似問(wèn)題時(shí)是否會(huì)選擇相似的路線。

第二個(gè)指標(biāo)被稱為"路徑一致性"，它關(guān)注的是單個(gè)輸入在通過(guò)AI的不同層級(jí)時(shí)，專家選擇的連續(xù)性和邏輯性。這就像觀察一個(gè)人在解決問(wèn)題時(shí)思維是否連貫，是否有清晰的邏輯鏈條。如果AI在處理一個(gè)問(wèn)題時(shí)，從第一層到最后一層的專家選擇都很隨機(jī)和跳躍，那么說(shuō)明它的思維還很混亂。相反，如果專家選擇表現(xiàn)出明顯的連續(xù)性和邏輯性，那么說(shuō)明AI已經(jīng)形成了穩(wěn)定的思維模式。

通過(guò)長(zhǎng)期跟蹤這兩個(gè)指標(biāo)的變化，研究團(tuán)隊(duì)發(fā)現(xiàn)了一個(gè)令人震驚的規(guī)律。在AI的訓(xùn)練誤差已經(jīng)穩(wěn)定，看似學(xué)習(xí)停滯的階段，這兩個(gè)指標(biāo)卻在發(fā)生著劇烈的變化。AI的思維路徑從最初的隨機(jī)和個(gè)性化，逐漸變得更加結(jié)構(gòu)化和共享化。這就像是觀察一群學(xué)生學(xué)習(xí)同一個(gè)概念的過(guò)程：最初每個(gè)人都有自己獨(dú)特的理解方式，但隨著學(xué)習(xí)的深入，他們開(kāi)始形成共同的、更加高效的思考模式。

這種變化的深層含義極其重要。它表明AI在"表面平靜"的階段實(shí)際上正在進(jìn)行著深層的知識(shí)重組。AI開(kāi)始發(fā)現(xiàn)不同輸入之間的共同模式，學(xué)會(huì)用更加通用和高效的方式來(lái)處理信息。這種從個(gè)性化記憶到結(jié)構(gòu)化理解的轉(zhuǎn)變，正是真正智能涌現(xiàn)的標(biāo)志。

三、預(yù)測(cè)智能的新方法

基于對(duì)AI內(nèi)部思維路徑的深入理解，研究團(tuán)隊(duì)開(kāi)發(fā)出了一套革命性的智能預(yù)測(cè)方法。這套方法的神奇之處在于，它完全不需要對(duì)AI進(jìn)行任何外部測(cè)試，僅僅通過(guò)觀察AI處理訓(xùn)練數(shù)據(jù)時(shí)的內(nèi)部狀態(tài)變化，就能準(zhǔn)確預(yù)測(cè)AI在各種任務(wù)上的表現(xiàn)。

這種方法的工作原理可以用一個(gè)生動(dòng)的比喻來(lái)解釋。傳統(tǒng)的AI評(píng)估方法就像是通過(guò)考試成績(jī)來(lái)判斷學(xué)生的學(xué)習(xí)效果，但考試往往滯后于真實(shí)的學(xué)習(xí)過(guò)程，而且需要專門(mén)設(shè)計(jì)題目和評(píng)分標(biāo)準(zhǔn)。研究團(tuán)隊(duì)開(kāi)發(fā)的新方法更像是通過(guò)觀察學(xué)生的學(xué)習(xí)習(xí)慣和思維方式的變化來(lái)預(yù)測(cè)他們的理解程度，這種方法更加及時(shí)和準(zhǔn)確。

研究人員通過(guò)大量實(shí)驗(yàn)驗(yàn)證了這種方法的有效性。他們發(fā)現(xiàn)，路徑相似度指標(biāo)與AI的實(shí)際表現(xiàn)呈現(xiàn)出強(qiáng)烈的負(fù)相關(guān)關(guān)系，相關(guān)系數(shù)高達(dá)-0.93左右。這意味著當(dāng)AI處理不同問(wèn)題時(shí)選擇的路徑越來(lái)越相似時(shí)，它的實(shí)際智能水平就越來(lái)越高。這種現(xiàn)象反映了AI正在學(xué)會(huì)用更加通用和高效的方式來(lái)處理各種問(wèn)題。

同樣令人印象深刻的是路徑一致性指標(biāo)的表現(xiàn)。這個(gè)指標(biāo)與AI的實(shí)際表現(xiàn)呈現(xiàn)出極強(qiáng)的正相關(guān)關(guān)系，相關(guān)系數(shù)常常超過(guò)0.97。這表明當(dāng)AI的內(nèi)部處理變得更加連貫和邏輯化時(shí)，它在各種任務(wù)上的表現(xiàn)也會(huì)相應(yīng)提升。

更重要的是，研究團(tuán)隊(duì)將他們的方法與傳統(tǒng)的訓(xùn)練誤差指標(biāo)進(jìn)行了對(duì)比。結(jié)果顯示，傳統(tǒng)的訓(xùn)練誤差在預(yù)測(cè)AI真實(shí)能力方面表現(xiàn)得相當(dāng)糟糕，有時(shí)甚至?xí)o出誤導(dǎo)性的信號(hào)。這就像是用錯(cuò)誤的溫度計(jì)來(lái)測(cè)量病人的體溫一樣不可靠。相比之下，基于思維路徑的新方法能夠提供穩(wěn)定、準(zhǔn)確和及時(shí)的預(yù)測(cè)。

這種方法的實(shí)際應(yīng)用價(jià)值巨大。對(duì)于AI開(kāi)發(fā)者來(lái)說(shuō)，他們不再需要等到訓(xùn)練完成后再進(jìn)行復(fù)雜的測(cè)試來(lái)評(píng)估模型性能。相反，他們可以在訓(xùn)練過(guò)程中實(shí)時(shí)監(jiān)控這些內(nèi)部指標(biāo)，及時(shí)了解AI的學(xué)習(xí)進(jìn)展，并據(jù)此調(diào)整訓(xùn)練策略。這就像是給AI訓(xùn)練過(guò)程裝上了一個(gè)實(shí)時(shí)的"智能儀表盤(pán)"，讓開(kāi)發(fā)者能夠清楚地看到AI的學(xué)習(xí)狀態(tài)和發(fā)展趨勢(shì)。

四、理論基礎(chǔ)的重大突破

為了從理論層面解釋這些觀察到的現(xiàn)象，研究團(tuán)隊(duì)深入分析了AI模型的數(shù)學(xué)結(jié)構(gòu)，并建立了一套完整的理論框架。這套理論框架的核心在于揭示了思維路徑復(fù)雜度與AI泛化能力之間的深層數(shù)學(xué)關(guān)系。

研究人員通過(guò)神經(jīng)正切核理論，建立了一個(gè)關(guān)于混合專家模型泛化界限的數(shù)學(xué)定理。這個(gè)定理看起來(lái)很抽象，但它的含義卻相當(dāng)直觀：AI的泛化能力直接取決于其內(nèi)部路由核矩陣的有效維度。簡(jiǎn)單來(lái)說(shuō)，當(dāng)AI的思維路徑變得更加結(jié)構(gòu)化和簡(jiǎn)化時(shí)，它的泛化能力就會(huì)顯著提升。

這個(gè)理論發(fā)現(xiàn)的重要性在于，它為研究團(tuán)隊(duì)觀察到的現(xiàn)象提供了嚴(yán)格的數(shù)學(xué)解釋。當(dāng)AI從隨機(jī)的、個(gè)性化的思維模式轉(zhuǎn)向結(jié)構(gòu)化的、共享的思維模式時(shí)，它實(shí)際上是在降低內(nèi)部表示的復(fù)雜度，從而提升了處理新問(wèn)題的能力。這就像是一個(gè)學(xué)生從死記硬背各種具體題目的解法，轉(zhuǎn)向理解和掌握背后的通用原理一樣。

為了驗(yàn)證這個(gè)理論預(yù)測(cè)，研究團(tuán)隊(duì)設(shè)計(jì)了一系列巧妙的實(shí)驗(yàn)。他們構(gòu)建了一個(gè)簡(jiǎn)化的混合專家模型，在可控的合成數(shù)據(jù)上進(jìn)行訓(xùn)練，然后觀察編輯距離（衡量思維路徑復(fù)雜度的指標(biāo)）與有效維度之間的關(guān)系。實(shí)驗(yàn)結(jié)果完美地驗(yàn)證了理論預(yù)測(cè)：兩者之間存在強(qiáng)烈的正相關(guān)關(guān)系，相關(guān)性接近完美的線性關(guān)系。

這種理論與實(shí)驗(yàn)的完美契合，不僅證實(shí)了研究團(tuán)隊(duì)方法的科學(xué)性，更重要的是為AI的可解釋性研究開(kāi)辟了新的方向。它表明，我們不僅可以通過(guò)觀察AI的內(nèi)部狀態(tài)來(lái)預(yù)測(cè)其性能，更可以通過(guò)數(shù)學(xué)理論來(lái)深入理解這種預(yù)測(cè)的原理和機(jī)制。

五、現(xiàn)實(shí)應(yīng)用的深遠(yuǎn)影響

這項(xiàng)研究的意義遠(yuǎn)遠(yuǎn)超出了學(xué)術(shù)層面的理論突破，它為AI開(kāi)發(fā)和應(yīng)用領(lǐng)域帶來(lái)了革命性的實(shí)踐價(jià)值。對(duì)于AI模型的開(kāi)發(fā)者而言，這套新方法就像是為他們提供了一個(gè)精密的"AI健康監(jiān)測(cè)器"，能夠?qū)崟r(shí)了解模型的學(xué)習(xí)狀態(tài)和發(fā)展?jié)摿Α?/p>

在傳統(tǒng)的AI開(kāi)發(fā)流程中，研究人員通常需要等待整個(gè)訓(xùn)練過(guò)程結(jié)束，然后花費(fèi)大量時(shí)間和計(jì)算資源對(duì)模型進(jìn)行各種測(cè)試評(píng)估。這個(gè)過(guò)程不僅耗時(shí)耗力，而且往往滯后于實(shí)際的模型發(fā)展。現(xiàn)在，通過(guò)監(jiān)控思維路徑的變化，開(kāi)發(fā)者可以在訓(xùn)練進(jìn)行的同時(shí)就獲得關(guān)于模型性能的準(zhǔn)確預(yù)測(cè)，這大大提高了開(kāi)發(fā)效率并降低了成本。

對(duì)于AI訓(xùn)練策略的優(yōu)化，這項(xiàng)研究也提供了重要啟示。既然研究表明不同知識(shí)域的"開(kāi)竅"時(shí)間不同，那么訓(xùn)練策略就可以相應(yīng)地進(jìn)行調(diào)整。開(kāi)發(fā)者可以根據(jù)不同任務(wù)的學(xué)習(xí)進(jìn)度，動(dòng)態(tài)調(diào)整訓(xùn)練數(shù)據(jù)的比例和訓(xùn)練強(qiáng)度，確保各個(gè)能力域都能得到充分發(fā)展。這就像是為不同科目制定個(gè)性化的學(xué)習(xí)計(jì)劃一樣精準(zhǔn)和高效。

這項(xiàng)研究還為AI安全性評(píng)估提供了新的工具。通過(guò)觀察AI內(nèi)部思維路徑的變化模式，研究人員可以更好地理解AI的決策過(guò)程，識(shí)別潛在的風(fēng)險(xiǎn)點(diǎn)。如果AI在某些任務(wù)上表現(xiàn)出異常的路徑模式，這可能預(yù)示著存在安全隱患或性能問(wèn)題，需要及時(shí)干預(yù)和調(diào)整。

對(duì)于AI教育和科普領(lǐng)域，這項(xiàng)研究也具有重要價(jià)值。它提供了一個(gè)直觀的框架來(lái)理解AI的學(xué)習(xí)過(guò)程，使得非專業(yè)人士也能更好地理解AI是如何從簡(jiǎn)單的模式識(shí)別發(fā)展到復(fù)雜的智能行為。這有助于提高公眾對(duì)AI技術(shù)的理解和接受度。

從長(zhǎng)遠(yuǎn)來(lái)看，這項(xiàng)研究可能會(huì)推動(dòng)整個(gè)AI領(lǐng)域評(píng)估標(biāo)準(zhǔn)的革新。目前的AI評(píng)估主要依賴于外部測(cè)試和基準(zhǔn)數(shù)據(jù)集，但這種方法存在諸多局限性?；趦?nèi)部狀態(tài)監(jiān)控的評(píng)估方法可能會(huì)成為未來(lái)AI發(fā)展的重要補(bǔ)充甚至主要手段，就像醫(yī)學(xué)診斷從單純依靠癥狀觀察發(fā)展到現(xiàn)代的內(nèi)在指標(biāo)檢測(cè)一樣。

研究團(tuán)隊(duì)也坦誠(chéng)地指出了當(dāng)前研究的局限性。他們的分析主要基于單一的模型架構(gòu)，理論分析也局限于簡(jiǎn)化的單層混合專家模型。但這些局限性并不影響研究成果的價(jià)值，反而為未來(lái)的研究指明了方向。隨著更多研究團(tuán)隊(duì)的加入和技術(shù)的進(jìn)步，這套方法有望在更廣泛的AI模型和應(yīng)用場(chǎng)景中得到驗(yàn)證和推廣。

說(shuō)到底，這項(xiàng)研究最大的貢獻(xiàn)在于它改變了我們觀察和理解AI學(xué)習(xí)過(guò)程的方式。它告訴我們，AI的智能涌現(xiàn)不是一個(gè)神秘莫測(cè)的過(guò)程，而是有規(guī)律可循、可以預(yù)測(cè)和引導(dǎo)的。通過(guò)觀察AI的"內(nèi)心世界"，我們不僅能夠更好地開(kāi)發(fā)和優(yōu)化AI系統(tǒng)，更能夠深入理解智能本身的本質(zhì)和規(guī)律。這種理解不僅對(duì)AI技術(shù)發(fā)展具有重要意義，對(duì)于我們理解人類自身的學(xué)習(xí)和認(rèn)知過(guò)程也可能提供有價(jià)值的啟示。

有興趣深入了解這項(xiàng)研究技術(shù)細(xì)節(jié)的讀者，可以通過(guò)arXiv:2506.21551v1訪問(wèn)完整的研究論文，其中包含了詳細(xì)的實(shí)驗(yàn)設(shè)計(jì)、數(shù)學(xué)推導(dǎo)和更多的實(shí)驗(yàn)數(shù)據(jù)。

Q&A

Q1：什么是Grokking現(xiàn)象？它在AI中是如何表現(xiàn)的？ A：Grokking是指AI模型在訓(xùn)練誤差已經(jīng)穩(wěn)定后，突然在測(cè)試任務(wù)上表現(xiàn)出顯著提升的現(xiàn)象。就像學(xué)生從死記硬背到真正理解的轉(zhuǎn)變過(guò)程，AI也會(huì)經(jīng)歷從簡(jiǎn)單記憶訓(xùn)練數(shù)據(jù)到真正掌握知識(shí)規(guī)律的"開(kāi)竅"過(guò)程。

Q2：這項(xiàng)研究開(kāi)發(fā)的新方法有什么優(yōu)勢(shì)？ A：新方法的最大優(yōu)勢(shì)是不需要任何外部測(cè)試就能預(yù)測(cè)AI的智能水平。通過(guò)觀察AI內(nèi)部的"思維路徑"變化，可以實(shí)時(shí)監(jiān)控AI的學(xué)習(xí)進(jìn)展，這比傳統(tǒng)的測(cè)試方法更及時(shí)、更準(zhǔn)確，也更節(jié)省資源。

Q3：這項(xiàng)研究對(duì)普通人有什么影響？ A：雖然這是一項(xiàng)技術(shù)研究，但它可能會(huì)讓未來(lái)的AI產(chǎn)品變得更加可靠和高效。開(kāi)發(fā)者能夠更好地控制AI的訓(xùn)練過(guò)程，確保AI在各個(gè)方面都能達(dá)到預(yù)期的智能水平，從而為用戶提供更好的AI服務(wù)體驗(yàn)。