這項(xiàng)由劍橋大學(xué)的劉峰華、陳語(yǔ)隆，以及牛津大學(xué)的劉一軒和美國(guó)伊利諾伊大學(xué)厄巴納-香檳分校的鐘明等研究團(tuán)隊(duì)完成的突破性研究，發(fā)表于2025年8月30日的arXiv預(yù)印本平臺(tái)。有興趣深入了解的讀者可以通過(guò)arXiv:2509.00425訪問(wèn)完整論文。這項(xiàng)研究揭示了一個(gè)令人震驚的發(fā)現(xiàn)：盡管當(dāng)今最先進(jìn)的大型語(yǔ)言模型在各種任務(wù)上都能取得接近滿分的成績(jī)，但當(dāng)面對(duì)一門(mén)全新的語(yǔ)言時(shí)，它們的表現(xiàn)卻令人大跌眼鏡。

要理解這項(xiàng)研究的重要性，我們需要先從一個(gè)生活中的例子說(shuō)起。當(dāng)一個(gè)成年人決定學(xué)習(xí)法語(yǔ)時(shí)，他們通常會(huì)買(mǎi)一本語(yǔ)法書(shū)和一本詞典，然后開(kāi)始系統(tǒng)地學(xué)習(xí)語(yǔ)法規(guī)則和單詞。通過(guò)這種方式，許多人都能在幾個(gè)月內(nèi)掌握基本的法語(yǔ)交流能力。這種學(xué)習(xí)方式被稱(chēng)為"顯性語(yǔ)法學(xué)習(xí)"，也就是通過(guò)明確的規(guī)則和解釋來(lái)掌握語(yǔ)言。

研究團(tuán)隊(duì)想要驗(yàn)證的核心問(wèn)題是：當(dāng)我們給人工智能提供同樣的語(yǔ)法書(shū)和詞典時(shí)，它們能否像人類(lèi)一樣學(xué)會(huì)一門(mén)全新的語(yǔ)言？為了回答這個(gè)問(wèn)題，他們做了一件前所未有的事情——創(chuàng)造了一門(mén)全新的人工語(yǔ)言，名叫"Camlang"。

一、創(chuàng)造一門(mén)全新語(yǔ)言的奇妙實(shí)驗(yàn)

Camlang這門(mén)語(yǔ)言的誕生過(guò)程就像精心調(diào)制一道復(fù)雜的菜肴。研究團(tuán)隊(duì)首先從世界各地的真實(shí)語(yǔ)言中挑選了不同的語(yǔ)言特征，就像廚師從不同的食材中選取精華一樣。他們從土耳其語(yǔ)系中借鑒了元音和諧的特點(diǎn)，從凱爾特語(yǔ)系中吸取了輔音變化的規(guī)律，從羅曼語(yǔ)系中采用了活躍的左邊緣結(jié)構(gòu)。這些特征雖然都在真實(shí)語(yǔ)言中存在，但從未以這種特定的組合形式出現(xiàn)過(guò)。

這樣做的巧妙之處在于，Camlang既保持了自然語(yǔ)言的合理性，又確保了它的全新性。就像一道融合菜，使用的都是常見(jiàn)的食材和烹飪技法，但搭配方式是全新的，創(chuàng)造出了前所未有的味道。研究團(tuán)隊(duì)花費(fèi)了大量時(shí)間確保這門(mén)語(yǔ)言在語(yǔ)言學(xué)上是合理的，同時(shí)又足夠復(fù)雜，能夠真正測(cè)試人工智能的語(yǔ)言學(xué)習(xí)能力。

Camlang具有許多有趣的特征。它有著復(fù)雜的形態(tài)句法系統(tǒng)，這意味著一個(gè)詞根可以通過(guò)添加不同的前綴和后綴來(lái)表達(dá)豐富的語(yǔ)法意義。就像中文里的"吃"可以變成"吃過(guò)"、"吃著"、"吃完"一樣，但比這復(fù)雜得多。Camlang還有著嚴(yán)格的語(yǔ)音變化規(guī)則，當(dāng)不同的詞綴組合時(shí)，發(fā)音會(huì)發(fā)生變化，這為學(xué)習(xí)者增加了額外的挑戰(zhàn)。

為了讓這門(mén)語(yǔ)言能夠被學(xué)習(xí)和使用，研究團(tuán)隊(duì)制作了兩個(gè)核心工具：一本詳細(xì)的語(yǔ)法書(shū)和一本英語(yǔ)-Camlang雙語(yǔ)詞典。語(yǔ)法書(shū)就像烹飪教程一樣，詳細(xì)解釋了如何組合不同的語(yǔ)言成分來(lái)表達(dá)特定的意思。詞典則像食材清單，提供了所有必要的詞匯和它們的英語(yǔ)對(duì)應(yīng)詞。

二、人類(lèi)學(xué)習(xí)者的成功證明

在正式測(cè)試人工智能之前，研究團(tuán)隊(duì)需要確保Camlang確實(shí)可以被人類(lèi)學(xué)習(xí)。他們邀請(qǐng)了幾位具有語(yǔ)言學(xué)背景的學(xué)生參與實(shí)驗(yàn)，讓他們僅憑語(yǔ)法書(shū)和詞典來(lái)學(xué)習(xí)這門(mén)新語(yǔ)言。

實(shí)驗(yàn)的過(guò)程就像學(xué)習(xí)一門(mén)外語(yǔ)的加速版。參與者需要將英語(yǔ)句子翻譯成Camlang，從簡(jiǎn)單的陳述句開(kāi)始，逐步過(guò)渡到復(fù)雜的對(duì)話。整個(gè)過(guò)程分為三輪，每一輪都會(huì)根據(jù)參與者的表現(xiàn)對(duì)語(yǔ)法書(shū)和詞典進(jìn)行調(diào)整和完善。

結(jié)果令人鼓舞。人類(lèi)學(xué)習(xí)者不僅能夠掌握Camlang的基本結(jié)構(gòu)，還能在需要時(shí)靈活運(yùn)用語(yǔ)法規(guī)則。他們的翻譯一致性隨著輪次的增加而提高，這表明語(yǔ)法書(shū)的描述越來(lái)越清晰，語(yǔ)言系統(tǒng)也越來(lái)越完善。最終，人類(lèi)參與者在理解和使用Camlang方面達(dá)到了令人滿意的水平。

這個(gè)驗(yàn)證過(guò)程的重要性不言而喻。如果連人類(lèi)都無(wú)法學(xué)會(huì)Camlang，那么用它來(lái)測(cè)試人工智能就失去了意義。人類(lèi)的成功學(xué)習(xí)證明了Camlang是一門(mén)合理的語(yǔ)言，為后續(xù)的人工智能測(cè)試奠定了堅(jiān)實(shí)基礎(chǔ)。

三、令人震驚的人工智能表現(xiàn)落差

當(dāng)研究團(tuán)隊(duì)將同樣的任務(wù)交給人工智能時(shí)，結(jié)果令所有人大吃一驚。他們測(cè)試了目前最先進(jìn)的幾個(gè)大型語(yǔ)言模型，包括GPT-4o、GPT-5、GPT-o3以及DeepSeek-R1等。這些模型在英語(yǔ)版本的常識(shí)問(wèn)答任務(wù)上表現(xiàn)出色，準(zhǔn)確率高達(dá)85%到98%，幾乎接近完美。

然而，當(dāng)同樣的問(wèn)題被翻譯成Camlang后，這些模型的表現(xiàn)急劇下降。即使是最優(yōu)秀的GPT-5，準(zhǔn)確率也只有47%左右，而其他模型的表現(xiàn)更是慘不忍睹，有些甚至接近隨機(jī)猜測(cè)的水平。相比之下，人類(lèi)參與者在同樣的Camlang任務(wù)上達(dá)到了87%的準(zhǔn)確率，幾乎與他們?cè)谟⒄Z(yǔ)任務(wù)上的表現(xiàn)相當(dāng)。

這種巨大的差距揭示了一個(gè)深刻的問(wèn)題：人工智能模型雖然在已知語(yǔ)言上表現(xiàn)優(yōu)異，但在面對(duì)真正陌生的語(yǔ)言結(jié)構(gòu)時(shí)，它們并不能像人類(lèi)那樣運(yùn)用語(yǔ)法規(guī)則進(jìn)行推理。相反，它們更多地依賴于表面的詞匯匹配和模式識(shí)別。

為了更深入地理解這種差異，研究團(tuán)隊(duì)還進(jìn)行了詳細(xì)的錯(cuò)誤分析。他們發(fā)現(xiàn)，人工智能模型經(jīng)常無(wú)法正確解析Camlang句子的語(yǔ)法結(jié)構(gòu)，也無(wú)法準(zhǔn)確理解選項(xiàng)的含義。即使在一些看似簡(jiǎn)單的任務(wù)上，模型也會(huì)因?yàn)闊o(wú)法處理復(fù)雜的詞法變化而出錯(cuò)。

四、深入剖析人工智能的學(xué)習(xí)局限

通過(guò)對(duì)人工智能模型輸出的詳細(xì)分析，研究團(tuán)隊(duì)發(fā)現(xiàn)了一些有趣的模式。不同模型表現(xiàn)出了不同類(lèi)型的錯(cuò)誤和局限性。

以GPT-4o為例，這個(gè)通用型模型在Camlang任務(wù)上幾乎完全失敗。它的分析過(guò)程顯示，模型無(wú)法識(shí)別任何有意義的語(yǔ)法標(biāo)記，也無(wú)法進(jìn)行有效的詞匯映射。面對(duì)"nosna mü?s ńer. meni myvá ghot?"這樣的Camlang句子，GPT-4o只能給出諸如"可能是名詞或動(dòng)詞"這樣模糊的猜測(cè)，完全沒(méi)有展現(xiàn)出任何語(yǔ)法分析能力。

相比之下，專(zhuān)門(mén)針對(duì)推理優(yōu)化的模型如GPT-5表現(xiàn)稍好一些。GPT-5能夠識(shí)別一些基本的語(yǔ)法標(biāo)記，比如主題標(biāo)記"=nA"和疑問(wèn)詞"meni"，但它仍然無(wú)法完整地解析句子結(jié)構(gòu)。更重要的是，即使GPT-5能夠部分理解句子含義，它在選項(xiàng)分析方面仍然存在重大缺陷。

DeepSeek-R1的表現(xiàn)則介于兩者之間。它在某些方面顯示出了一定的語(yǔ)法意識(shí)，能夠正確識(shí)別一些詞匯項(xiàng)，但在整體句法分析方面仍然力不從心。這種不完整的理解導(dǎo)致了它在最終答案選擇上的頻繁錯(cuò)誤。

研究團(tuán)隊(duì)還發(fā)現(xiàn)了一個(gè)有趣的現(xiàn)象：當(dāng)給模型提供不同的資源訪問(wèn)方式時(shí)，它們的表現(xiàn)也會(huì)發(fā)生變化。理論上，能夠直接查詢?cè)~典和語(yǔ)法書(shū)的工具模式應(yīng)該表現(xiàn)更好，但實(shí)際情況卻相反。許多模型在上下文模式下（將所有資源直接放在輸入中）表現(xiàn)更佳。這表明目前的人工智能系統(tǒng)在處理外部工具時(shí)還存在技術(shù)障礙。

五、人類(lèi)與人工智能的根本性差異

這項(xiàng)研究最深刻的發(fā)現(xiàn)在于揭示了人類(lèi)和人工智能在語(yǔ)言學(xué)習(xí)方式上的根本性差異。人類(lèi)能夠通過(guò)元語(yǔ)言推理來(lái)學(xué)習(xí)新語(yǔ)言，也就是說(shuō)，他們能夠理解和運(yùn)用關(guān)于語(yǔ)言本身的規(guī)則。當(dāng)人類(lèi)學(xué)習(xí)者看到"nos=nA mü?s n=ńer-?"這樣的表達(dá)時(shí)，他們能夠系統(tǒng)地分解各個(gè)部分：主題標(biāo)記、動(dòng)詞詞根、賓語(yǔ)標(biāo)記和主語(yǔ)一致性標(biāo)記，然后根據(jù)語(yǔ)法書(shū)中的規(guī)則重新構(gòu)建句子的含義。

人工智能模型則采用了完全不同的策略。它們更多地依賴統(tǒng)計(jì)模式匹配，試圖在新語(yǔ)言和已知語(yǔ)言之間尋找表面相似性。這種方法在處理與訓(xùn)練數(shù)據(jù)相似的任務(wù)時(shí)非常有效，但在面對(duì)真正陌生的語(yǔ)言結(jié)構(gòu)時(shí)就顯得力不從心。

這種差異在具體例子中表現(xiàn)得尤為明顯。當(dāng)面對(duì)Camlang中的復(fù)雜詞法變化時(shí)，人類(lèi)學(xué)習(xí)者會(huì)系統(tǒng)地應(yīng)用音變規(guī)則，而人工智能模型往往只能依靠詞匯表中的直接匹配。當(dāng)遇到詞典中沒(méi)有直接列出的變化形式時(shí)，模型就會(huì)陷入困境。

研究還發(fā)現(xiàn)，人工智能模型經(jīng)常表現(xiàn)出"淺層詞匯對(duì)齊"的傾向，也就是說(shuō)，它們會(huì)嘗試通過(guò)識(shí)別熟悉的詞匯片段來(lái)猜測(cè)意思，而不是進(jìn)行系統(tǒng)的語(yǔ)法分析。這種策略在某些情況下可能碰巧得到正確答案，但它并不代表真正的語(yǔ)言理解。

六、技術(shù)細(xì)節(jié)與深層啟示

從技術(shù)角度來(lái)看，這項(xiàng)研究采用了極其嚴(yán)謹(jǐn)?shù)膶?shí)驗(yàn)設(shè)計(jì)。Camlang的創(chuàng)造過(guò)程經(jīng)歷了三輪迭代優(yōu)化，每一輪都基于人類(lèi)學(xué)習(xí)者的反饋來(lái)完善語(yǔ)法規(guī)則和詞匯系統(tǒng)。最終版本的Camlang包含了134個(gè)語(yǔ)言學(xué)特征，在世界語(yǔ)言圖譜中超越了97.5%的已知語(yǔ)言，確保了足夠的復(fù)雜性來(lái)測(cè)試學(xué)習(xí)能力。

詞匯系統(tǒng)的構(gòu)建也很有特色。研究團(tuán)隊(duì)使用了五種不同的詞匯形成機(jī)制：原生詞根生成、派生詞形成、復(fù)合詞構(gòu)造、不透明借詞和透明借詞。這種多樣化的詞匯來(lái)源模擬了真實(shí)語(yǔ)言的演化過(guò)程，為學(xué)習(xí)者提供了更加自然的語(yǔ)言環(huán)境。

在評(píng)估方法上，研究不僅關(guān)注了最終答案的正確性，還對(duì)模型的推理過(guò)程進(jìn)行了詳細(xì)分析。他們?cè)O(shè)計(jì)了三個(gè)層次的評(píng)估標(biāo)準(zhǔn)：嚴(yán)格準(zhǔn)確性（要求所有方面都完全正確）、中等準(zhǔn)確性（允許語(yǔ)義理解中的小缺失）和寬松準(zhǔn)確性（接受不完整但不錯(cuò)誤的分析）。這種多層次評(píng)估揭示了模型成功背后的真實(shí)機(jī)制。

結(jié)果顯示，即使在最寬松的標(biāo)準(zhǔn)下，人工智能模型的表現(xiàn)仍然遠(yuǎn)遜于人類(lèi)。這表明問(wèn)題不僅僅是完整性不足，而是根本性的理解缺陷。

七、未來(lái)發(fā)展的可能性與挑戰(zhàn)

這項(xiàng)研究開(kāi)啟了人工智能評(píng)估的新范式。傳統(tǒng)的基準(zhǔn)測(cè)試往往關(guān)注模型在已知任務(wù)上的表現(xiàn)，而Camlang這樣的構(gòu)造語(yǔ)言提供了一種評(píng)估真正學(xué)習(xí)能力的新方法。研究團(tuán)隊(duì)計(jì)劃將這個(gè)框架擴(kuò)展到更多類(lèi)型的任務(wù)，包括翻譯、語(yǔ)法判斷和數(shù)學(xué)推理等。

從實(shí)用角度來(lái)看，這項(xiàng)發(fā)現(xiàn)對(duì)人工智能的應(yīng)用有著重要影響。在需要處理小語(yǔ)種或?qū)I(yè)領(lǐng)域語(yǔ)言的場(chǎng)景中，當(dāng)前的人工智能模型可能無(wú)法提供可靠的服務(wù)。這提醒我們?cè)诓渴鹑斯ぶ悄芟到y(tǒng)時(shí)需要更加謹(jǐn)慎，特別是在語(yǔ)言多樣性較高的應(yīng)用場(chǎng)景中。

研究還揭示了改進(jìn)人工智能語(yǔ)言處理能力的潛在方向。未來(lái)的模型可能需要更好地整合符號(hào)推理能力，而不是僅僅依賴統(tǒng)計(jì)學(xué)習(xí)。這可能涉及到架構(gòu)上的根本性改進(jìn)，以及訓(xùn)練方法的創(chuàng)新。

另一個(gè)重要啟示是關(guān)于人工智能能力評(píng)估的。這項(xiàng)研究表明，在熟悉領(lǐng)域的高分表現(xiàn)并不能保證在新領(lǐng)域的成功遷移。這對(duì)人工智能安全性評(píng)估具有重要意義，提醒我們需要更加全面和嚴(yán)格的測(cè)試標(biāo)準(zhǔn)。

八、對(duì)日常生活的深遠(yuǎn)影響

雖然這項(xiàng)研究看似高度學(xué)術(shù)化，但它對(duì)我們?nèi)粘Ｉ钪信c人工智能的交互有著重要啟示?，F(xiàn)在許多人習(xí)慣于依賴人工智能進(jìn)行翻譯、寫(xiě)作和信息處理，這項(xiàng)研究提醒我們，人工智能在處理不熟悉的語(yǔ)言或概念時(shí)可能存在重大局限。

在教育領(lǐng)域，這一發(fā)現(xiàn)特別值得關(guān)注。雖然人工智能可以在許多標(biāo)準(zhǔn)化測(cè)試中取得高分，但在真正需要理解和應(yīng)用新概念的學(xué)習(xí)場(chǎng)景中，它們的表現(xiàn)可能不如預(yù)期。這強(qiáng)調(diào)了人類(lèi)教師在引導(dǎo)學(xué)生掌握學(xué)習(xí)方法和思維模式方面的不可替代價(jià)值。

對(duì)于依賴人工智能進(jìn)行跨語(yǔ)言交流的應(yīng)用，這項(xiàng)研究也提出了重要警示。當(dāng)處理資源較少的語(yǔ)言或?qū)I(yè)術(shù)語(yǔ)時(shí)，人工智能系統(tǒng)可能無(wú)法提供準(zhǔn)確可靠的服務(wù)。用戶需要對(duì)這種局限性保持清醒認(rèn)識(shí)。

從更廣闊的角度來(lái)看，這項(xiàng)研究揭示了人類(lèi)認(rèn)知能力的獨(dú)特性。人類(lèi)能夠通過(guò)抽象思維和規(guī)則應(yīng)用來(lái)快速學(xué)習(xí)新知識(shí)，這種能力在人工智能時(shí)代仍然具有重要價(jià)值。這或許能夠幫助我們重新思考人類(lèi)在智能化社會(huì)中的角色定位。

這項(xiàng)由劍橋大學(xué)等頂級(jí)學(xué)府研究團(tuán)隊(duì)完成的工作，不僅在學(xué)術(shù)層面具有突破意義，更為我們理解人工智能的真實(shí)能力和局限性提供了寶貴視角。說(shuō)到底，盡管人工智能在許多任務(wù)上表現(xiàn)優(yōu)異，但在真正需要理解和推理的深層學(xué)習(xí)方面，它們與人類(lèi)還有著根本性差距。這個(gè)發(fā)現(xiàn)提醒我們，在享受人工智能便利的同時(shí)，也要保持對(duì)其局限性的清醒認(rèn)識(shí)，既不過(guò)度依賴，也不輕易低估人類(lèi)智慧的獨(dú)特價(jià)值。歸根結(jié)底，這項(xiàng)研究為人工智能的發(fā)展指明了新的方向，同時(shí)也為我們重新審視人類(lèi)認(rèn)知能力的珍貴性提供了科學(xué)依據(jù)。

Q&A

Q1：Camlang是什么？為什么要?jiǎng)?chuàng)造這門(mén)新語(yǔ)言？

A：Camlang是劍橋大學(xué)研究團(tuán)隊(duì)專(zhuān)門(mén)創(chuàng)造的人工語(yǔ)言，用來(lái)測(cè)試人工智能是否能像人類(lèi)一樣學(xué)習(xí)全新語(yǔ)言。它結(jié)合了世界各地真實(shí)語(yǔ)言的特征，比如土耳其語(yǔ)的元音和諧、凱爾特語(yǔ)的輔音變化等，但這種組合方式前所未有。創(chuàng)造新語(yǔ)言是為了確保人工智能無(wú)法通過(guò)記憶訓(xùn)練數(shù)據(jù)來(lái)"作弊"，只能依靠真正的語(yǔ)法理解能力。

Q2：人工智能在Camlang測(cè)試中表現(xiàn)有多差？

A：表現(xiàn)差距非常懸殊。最先進(jìn)的人工智能模型如GPT-5在英語(yǔ)任務(wù)上能達(dá)到95%以上的準(zhǔn)確率，但在相同的Camlang任務(wù)上只有47%的準(zhǔn)確率。而人類(lèi)參與者僅憑語(yǔ)法書(shū)和詞典就能達(dá)到87%的準(zhǔn)確率。這說(shuō)明人工智能雖然在熟悉語(yǔ)言上表現(xiàn)出色，但面對(duì)真正陌生的語(yǔ)言結(jié)構(gòu)時(shí)，遠(yuǎn)不如人類(lèi)的學(xué)習(xí)和推理能力。

Q3：這項(xiàng)研究對(duì)普通人使用人工智能有什么啟示？

A：這項(xiàng)研究提醒我們，人工智能在處理不熟悉的語(yǔ)言、概念或領(lǐng)域時(shí)可能存在重大局限。在日常使用中，當(dāng)涉及小語(yǔ)種翻譯、專(zhuān)業(yè)術(shù)語(yǔ)理解或需要真正推理的任務(wù)時(shí)，不應(yīng)過(guò)度依賴人工智能的結(jié)果。同時(shí)，這也突顯了人類(lèi)在學(xué)習(xí)新知識(shí)、理解復(fù)雜概念方面的獨(dú)特優(yōu)勢(shì)，在人工智能時(shí)代這種能力仍然具有不可替代的價(jià)值。