這項由英國曼徹斯特大學(xué)、達勒姆大學(xué)和謝菲爾德大學(xué)的研究團隊共同完成的研究發(fā)表于2025年1月，研究論文題為《Drivel-ology: Challenging LLMs with Interpreting Nonsense with Depth》。有興趣深入了解的讀者可以通過論文的GitHub項目頁面(https://github.com/ExtraOrdinaryLab/drivelology)和數(shù)據(jù)集頁面(https://huggingface.co/datasets/extraordinarylab/drivel-hub)獲取更多詳細信息。

在當今這個人工智能語言模型似乎無所不能的時代，從寫作業(yè)到編程序，從翻譯到創(chuàng)作，這些AI助手表現(xiàn)得越來越像真正理解人類語言的智能體。然而，曼徹斯特大學(xué)的研究團隊卻發(fā)現(xiàn)了這些模型的一個有趣弱點：它們竟然無法理解那些看起來有深度但實際上是"高深廢話"的內(nèi)容。

研究團隊創(chuàng)造了一個新詞"Drivelology"來描述這種特殊的語言現(xiàn)象。如果把語言比作食物，那么大部分文字就像是營養(yǎng)豐富的正餐或者毫無營養(yǎng)的垃圾食品，而Drivelology則像是那種看起來精美、聞起來香甜，但實際上卻有著復(fù)雜層次口感的分子料理——表面上似乎是胡言亂語，但仔細品味卻能發(fā)現(xiàn)其中蘊含的深意、諷刺或批判。

舉個具體的例子來說明什么是Drivelology。當有人說"我深深敬佩切·格瓦拉的反資本主義精神，所以我買了他所有的周邊商品"時，這句話在語法上完全正確，但其中蘊含著一種深刻的矛盾和諷刺：一邊崇拜反資本主義的革命家，一邊又通過購買商品來表達崇拜，這本身就是在參與資本主義消費行為。這種矛盾創(chuàng)造了一種諷刺效果，批判了那種表演性的激進主義。

研究團隊發(fā)現(xiàn)，雖然目前最先進的AI語言模型在許多任務(wù)上表現(xiàn)出色，但在理解這類具有深層含義的"高深廢話"時卻頻頻出錯。它們往往會將這些內(nèi)容誤判為簡單的無意義文字，或者完全錯過其中的諷刺和批判意味。

**一、什么是"高深的廢話"現(xiàn)象**

研究團隊將這種語言現(xiàn)象稱為"Drivelology"，這個詞由"drivel"（廢話、胡言亂語）和"ology"（學(xué)科、研究）組成，直譯過來就是"廢話學(xué)"。但這種"廢話"與我們平常理解的無意義內(nèi)容完全不同。

如果把語言表達比作繪畫作品，那么普通的清晰表達就像是寫實主義繪畫，一眼就能看懂畫的是什么；純粹的胡言亂語則像是隨意涂抹的顏料，毫無意義可言。而Drivelology則更像是超現(xiàn)實主義藝術(shù)——表面上看起來荒誕不經(jīng)，但實際上包含著藝術(shù)家想要表達的深層思考和批判。

這種特殊的語言現(xiàn)象有幾個鮮明的特點。首先，它在語法結(jié)構(gòu)上是完全正確的，讀起來流暢自然，不會讓人感到語言本身有問題。其次，它往往包含著多層含義，需要讀者結(jié)合文化背景、社會常識或特定情境才能理解其真正意圖。第三，它經(jīng)常使用諷刺、悖論或隱喻等修辭手法來傳達隱含的批判或觀察。

比如這樣一句話："我擅長一切事情，除了我不擅長的那些。"從邏輯上看，這句話是完全正確的廢話——任何人都擅長自己擅長的事情，不擅長自己不擅長的事情。但這句話的真正意圖可能是在諷刺那些自吹自擂的人，或者在幽默地承認人類能力的局限性。

研究團隊還發(fā)現(xiàn)，Drivelology與傳統(tǒng)的幽默、諷刺或譏諷有著本質(zhì)區(qū)別。傳統(tǒng)的諷刺通常有明確的諷刺對象和相對直接的表達方式，而Drivelology則更加復(fù)雜和模糊。它可能同時運用多種修辭手法，需要讀者進行更深層的推理和理解。

**二、研究團隊如何系統(tǒng)化研究這個現(xiàn)象**

面對這樣一個復(fù)雜的語言現(xiàn)象，研究團隊決定用科學(xué)的方法來系統(tǒng)性地研究它。他們就像是語言學(xué)界的生物學(xué)家，需要先對這個新發(fā)現(xiàn)的"物種"進行分類和描述，然后研究它的特征和行為模式。

研究團隊首先建立了一套分類系統(tǒng)，將Drivelology分為五個主要類型。這就像是給動物分門別類一樣，每種類型都有其獨特的"生存策略"和表達方式。

第一種類型叫做"誤導(dǎo)術(shù)"。這種手法就像是一個善于講故事的人，先把聽眾引導(dǎo)到一個看似合理的方向，然后在最后關(guān)頭來個180度大轉(zhuǎn)彎，揭示出完全不同的含義。比如"不要輕易放棄你的夢想！繼續(xù)睡覺吧！"這句話開頭聽起來像是勵志雞湯，讓人以為要說堅持理想之類的話，但最后的轉(zhuǎn)折卻將"夢想"理解成了字面意思的"做夢"，產(chǎn)生了幽默效果。

第二種類型是"悖論式"。這類表達包含看似矛盾但實際上蘊含深意的陳述。就像是哲學(xué)家們喜歡提出的那些讓人深思的問題一樣。"我不會忘記這個恩情，直到我忘記它為止"這句話在邏輯上是循環(huán)的，但實際上以一種幽默的方式表達了記憶的必然性和人類記憶的特點。

第三種類型叫"轉(zhuǎn)換誘餌"。這種技巧依賴于某個詞匯或短語的雙重含義，通過文化背景的轉(zhuǎn)換來產(chǎn)生新的意義。比如一個英國人對美國人說"你們有槍支問題"，美國人回答"是的，至少這是個現(xiàn)代化的問題"。這里"槍支問題"被巧妙地從對美國槍支暴力的批評轉(zhuǎn)換成了對英國刀具犯罪的暗諷，體現(xiàn)了文化間的相互攻擊。

第四種類型是"顛倒術(shù)"。這種方法將人們熟悉的表達方式或社會常識顛倒過來，創(chuàng)造出新的諷刺效果。"除了長得好看、身材好、有錢之外，我就沒有別的優(yōu)點了"這句話顛倒了通常的謙虛抱怨結(jié)構(gòu)，變成了一種傲慢的炫耀，形成強烈的諷刺效果。

第五種類型是"文字游戲"。這類表達利用語言的多義性、諧音或雙關(guān)語來創(chuàng)造幽默或深意。比如"你有葡萄干嗎？沒有？那來個約會怎么樣？"這里利用了英文中"date"既可以指代"約會"也可以指代"棗子"的雙重含義。

**三、構(gòu)建史上最大的"高深廢話"數(shù)據(jù)庫**

為了科學(xué)地研究這個現(xiàn)象，研究團隊決定建立一個大規(guī)模的數(shù)據(jù)庫。這就像是建造一個專門收藏各種"高深廢話"的博物館，每一個展品都經(jīng)過精心挑選和專業(yè)鑒定。

研究團隊從全球多個社交媒體平臺收集了超過1200個Drivelology樣本，涵蓋英語、中文、西班牙語、法語、日語和韓語六種語言。他們選擇這些平臺是有原因的：Instagram、TikTok、Facebook等平臺的主要用戶群體年齡在25到34歲之間，而這個年齡段恰好是Drivelology內(nèi)容的主要創(chuàng)作者和傳播者。

收集過程就像是在茫茫網(wǎng)海中淘金。研究團隊需要從海量的網(wǎng)絡(luò)內(nèi)容中識別出真正具有Drivelology特征的內(nèi)容，這需要對語言、文化和社會背景有深刻理解。他們不僅收集了各種Drivelology樣本，還收集了相當數(shù)量的非Drivelology內(nèi)容作為對照組，包括正常的有意義句子和純粹的無意義廢話。

更重要的是，研究團隊為每個Drivelology樣本都編寫了詳細的解釋說明。這就像是為每件藝術(shù)品配上專業(yè)的解說詞，解釋其中蘊含的深層含義、使用的修辭手法以及可能的文化背景。這個過程需要極高的專業(yè)水準，因為理解Drivelology本身就需要豐富的語言和文化知識。

為了確保數(shù)據(jù)質(zhì)量，研究團隊建立了嚴格的審核機制。他們聘請了七名多語言專家作為標注員，這些專家都擁有碩士及以上學(xué)位，并且精通多種語言。每個樣本都需要經(jīng)過多輪討論和審議，確保標注的準確性。最后，還有一位具有語言學(xué)和心理學(xué)背景的元審核員對所有標注進行最終檢查。

這個數(shù)據(jù)庫的建設(shè)過程花費了大量時間和精力，但它為科學(xué)研究Drivelology現(xiàn)象提供了重要基礎(chǔ)。研究團隊將這個數(shù)據(jù)庫命名為"DRIVELHUB"，并公開發(fā)布供其他研究者使用。

**四、設(shè)計四項嚴格測試挑戰(zhàn)AI的理解能力**

有了豐富的數(shù)據(jù)庫之后，研究團隊設(shè)計了四項不同的測試來全面評估AI語言模型對Drivelology的理解能力。這就像是為AI學(xué)生設(shè)計了一套從簡單到復(fù)雜的考試，每項測試都針對理解能力的不同方面。

第一項測試是"識別測試"，相當于讓AI做選擇題。研究者給AI一段文字，讓它判斷這段文字是Drivelology還是普通內(nèi)容。這個測試看似簡單，但實際上需要AI能夠識別出文字表面的合理性背后隱藏的深層含義或諷刺意味。

第二項測試是"分類測試"，這相當于讓AI做更復(fù)雜的多選題。如果AI判斷某段文字是Drivelology，它還需要進一步分析這段文字屬于前面提到的哪種類型——是誤導(dǎo)術(shù)、悖論式、轉(zhuǎn)換誘餌、顛倒術(shù)還是文字游戲，或者可能同時屬于多個類型。這項測試要求AI不僅要能識別Drivelology，還要能理解其具體的修辭策略。

第三項測試是"解釋測試"，這是一項開放式的寫作任務(wù)。研究者給AI一段Drivelology文字，要求它寫出詳細的解釋，說明這段文字的隱含意義、使用的修辭手法以及可能的諷刺或批判目標。這項測試最能反映AI是否真正理解了Drivelology的深層含義。

第四項測試是"選擇測試"，包括簡單版和困難版兩種形式。在這項測試中，研究者為每段Drivelology文字提供五個可能的解釋選項，AI需要選擇最準確的那個。簡單版提供一個正確答案和四個錯誤選項，而困難版則增加了"以上都不對"的選項，這大大增加了測試的難度，因為AI不能簡單地通過排除法來選擇答案，而必須真正理解內(nèi)容的含義。

這四項測試從不同角度全面評估了AI的理解能力。識別測試考察基礎(chǔ)判斷能力，分類測試考察分析能力，解釋測試考察深度理解能力，選擇測試則考察精確理解能力。通過這套綜合測試，研究團隊能夠全面了解AI在處理Drivelology時的表現(xiàn)和局限。

**五、令人意外的測試結(jié)果**

當研究團隊對多個主流AI語言模型進行測試時，結(jié)果令人大跌眼鏡。這些在其他任務(wù)上表現(xiàn)出色的AI模型在面對Drivelology時卻顯得"智商堪憂"。

在最基礎(chǔ)的識別測試中，表現(xiàn)最好的DeepSeek-v3模型的準確率也只有81.67%，這意味著每五個Drivelology樣本中就有一個會被誤判。其他模型的表現(xiàn)更加糟糕，有些模型的準確率甚至低于60%?？紤]到這些模型在其他語言理解任務(wù)上通常能達到90%以上的準確率，這個結(jié)果確實令人意外。

更令人震驚的是分類測試的結(jié)果。即使是表現(xiàn)最好的DeepSeek-v3，在這項測試中的F1分數(shù)也只有55.32%，這基本上接近隨機猜測的水平。這說明AI模型不僅難以準確識別Drivelology，更無法理解其具體的修辭策略和表達方式。

在解釋測試中，研究團隊使用了兩種評估方法。第一種是BERTScore，主要評估生成文字與標準答案的詞匯重疊程度。在這項評估中，大部分模型都獲得了85%以上的高分，看起來表現(xiàn)不錯。但當研究團隊使用GPT-4作為評判員來評估解釋質(zhì)量時，結(jié)果卻大相徑庭。在1到5分的評分標準中，只有DeepSeek-v3（3.59分）和Claude-3.5-Haiku（3.39分）勉強超過了3分的及格線，其他模型的分數(shù)都在3分以下，說明它們生成的解釋質(zhì)量很差，無法準確捕捉Drivelology的深層含義。

最戲劇性的結(jié)果出現(xiàn)在選擇測試中。在簡單版測試中，大部分模型還能達到77%到86%的準確率，但在困難版測試中，幾乎所有模型的表現(xiàn)都崩盤了。大部分模型的準確率驟降到1%到15%之間，只有少數(shù)模型能達到26%左右。這個巨大的性能落差說明，當面對需要精確判斷和深度推理的任務(wù)時，AI模型的理解能力嚴重不足。

研究團隊還發(fā)現(xiàn)了一個有趣的現(xiàn)象：使用不同語言的提示詞會影響AI的表現(xiàn)。當使用英語提示詞時，AI在需要精確詞匯匹配的任務(wù)上表現(xiàn)更好；而使用中文提示詞時，AI在理解語義內(nèi)容方面表現(xiàn)更佳。這可能反映了不同語言在AI模型內(nèi)部表示中的差異。

另一個重要發(fā)現(xiàn)是模型規(guī)模的影響。研究團隊對同一系列不同大小的模型進行了比較，發(fā)現(xiàn)在簡單任務(wù)上，模型大小的影響相對較??；但在復(fù)雜推理任務(wù)上，大模型的優(yōu)勢非常明顯。比如在困難版選擇測試中，小模型的準確率只有2-6%，而大模型能達到45-47%，這說明復(fù)雜的語言理解能力確實需要更大的模型容量。

**六、深入分析AI的推理過程**

為了更深入地理解AI模型的局限性，研究團隊詳細分析了模型的推理過程。這就像是解剖一個復(fù)雜的機械裝置，看看它的內(nèi)部運作機制到底哪里出了問題。

研究團隊發(fā)現(xiàn)，不同的AI模型在處理同一個Drivelology樣本時會采用截然不同的推理策略。比如面對"孟婆：忘記自己名字的人，請跟我來"這個例子，DeepSeek-v3將其歸類為"轉(zhuǎn)換誘餌"類型，重點強調(diào)了孟婆這個中國神話人物的文化背景知識的重要性。模型認為讀者需要了解孟婆在中國文化中負責讓人忘記前世記憶的角色，才能理解這句話的諷刺意味。

但Claude-3.5-Haiku卻將同一個例子歸類為"悖論式"，它關(guān)注的是句子的邏輯矛盾：一個已經(jīng)忘記自己名字的人怎么可能回應(yīng)這樣的呼喚呢？這種分析更注重邏輯結(jié)構(gòu)而非文化背景。

這種差異反映了一個深層問題：不同的AI模型可能對文化知識有不同程度的內(nèi)化。Claude-3.5-Haiku似乎已經(jīng)完全內(nèi)化了孟婆的文化背景，將其視為理所當然的常識，因此能夠?qū)Ｗ⒂诜治鼍渥拥倪壿嫿Y(jié)構(gòu)。而DeepSeek-v3則更強調(diào)文化知識作為理解的前提條件。

研究團隊還發(fā)現(xiàn)，即使是表現(xiàn)最好的模型，在處理需要多層推理的Drivelology時也經(jīng)常出錯。比如面對"我討厭兩種人：第一種是那些不把話說完的人..."這個例子，AI需要同時理解句子的諷刺結(jié)構(gòu)（抱怨別人不說完話，自己卻也沒說完）和誤導(dǎo)技巧（設(shè)置期待但不滿足），這種多重修辭手法的組合對AI來說特別困難。

更有意思的是，研究團隊發(fā)現(xiàn)人類標注員在處理同一個Drivelology樣本時也會有不同的理解和分類。這說明Drivelology本身就具有多義性和開放性，可能同時包含多種修辭策略。比如"我深深敬佩切·格瓦拉的反資本主義精神，所以我買了他所有的周邊商品"這個例子，可以從悖論的角度理解（崇拜反資本主義卻參與資本主義消費），也可以從轉(zhuǎn)換誘餌的角度理解（需要了解切·格瓦拉的文化符號意義）。

這種多義性給AI的理解帶來了額外挑戰(zhàn)。與傳統(tǒng)的有標準答案的理解任務(wù)不同，Drivelology的理解更像是一種詮釋活動，需要結(jié)合讀者的文化背景、個人經(jīng)驗和語境知識。這正是目前AI模型最欠缺的能力。

**七、研究局限與未來展望**

研究團隊坦誠地承認了這項研究的一些局限性。首先，數(shù)據(jù)庫中中文樣本占比較大（約46%），這可能會影響結(jié)果的普遍適用性。雖然研究團隊努力控制了這種語言分布不均衡的影響，但未來仍需要在其他語言上收集更多樣本來驗證結(jié)論的普遍性。

其次，由于計算資源和預(yù)算限制，研究團隊無法測試一些最新的頂級模型，比如GPT-5、Claude-3.7或DeepSeek R1等。隨著AI技術(shù)的快速發(fā)展，這些新模型可能在理解Drivelology方面有所改進。

第三，這項研究主要關(guān)注AI的理解能力，而沒有深入研究AI生成Drivelology的能力。研究團隊在附錄中提到，他們嘗試讓GPT-4生成Drivelology內(nèi)容，發(fā)現(xiàn)即使經(jīng)過20多次嘗試，也很難生成真正符合要求的高質(zhì)量Drivelology。這說明不僅理解Drivelology困難，創(chuàng)造Drivelology同樣充滿挑戰(zhàn)。

不過，這些局限性并不影響研究的核心價值。研究團隊為未來的工作指出了幾個重要方向。首先是開發(fā)更好的訓(xùn)練方法，比如利用數(shù)據(jù)庫中的多選題任務(wù)來改進AI模型的推理能力。其次是建立更完善的評估框架，開發(fā)專門用于評估Drivelology理解和生成能力的指標。

更重要的是，這項研究揭示了當前AI語言模型的一個根本局限：它們?nèi)狈φ嬲恼Z用理解能力。雖然這些模型在統(tǒng)計模式匹配方面表現(xiàn)出色，能夠生成流暢的文本，但在理解語言的深層含義、文化內(nèi)涵和諷刺意圖方面仍有很大差距。

**八、這項研究對我們意味著什么**

這項研究的意義遠超出了學(xué)術(shù)范疇，它實際上觸及了人工智能發(fā)展的核心問題：機器是否真正理解語言，還是僅僅在進行復(fù)雜的模式匹配？

從實際應(yīng)用的角度來看，這個發(fā)現(xiàn)提醒我們在使用AI助手時需要保持警惕。當我們與AI進行涉及諷刺、幽默或文化內(nèi)涵的對話時，AI可能完全誤解我們的真實意圖。這在跨文化交流、創(chuàng)意寫作、社交媒體管理等場景中尤其重要。

對于AI安全和治理來說，這個發(fā)現(xiàn)也很關(guān)鍵。如果AI無法理解人類語言中的諷刺和隱含意義，它們在處理網(wǎng)絡(luò)內(nèi)容審查、輿情分析或社會情感監(jiān)測等任務(wù)時可能出現(xiàn)嚴重偏差。一些看似無害甚至積極的內(nèi)容可能包含深層的諷刺或批判，而AI可能完全錯過這些信息。

從教育的角度來看，這項研究強調(diào)了人類獨特語言能力的價值。Drivelology的理解需要文化知識、社會經(jīng)驗、情感智慧和創(chuàng)造性思維的綜合運用，這些都是目前AI難以完全掌握的能力。這提醒我們在AI時代更應(yīng)該重視培養(yǎng)學(xué)生的批判思維、文化素養(yǎng)和創(chuàng)造能力。

對于AI研究和開發(fā)來說，這項研究指出了一個重要的研究方向：如何讓AI真正理解語言的語用層面。僅僅增加模型參數(shù)或訓(xùn)練數(shù)據(jù)可能不足以解決這個問題，需要開發(fā)新的訓(xùn)練方法和架構(gòu)來增強AI的語用理解能力。

說到底，這項研究用一種輕松幽默的方式揭示了一個深刻的哲學(xué)問題：理解語言意味著什么？是簡單地識別詞匯和語法結(jié)構(gòu)，還是需要更深層的文化知識、社會經(jīng)驗和情感共鳴？Drivelology這種"高深的廢話"正好處在語言理解能力的邊界上，它要求讀者不僅要掌握語言的表面形式，還要能夠進行復(fù)雜的推理、聯(lián)想和解釋。

目前的AI模型雖然在許多方面表現(xiàn)出色，但在這個關(guān)鍵能力上仍有很大提升空間。這并不意味著AI沒有價值，而是提醒我們需要更清晰地認識AI的能力邊界，在合適的場景中發(fā)揮它們的優(yōu)勢，同時在需要深度語言理解的場景中保持人類的參與和監(jiān)督。

歸根結(jié)底，這項有趣的研究讓我們重新思考了語言理解的本質(zhì)，也為未來AI技術(shù)的發(fā)展指出了新的挑戰(zhàn)和機遇。在追求更智能AI的路上，理解"高深的廢話"可能正是下一個需要攻克的重要關(guān)卡。

Q&A

Q1：什么是Drivelology？它與普通的諷刺幽默有什么區(qū)別？

A：Drivelology是研究團隊創(chuàng)造的新詞，指那些表面看似胡言亂語但實際包含深層含義的表達。與傳統(tǒng)諷刺不同，Drivelology更復(fù)雜，經(jīng)常同時使用多種修辭手法，需要讀者結(jié)合文化背景進行深層推理才能理解其真正意圖。

Q2：為什么AI語言模型無法理解Drivelology？

A：AI模型主要依賴統(tǒng)計模式匹配，雖然能生成流暢文本，但缺乏真正的語用理解能力。理解Drivelology需要文化知識、社會經(jīng)驗、情感智慧和多層推理能力的綜合運用，這些都是目前AI難以掌握的。

Q3：這項研究對AI應(yīng)用有什么實際影響？

A：這提醒我們在涉及諷刺、幽默或文化內(nèi)涵的場景中使用AI時需要謹慎，比如跨文化交流、創(chuàng)意寫作、內(nèi)容審查等。AI可能完全誤解包含深層諷刺或批判的內(nèi)容，在這些場景中仍需要人類的參與和監(jiān)督。