在大型語(yǔ)言模型（LLM）迅速發(fā)展并在全球范圍內(nèi)部署的今天，一個(gè)關(guān)鍵問(wèn)題卻常被忽視：這些模型在不同語(yǔ)言中的安全性是否一致？布朗大學(xué)的鐘正鑫（Zheng-Xin Yong）和Cohere實(shí)驗(yàn)室的Julia Kreutzer等研究者在2025年5月發(fā)表的論文《多語(yǔ)言LLM安全研究的現(xiàn)狀：從測(cè)量語(yǔ)言鴻溝到緩解它》中，對(duì)這一問(wèn)題進(jìn)行了全面調(diào)查。這篇發(fā)表在arXiv（arXiv:2505.24119v1）上的研究通過(guò)系統(tǒng)分析近300篇從2020年到2024年發(fā)表的論文，揭示了LLM安全研究中存在的明顯"語(yǔ)言鴻溝"。

想象一下，如果你建造了一座橋梁，但只在英語(yǔ)國(guó)家測(cè)試了它的安全性，然后就將它部署到全世界各種不同地形的國(guó)家——這聽(tīng)起來(lái)不太合理，對(duì)吧？但這正是當(dāng)前LLM安全研究面臨的現(xiàn)狀。研究團(tuán)隊(duì)發(fā)現(xiàn)，即使是像中文這樣的高資源語(yǔ)言，其相關(guān)安全研究的數(shù)量也只有英語(yǔ)研究的十分之一。這種不平衡隨著時(shí)間推移反而在加劇，從2020年5篇的差距擴(kuò)大到2024年83篇的差距。

為什么這很重要？因?yàn)檎Z(yǔ)言不僅僅是詞匯和語(yǔ)法的不同，還蘊(yùn)含著豐富的文化內(nèi)涵、隱喻表達(dá)、禁忌話題和社會(huì)規(guī)范。在一種文化背景下無(wú)害的內(nèi)容，在另一種文化中可能極具冒犯性。例如，在東南亞，"香蕉"一詞（意為"外黃內(nèi)白"）被用來(lái)貶低那些被認(rèn)為放棄了文化認(rèn)同并接受西方文化價(jià)值觀的亞裔。而在中文中，"屌"字直譯為"陰莖"，既可用作冒犯性的臟話，也可用作贊美他人才能的非冒犯性表達(dá)。

這項(xiàng)研究不僅揭示了語(yǔ)言多樣性的缺失，還發(fā)現(xiàn)非英語(yǔ)語(yǔ)言通常只是作為多語(yǔ)言評(píng)估的一部分被研究，而非針對(duì)其獨(dú)特文化背景進(jìn)行深入專門分析。更令人擔(dān)憂的是，許多商業(yè)LLM在非英語(yǔ)提示下展現(xiàn)出明顯較弱的安全表現(xiàn)，產(chǎn)生了在英語(yǔ)環(huán)境中會(huì)被過(guò)濾的有害內(nèi)容。研究者們提出了三個(gè)具體方向來(lái)推進(jìn)多語(yǔ)言安全研究：開(kāi)發(fā)文化敏感的評(píng)估基準(zhǔn)、創(chuàng)建多樣化的多語(yǔ)言安全訓(xùn)練數(shù)據(jù)，以及深入理解跨語(yǔ)言安全泛化的挑戰(zhàn)。

讓我們深入了解這項(xiàng)研究的發(fā)現(xiàn)及其對(duì)構(gòu)建更安全、更包容的人工智能的啟示。

一、研究方法：剖析安全研究的語(yǔ)言鴻溝

研究團(tuán)隊(duì)采用了一種系統(tǒng)化的方法來(lái)評(píng)估LLM安全研究中的語(yǔ)言差距。他們選擇專注于ACL（計(jì)算語(yǔ)言學(xué)協(xié)會(huì)）等主要自然語(yǔ)言處理會(huì)議和研討會(huì)的論文，因?yàn)檫@些場(chǎng)所相比其他機(jī)器學(xué)習(xí)會(huì)議如ICLR、NeurIPS和ICML，包含了更多語(yǔ)言多樣性的NLP研究。

研究者使用關(guān)鍵詞匹配方法，通過(guò)"safe"和"safety"等關(guān)鍵詞篩選出安全相關(guān)的論文。隨后，他們手動(dòng)將這些論文分類為七個(gè)不同的安全子主題：1）繞過(guò)安全機(jī)制的攻擊和防御，2）毒性和偏見(jiàn)研究，3）事實(shí)性和幻覺(jué)問(wèn)題，4）AI隱私問(wèn)題，5）政策和治理框架，6）LLM對(duì)齊，以及7）與安全無(wú)關(guān)的工作（這類被排除在分析之外）。

為了確保分析質(zhì)量，研究團(tuán)隊(duì)還記錄了每篇論文研究的語(yǔ)言，并注明這些語(yǔ)言是否在論文中被明確提及。這些論文被分為三類：僅英語(yǔ)、僅非英語(yǔ)單語(yǔ)言，以及多語(yǔ)言（涵蓋兩種或更多語(yǔ)言）。

想象一下，這個(gè)過(guò)程就像是在圖書館中整理書籍——研究者們不僅要看書的標(biāo)題，還要翻閱內(nèi)容，確認(rèn)每本書討論的是哪些語(yǔ)言，并仔細(xì)核對(duì)這些語(yǔ)言是否被明確標(biāo)注在書中。為了確保這個(gè)"圖書分類"過(guò)程的可靠性，研究團(tuán)隊(duì)進(jìn)行了多人標(biāo)注一致性檢驗(yàn)，結(jié)果顯示他們的分類方法具有很高的一致性（平均0.80至0.96的Cohen's κ或Jaccard相似度）。

在近300篇從2020年到2024年的論文中，研究團(tuán)隊(duì)發(fā)現(xiàn)約28%的論文與LLM安全無(wú)關(guān)（即關(guān)鍵詞匹配的假陽(yáng)性），這些論文在進(jìn)一步分析前被過(guò)濾掉。這就像是在挖掘?qū)毑貢r(shí)，需要先去除表層的砂石，才能找到真正有價(jià)值的金礦。

二、主要發(fā)現(xiàn)：安全研究中的英語(yǔ)中心主義

研究團(tuán)隊(duì)的分析揭示了LLM安全研究中明顯的英語(yǔ)中心主義現(xiàn)象，這種現(xiàn)象不僅存在，而且隨著時(shí)間推移正在加劇。

想象一下一個(gè)蛋糕店，每天都有各種口味的蛋糕生產(chǎn)出來(lái)。但如果我們仔細(xì)觀察，會(huì)發(fā)現(xiàn)香草口味（代表英語(yǔ)）的蛋糕占據(jù)了絕大多數(shù)的貨架空間，而巧克力口味（代表中文）的蛋糕數(shù)量還不到香草口味的十分之一，其他各種獨(dú)特口味的蛋糕（代表其他語(yǔ)言）則只能擠在角落里的一小塊區(qū)域。更令人擔(dān)憂的是，隨著時(shí)間推移，香草蛋糕與其他口味蛋糕的比例失衡不僅沒(méi)有改善，反而在擴(kuò)大。

具體來(lái)看，2020年，英語(yǔ)安全研究比非英語(yǔ)和多語(yǔ)言研究多5篇；到2024年，這一差距擴(kuò)大到83篇。雖然兩類研究都在增長(zhǎng)，但增長(zhǎng)不成比例地集中在英語(yǔ)研究上。這就像是蛋糕店不斷擴(kuò)大，但新增的貨架空間主要用來(lái)擺放更多的香草蛋糕，而非增加其他口味的多樣性。

更值得注意的是，非英語(yǔ)語(yǔ)言通常是作為"群體"被研究的。想象一下，在研究不同種類的樹(shù)木時(shí)，橡樹(shù)（代表英語(yǔ)）每一棵都得到單獨(dú)、詳細(xì)的研究，而其他種類的樹(shù)木（代表非英語(yǔ)語(yǔ)言）則被簡(jiǎn)單地歸為"非橡樹(shù)"組，甚至高大的松樹(shù)（代表中文）也很少得到單獨(dú)關(guān)注。研究顯示，英語(yǔ)研究的頻率近乎中文（第二常研究語(yǔ)言）的十倍，而中文、阿拉伯語(yǔ)和西班牙語(yǔ)等語(yǔ)言主要出現(xiàn)在多語(yǔ)言研究中，很少有針對(duì)這些語(yǔ)言特定安全問(wèn)題的深入分析。

這種"成群研究"的現(xiàn)象在資源較少的語(yǔ)言中更為明顯。例如，斯瓦希里語(yǔ)和泰盧固語(yǔ)等語(yǔ)言幾乎只出現(xiàn)在大型多語(yǔ)言評(píng)估中，而南非語(yǔ)等語(yǔ)言則只在一篇覆蓋約30種語(yǔ)言的論文中出現(xiàn)過(guò)。這種包含方式嚴(yán)重限制了對(duì)語(yǔ)言特定安全問(wèn)題的分析深度和獲取有意義的見(jiàn)解的可能性。

三、安全子主題的語(yǔ)言分布：鴻溝無(wú)處不在

研究團(tuán)隊(duì)進(jìn)一步分析了不同安全子主題中的語(yǔ)言分布，發(fā)現(xiàn)英語(yǔ)中心主義在所有領(lǐng)域都普遍存在。

想象一座有多個(gè)房間的房子，每個(gè)房間代表一個(gè)安全研究子領(lǐng)域。無(wú)論你走進(jìn)哪個(gè)房間，都會(huì)發(fā)現(xiàn)英語(yǔ)研究占據(jù)了大部分空間，非英語(yǔ)和多語(yǔ)言研究則擠在角落。特別是在LLM對(duì)齊和繞過(guò)安全機(jī)制攻擊的房間，這種不平衡尤為明顯。

在LLM對(duì)齊領(lǐng)域，包括評(píng)估和算法改進(jìn)的工作，英語(yǔ)研究遠(yuǎn)遠(yuǎn)超過(guò)多語(yǔ)言研究。這就像是設(shè)計(jì)一個(gè)全球通用的安全系統(tǒng)，但只在一個(gè)國(guó)家進(jìn)行了全面測(cè)試。毒性和偏見(jiàn)研究也呈現(xiàn)類似模式，盡管這個(gè)領(lǐng)域理應(yīng)特別關(guān)注文化和語(yǔ)言變異的影響。

隱私和政策領(lǐng)域的多語(yǔ)言工作幾乎完全缺失，這表明這些新興安全問(wèn)題幾乎完全通過(guò)英語(yǔ)視角概念化，可能忽視了不同語(yǔ)言環(huán)境中存在的重要文化和法律差異。這就像是制定一部適用于全球的法律，但只考慮了一個(gè)國(guó)家的法律傳統(tǒng)和文化背景。

研究還發(fā)現(xiàn)，單語(yǔ)非英語(yǔ)安全論文在研討會(huì)中的比例相對(duì)較高（比英語(yǔ)論文高46%），這表明非英語(yǔ)安全研究在進(jìn)入頂級(jí)會(huì)議方面可能面臨更高的障礙。研討會(huì)如性別偏見(jiàn)自然語(yǔ)言處理研討會(huì)（GeBNLP）和對(duì)話AI安全研討會(huì)（Safety4ConvAI）等成為傳播非英語(yǔ)安全研究的更容易接觸的場(chǎng)所。這種現(xiàn)象表明，除了整體的英語(yǔ)中心主義外，還有其他結(jié)構(gòu)因素可能影響著非英語(yǔ)安全工作的評(píng)估和傳播方式。

四、語(yǔ)言記錄實(shí)踐：透明度差異明顯

研究團(tuán)隊(duì)還分析了安全研究中的語(yǔ)言記錄實(shí)踐，發(fā)現(xiàn)僅英語(yǔ)研究與非英語(yǔ)或多語(yǔ)言研究之間存在顯著差異。

想象你在閱讀食譜書，有些食譜明確列出了所有原料和適用的烹飪方法，而其他食譜則假設(shè)你已經(jīng)知道需要什么原料，因此省略了這些細(xì)節(jié)。在LLM安全研究中，英語(yǔ)論文往往就像那些省略關(guān)鍵信息的食譜——約50.6%的英語(yǔ)安全研究沒(méi)有明確說(shuō)明研究的語(yǔ)言（即論文中沒(méi)有提到"英語(yǔ)"）。相比之下，所有非英語(yǔ)單語(yǔ)和多語(yǔ)言出版物都100%明確記錄了所研究的語(yǔ)言。

這種差異凸顯了研究報(bào)告實(shí)踐中的系統(tǒng)性偏見(jiàn)，英語(yǔ)為中心的研究往往假設(shè)普遍性，而非英語(yǔ)研究則展現(xiàn)出更高的方法透明度。清晰記錄研究語(yǔ)言至關(guān)重要，因?yàn)榘踩珜?duì)齊并不一定能跨語(yǔ)言泛化，明確說(shuō)明所研究語(yǔ)言能讓未來(lái)研究者了解安全發(fā)現(xiàn)已被驗(yàn)證的特定語(yǔ)言環(huán)境。此外，通過(guò)明確承認(rèn)語(yǔ)言限制，研究領(lǐng)域可以更準(zhǔn)確地衡量在擴(kuò)大安全覆蓋范圍方面的進(jìn)展，從而鼓勵(lì)更公平地分配安全研究，以服務(wù)更廣泛的全球人口。

五、多語(yǔ)言安全研究的未來(lái)方向

在深入分析當(dāng)前LLM安全研究中的語(yǔ)言鴻溝后，研究團(tuán)隊(duì)提出了三個(gè)具體的未來(lái)研究方向，以推進(jìn)多語(yǔ)言安全研究。

### 多語(yǔ)言模型的安全評(píng)估

首先，研究者們指出，傳統(tǒng)評(píng)估指標(biāo)通常關(guān)注語(yǔ)言間的平均表現(xiàn)，將最大化均勻加權(quán)平均值的模型視為最佳。然而，這種標(biāo)準(zhǔn)容易受離群值影響，且不適合比較語(yǔ)言和任務(wù)支持不同的模型。

想象你在評(píng)估一系列多國(guó)料理廚師的表現(xiàn)。如果只看平均分?jǐn)?shù)，一位在法國(guó)菜上表現(xiàn)出色但在泰國(guó)菜上完全失敗的廚師可能獲得與各種菜系都表現(xiàn)中等的廚師相似的平均分。但顯然，在實(shí)際選擇時(shí)，你可能更傾向于那位各種菜系都能保持基本水準(zhǔn)的廚師，而非在某些菜系上完全不及格的人。

研究團(tuán)隊(duì)建議，除了報(bào)告平均安全分?jǐn)?shù)外，還應(yīng)報(bào)告最差情況下的表現(xiàn)，以確保模型在所有語(yǔ)言中都滿足基本安全閾值。例如，他們分析了一項(xiàng)評(píng)估多種LLM在10種語(yǔ)言中的無(wú)害性的研究，發(fā)現(xiàn)雖然Vicuna模型的平均無(wú)害性分?jǐn)?shù)相當(dāng)高（69.32），但其在孟加拉語(yǔ)中的最低分僅為18.4，遠(yuǎn)低于ChatGPT（62.6）和PaLM-2（70.1）的最低分。僅依賴平均指標(biāo)可能會(huì)創(chuàng)造虛假的安全感，導(dǎo)致像Vicuna這樣的模型在它們產(chǎn)生有害內(nèi)容的語(yǔ)言環(huán)境中部署。

此外，研究者們還呼吁在評(píng)估中納入更廣泛的語(yǔ)言覆蓋范圍。當(dāng)前的多語(yǔ)言紅隊(duì)測(cè)試（尋找模型安全漏洞的過(guò)程）主要集中在模型在后預(yù)訓(xùn)練過(guò)程（如指令跟隨和對(duì)齊微調(diào)）中微調(diào)的語(yǔ)言上?？紤]到預(yù)訓(xùn)練中的語(yǔ)言污染可能促進(jìn)跨語(yǔ)言遷移，這引發(fā)了對(duì)是否應(yīng)該在多語(yǔ)言LLM的安全評(píng)估中豁免某些語(yǔ)言的擔(dān)憂。

最后，研究者們強(qiáng)調(diào)，評(píng)估多語(yǔ)言安全需要從根本上轉(zhuǎn)變思路，不能僅僅將評(píng)估視為向現(xiàn)有基準(zhǔn)添加更多語(yǔ)言，而應(yīng)該納入真實(shí)使用者使用的語(yǔ)言模式。例如，代碼切換（在單一話語(yǔ)中在語(yǔ)言間切換的交流模式）和阿拉伯語(yǔ)的拉丁化（Arabizi，使用英文字符書寫阿拉伯語(yǔ)）等現(xiàn)象已被證明能繞過(guò)多語(yǔ)言安全防護(hù)機(jī)制。當(dāng)前主要在單語(yǔ)環(huán)境中評(píng)估語(yǔ)言的安全框架無(wú)法捕捉多語(yǔ)言交流的復(fù)雜現(xiàn)實(shí)。

### 文化語(yǔ)境化的合成訓(xùn)練數(shù)據(jù)

收集LLM安全對(duì)齊的標(biāo)記訓(xùn)練數(shù)據(jù)可能資源密集，許多以英語(yǔ)為中心的研究已轉(zhuǎn)向使用合成數(shù)據(jù)生成。然而，多語(yǔ)言合成安全數(shù)據(jù)的探索相對(duì)不足。研究者們提出了兩個(gè)基于憲法AI框架的可行未來(lái)研究方向。

憲法AI框架是什么？想象一個(gè)學(xué)生（LLM）先被要求寫一篇文章（生成內(nèi)容），然后老師（人類）給出一系列準(zhǔn)則（憲法原則），讓學(xué)生根據(jù)這些準(zhǔn)則修改原文。通過(guò)多輪批評(píng)和修改，學(xué)生學(xué)會(huì)了按照準(zhǔn)則生成更好的內(nèi)容。這個(gè)過(guò)程可以創(chuàng)建成對(duì)的樣本（原始有害/無(wú)害內(nèi)容和修改后的無(wú)害/有害內(nèi)容），用于對(duì)齊訓(xùn)練。

第一種方法是直接使用LLM生成多語(yǔ)言安全數(shù)據(jù)。想象你需要教一個(gè)全球廚師團(tuán)隊(duì)（LLM）烹飪各國(guó)安全食品。你需要與語(yǔ)言學(xué)家、文化人類學(xué)家和AI研究者合作，創(chuàng)建三個(gè)關(guān)鍵組件：反映不同社會(huì)價(jià)值體系的文化敏感憲法原則、足夠強(qiáng)大能理解這些原則并生成目標(biāo)語(yǔ)言高質(zhì)量?jī)?nèi)容的多語(yǔ)言LLM，以及涉及母語(yǔ)使用者和文化專家的評(píng)估協(xié)議，以驗(yàn)證憲法原則和生成的合成數(shù)據(jù)。

第二種方法是利用機(jī)器翻譯。但研究者們指出，機(jī)器翻譯常常無(wú)法捕捉或保留文化特定的有害內(nèi)容，可能引入不良社會(huì)偏見(jiàn)如性別刻板印象。憲法AI框架的迭代改進(jìn)過(guò)程可以檢測(cè)和減輕可能無(wú)意中編碼有害內(nèi)容或失去重要文化細(xì)微差別的翻譯問(wèn)題。

### 理解跨語(yǔ)言安全泛化

最后，研究者們強(qiáng)調(diào)，理解安全對(duì)齊如何跨語(yǔ)言泛化至關(guān)重要，特別是當(dāng)大多數(shù)現(xiàn)有安全對(duì)齊數(shù)據(jù)集中在英語(yǔ)或中文時(shí)。

他們提出了兩種研究方向：機(jī)制可解釋性和訓(xùn)練數(shù)據(jù)影響分析。機(jī)制可解釋性，即對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行逆向工程以精確理解它們?nèi)绾翁幚硇畔?，可以幫助研究者們表征能夠啟用或阻止安全?duì)齊知識(shí)遷移的機(jī)制。這種方法特別有助于解釋為什么去毒化和消除偏見(jiàn)可以有效地跨語(yǔ)言遷移，而拒絕訓(xùn)練則不行；或者安全對(duì)齊在語(yǔ)言適應(yīng)到資源較少的語(yǔ)言后保留到什么程度。

另一種方法是訓(xùn)練數(shù)據(jù)影響分析，利用影響函數(shù)追蹤特定訓(xùn)練示例如何因果影響模型在生成過(guò)程中的行為。這種技術(shù)為研究?jī)蓚€(gè)關(guān)鍵開(kāi)放問(wèn)題提供了有價(jià)值的補(bǔ)充：對(duì)于跨語(yǔ)言泛化，它可以幫助量化安全相關(guān)示例（尤其是來(lái)自高資源語(yǔ)言與低資源語(yǔ)言的示例）如何貢獻(xiàn)于有害或已對(duì)齊的輸出；對(duì)于語(yǔ)言適應(yīng)，影響函數(shù)可以識(shí)別持續(xù)預(yù)訓(xùn)練語(yǔ)料庫(kù)中的問(wèn)題文檔，從而實(shí)現(xiàn)更有針對(duì)性地策劃更安全的語(yǔ)言特定數(shù)據(jù)。

六、結(jié)論與建議

總結(jié)這項(xiàng)深入研究，我們看到LLM安全研究中存在顯著且不斷擴(kuò)大的語(yǔ)言鴻溝。就像一座橋梁，如果只在一端進(jìn)行安全檢查，那么整座橋的安全性就無(wú)法得到保證。同樣，如果我們只關(guān)注英語(yǔ)環(huán)境下的AI安全，那么全球部署的AI系統(tǒng)將在非英語(yǔ)語(yǔ)言環(huán)境中面臨未知的安全風(fēng)險(xiǎn)。

研究團(tuán)隊(duì)為推動(dòng)多語(yǔ)言安全研究提出了幾點(diǎn)重要建議：

首先，他們建議將語(yǔ)言覆蓋報(bào)告整合到ACL會(huì)議投稿中。OpenReview投稿已經(jīng)包含作者可以指明所研究語(yǔ)言的元數(shù)據(jù)字段，但這些信息目前是私密的。公開(kāi)這些元數(shù)據(jù)將允許更透明地跟蹤語(yǔ)言表示，并支持未來(lái)對(duì)多語(yǔ)言研究的元分析，特別是在LLM安全背景下。

其次，解決語(yǔ)言和主題表示中更深層次的結(jié)構(gòu)不平衡需要長(zhǎng)期努力。研究者們認(rèn)為，會(huì)議和研討會(huì)組織者可以提供激勵(lì)結(jié)構(gòu)來(lái)解決這種系統(tǒng)性不平衡，例如專門針對(duì)多語(yǔ)言安全子主題的特殊會(huì)議主題軌道和/或創(chuàng)建關(guān)于多語(yǔ)言安全基準(zhǔn)的共享研討會(huì)任務(wù)。這些舉措可以有意義地?cái)U(kuò)大英語(yǔ)以外研究的范圍和可見(jiàn)度，幫助社區(qū)更好地服務(wù)多樣化的用戶群體。

最后，研究者們提出了三個(gè)具體的研究方向，包括改進(jìn)多語(yǔ)言模型的安全評(píng)估方法、開(kāi)發(fā)文化語(yǔ)境化的合成訓(xùn)練數(shù)據(jù)，以及深入理解跨語(yǔ)言安全泛化的機(jī)制。這些方向?yàn)闃?gòu)建更安全、更包容的全球AI系統(tǒng)提供了路徑。

這項(xiàng)研究提醒我們，隨著AI技術(shù)繼續(xù)改變世界，確保它們?cè)谒姓Z(yǔ)言和文化背景中都安全運(yùn)行變得越來(lái)越重要。語(yǔ)言多樣性不應(yīng)該成為安全的盲點(diǎn)，而應(yīng)該是AI安全研究的核心考慮因素。只有這樣，我們才能構(gòu)建真正為全球多樣化人口服務(wù)的AI系統(tǒng)。

對(duì)于有興趣深入了解這項(xiàng)研究的讀者，可以通過(guò)arXiv:2505.24119v1訪問(wèn)完整論文。