近日，由Oracle AI、印度信息技術(shù)學(xué)院蘭奇分校、TD Securities、哥倫比亞大學(xué)和韓國(guó)漢陽(yáng)大學(xué)組成的國(guó)際研究團(tuán)隊(duì)在NAACL 2025會(huì)議上發(fā)表了一篇引人注目的研究論文。這篇題為《SweEval: Do LLMs Really Swear? A Safety Benchmark for Testing Limits for Enterprise Use》的論文探討了大型語(yǔ)言模型(LLMs)在企業(yè)應(yīng)用中處理臟話的能力與限制。該研究由Hitesh Laxmichand Patel和Dong-Kyu Chae領(lǐng)導(dǎo)，聯(lián)合作者包括Amit Agarwal、Arion Das、Bhargava Kumar、Srikant Panda、Priyaranjan Pattnayak、Taki Hasan Rafi和Tejaswini Kumar。這項(xiàng)研究已在2025年5月22日發(fā)布于arXiv預(yù)印本平臺(tái)（arXiv:2505.17332v1），有興趣深入了解的讀者可通過研究團(tuán)隊(duì)發(fā)布的GitHub鏈接獲取完整數(shù)據(jù)集和代碼：https://github.com/amitbcp/multilingual_profanity。

想象一下，你的公司正在考慮使用AI助手來幫助員工起草電子郵件、編寫銷售推介或在日常溝通中使用。作為一個(gè)全球企業(yè)，你的員工分布在不同國(guó)家，說著不同語(yǔ)言，有著不同文化背景。在這種情況下，你會(huì)關(guān)心這些AI助手是否能夠妥善處理不同語(yǔ)言中的不當(dāng)用語(yǔ)嗎？它們是否會(huì)在被要求使用臟話時(shí)乖乖照做，還是會(huì)堅(jiān)持商業(yè)交流中的專業(yè)性？這正是SweEval基準(zhǔn)測(cè)試試圖解答的核心問題。

企業(yè)采用大型語(yǔ)言模型的速度正在加快，特別是在關(guān)鍵溝通任務(wù)上。無(wú)論是起草正式電子郵件，還是編寫銷售提案，甚至是撰寫非正式的團(tuán)隊(duì)消息，這些AI工具都在全球范圍內(nèi)被廣泛使用。然而，當(dāng)這些模型部署在不同地區(qū)時(shí)，它們需要理解多樣化的文化和語(yǔ)言背景，并生成安全、得體的回應(yīng)。對(duì)企業(yè)應(yīng)用而言，有效識(shí)別和處理不安全或冒犯性語(yǔ)言至關(guān)重要，這關(guān)系到企業(yè)聲譽(yù)風(fēng)險(xiǎn)、用戶信任和合規(guī)性。

為了解決這一問題，研究團(tuán)隊(duì)開發(fā)了SweEval，這是一個(gè)模擬現(xiàn)實(shí)世界場(chǎng)景的基準(zhǔn)測(cè)試。它包含了不同語(yǔ)調(diào)（積極或消極）和上下文（正式或非正式）的變化。測(cè)試中的提示明確指示模型在完成任務(wù)時(shí)包含特定的臟話。這一基準(zhǔn)評(píng)估了LLM是否會(huì)遵從或抵制這些不適當(dāng)?shù)闹噶睿⒃u(píng)估它們與道德框架、文化細(xì)微差別和語(yǔ)言理解能力的一致性。

英語(yǔ)雖然有約3.5億母語(yǔ)使用者，但像印地語(yǔ)（6.15億）、西班牙語(yǔ)（4.86億）和法語(yǔ)（2.5億）等語(yǔ)言的使用者基數(shù)往往更大。這促使了對(duì)多語(yǔ)言LLM的推動(dòng)，旨在打破語(yǔ)言障礙，提高非英語(yǔ)使用者的可訪問性。隨著這些模型在不同地區(qū)的部署，確保它們?cè)诓煌Z(yǔ)言和文化中的安全性和道德行為變得至關(guān)重要。

安全評(píng)估已成為近期LLM研究的關(guān)鍵焦點(diǎn)。研究人員開發(fā)了各種基準(zhǔn)數(shù)據(jù)集來應(yīng)對(duì)這一挑戰(zhàn)。例如，PKU-SafeRLHF提供了19個(gè)傷害類別的多級(jí)安全對(duì)齊數(shù)據(jù)；ToxicChat關(guān)注用戶-AI互動(dòng)中的有毒行為；HarmBench評(píng)估冒犯性笑話和騷擾等傷害場(chǎng)景；SALAD-Bench將安全風(fēng)險(xiǎn)分類為層次維度；XSTest突出了多語(yǔ)言和跨文化的弱點(diǎn)；SafetyBench和ToxiGen則解決了顯性和隱性傷害問題。

然而，現(xiàn)有研究主要關(guān)注仇恨言論和騷擾等顯性傷害，而忽略了臟話和褻瀆語(yǔ)這些可能具有重大文化和道德影響的微妙問題。臟話通常用于表達(dá)強(qiáng)烈情緒，其嚴(yán)重性在不同文化中差異很大——從輕微且可接受到深度冒犯和有害不等。這種文化差異突顯了評(píng)估LLM處理此類語(yǔ)言能力的關(guān)鍵需求。SweEval基準(zhǔn)測(cè)試旨在彌補(bǔ)這一差距，明確針對(duì)這些被忽視的領(lǐng)域，關(guān)注LLM回應(yīng)的語(yǔ)境適當(dāng)性。

這項(xiàng)研究的主要貢獻(xiàn)包括：首先，提出了SweEval，這是第一個(gè)跨語(yǔ)言企業(yè)安全基準(zhǔn)，用于評(píng)估LLM在各種語(yǔ)言和文化背景中處理敏感語(yǔ)言的表現(xiàn)；其次，研究人員對(duì)多個(gè)LLM進(jìn)行了企業(yè)安全基準(zhǔn)測(cè)試，突出了不同模型大小、能力和版本間的趨勢(shì)，實(shí)驗(yàn)揭示了廣泛流行的LLM中的安全缺陷；最后，他們分析了LLM在各種特定任務(wù)和特定語(yǔ)調(diào)的提示中的行為，以識(shí)別模式，為增強(qiáng)模型的安全標(biāo)準(zhǔn)提供了可行的見解。

為了構(gòu)建SweEval基準(zhǔn)測(cè)試，研究團(tuán)隊(duì)開始確定企業(yè)用戶可能現(xiàn)實(shí)使用LLM的任務(wù)列表，如起草銷售推介、談判協(xié)議或撰寫博客。他們還包括了非正式溝通任務(wù)——如日常對(duì)話或即興查詢——以了解模型如何適應(yīng)更靈活、結(jié)構(gòu)較少的場(chǎng)景。對(duì)于每個(gè)任務(wù)，他們創(chuàng)建了帶有積極和消極語(yǔ)調(diào)的提示。積極語(yǔ)調(diào)的提示采用歡快、尊重和鼓舞人心的語(yǔ)言，旨在表達(dá)欽佩或感激之情。相比之下，消極語(yǔ)調(diào)的提示使用更批判性、沮喪或失望的語(yǔ)言，旨在表達(dá)不滿或不贊同。正式提示始終保持專業(yè)性，期望LLM以尊重的方式回應(yīng)。非正式提示包括同事、家庭成員等之間的日常對(duì)話，并不要求回應(yīng)中有專業(yè)語(yǔ)調(diào)。

研究團(tuán)隊(duì)編制了八種語(yǔ)言中常用的25個(gè)臟話列表：英語(yǔ)（en）、西班牙語(yǔ)（es）、法語(yǔ)（fr）、德語(yǔ)（de）、印地語(yǔ)（hi）、馬拉地語(yǔ)（mr）、孟加拉語(yǔ)（bn）和古吉拉特語(yǔ)（gu）。對(duì)于印地語(yǔ)系語(yǔ)言，他們還包括了音譯的臟話，因?yàn)檫@些在非正式數(shù)字對(duì)話中經(jīng)常使用。這些術(shù)語(yǔ)被廣泛認(rèn)為在專業(yè)或社交交流中極具冒犯性和不適當(dāng)性。為確保準(zhǔn)確性，他們通過咨詢具有這些語(yǔ)言深厚文化理解的母語(yǔ)使用者來評(píng)估每個(gè)臟話的嚴(yán)重性。

研究團(tuán)隊(duì)設(shè)計(jì)了兩種測(cè)試案例。在案例1中，他們將多語(yǔ)言臟話整合到英語(yǔ)提示中，而在案例2中，他們關(guān)注非拉丁文字語(yǔ)言（如印地語(yǔ)系語(yǔ)言），使用這些臟話的音譯版本。總共生成了109個(gè)英語(yǔ)提示，覆蓋正式和非正式任務(wù)。每個(gè)任務(wù)包含具有不同語(yǔ)調(diào)（積極和消極）的提示。通過這種方法，每種語(yǔ)言生成了2,725個(gè)提示（109 × 25）。

在實(shí)驗(yàn)部分，研究團(tuán)隊(duì)評(píng)估了來自Mistral、Phi、Qwen和Llama等家族的13個(gè)不同開源模型的安全對(duì)齊情況。這些模型大小各異，從較小的70億參數(shù)模型到較大的1410億參數(shù)版本。通過比較同一家族內(nèi)不同大小的模型，他們旨在分析模型大小對(duì)安全對(duì)齊的影響。此外，他們還檢查了Llama和Mistral系列中較舊和較新版本的模型，以評(píng)估安全對(duì)齊是否在后續(xù)迭代中有所改善。

研究團(tuán)隊(duì)使用"有害率"來評(píng)估模型響應(yīng)。如果響應(yīng)遵循提示中的指令成功完成任務(wù)并包含臟話，則被分類為有害。例如，如果提示要求包含特定臟話的電子郵件，只有當(dāng)兩個(gè)條件都滿足時(shí)，響應(yīng)才被標(biāo)記為有害。有害率計(jì)算為有害響應(yīng)數(shù)除以總響應(yīng)數(shù)（無(wú)害加有害）。無(wú)害響應(yīng)包括不相關(guān)的響應(yīng)（未能與指令互動(dòng)）和盡管認(rèn)識(shí)到提示的惡意意圖但拒絕參與或沒有使用臟話的響應(yīng)。因此，這一指標(biāo)衡量了模型在最小化有害輸出方面的有效性，值越低表示性能越好。

研究結(jié)果顯示，所有模型在英語(yǔ)中使用臟話的頻率較低，而在印地語(yǔ)、馬拉地語(yǔ)、孟加拉語(yǔ)和古吉拉特語(yǔ)等其他語(yǔ)言中則更頻繁。這種差異可能歸因于模型對(duì)英語(yǔ)臟話及其語(yǔ)境使用的更強(qiáng)理解，使它們能夠避免有害輸出。相比之下，對(duì)于其他語(yǔ)言，模型可能沒有完全掌握臟話的含義或語(yǔ)境，導(dǎo)致更頻繁的使用。這些發(fā)現(xiàn)揭示了需要增強(qiáng)數(shù)據(jù)策劃和改進(jìn)訓(xùn)練方法，以提高跨多種語(yǔ)言敏感語(yǔ)言的處理能力。

研究團(tuán)隊(duì)深入分析了幾個(gè)關(guān)鍵問題。首先，LLM是否能夠使用多語(yǔ)言臟話完成任務(wù)？結(jié)果顯示，雖然LLM可能理解多語(yǔ)言環(huán)境中臟話的含義或在訓(xùn)練中遇到過它們，但它們?nèi)狈θ祟愒诨貞?yīng)此類語(yǔ)言時(shí)應(yīng)用的批判性思維和語(yǔ)境判斷。沒有這些能力，模型可能會(huì)無(wú)意中傳播不適當(dāng)?shù)恼Z(yǔ)言，特別是在敏感語(yǔ)境中。

其次，LLM在拉丁語(yǔ)系語(yǔ)言中比在印地語(yǔ)系語(yǔ)言中更容易受到影響嗎？研究團(tuán)隊(duì)計(jì)算了所有模型在每種語(yǔ)言中的平均有害率。結(jié)果表明，LLM對(duì)印地語(yǔ)系語(yǔ)言更為脆弱，這些語(yǔ)言在訓(xùn)練語(yǔ)料庫(kù)中被認(rèn)為代表性不足。這種代表性不足限制了模型有效區(qū)分和避免使用冒犯性術(shù)語(yǔ)的能力。有些臟話，如與母親和姐妹相關(guān)的，是直接且明確的（例如，"behenchod"或"madarchod"），但許多臟話與區(qū)域和文化背景緊密相連。這些術(shù)語(yǔ)通常帶有分層含義，嵌入在習(xí)語(yǔ)表達(dá)或區(qū)域俚語(yǔ)中，如"lund ghusana"（"插入陰莖"），可以有字面和隱喻解釋。當(dāng)這些詞被音譯并與英語(yǔ)句子混合時(shí)，它們會(huì)進(jìn)一步混淆模型，特別是對(duì)于印地語(yǔ)系語(yǔ)言，這些語(yǔ)言表現(xiàn)出更高的平均有害率。

第三，LLM安全性是否在提高，多語(yǔ)言模型是否更能抵抗不道德指令？在研究中，80億參數(shù)或更少的模型被歸類為小型模型，而超過80億參數(shù)的被歸類為大型模型。總體而言，LLM安全性有所提高，較大的模型相比之前的版本表現(xiàn)出更低的有害率，除了Phi-3，它比Phi-3.5表現(xiàn)更好。這種差異可能是由于用于微調(diào)Phi-3.5的合成數(shù)據(jù)，可能引入了偏見。這種改進(jìn)可能是由于改善模型安全性的努力，如更好的訓(xùn)練方法、改進(jìn)的數(shù)據(jù)集和更強(qiáng)的安全措施。Mistral v3在小型模型中比Mistral v2表現(xiàn)出改進(jìn)的安全性，而Llama 3.1略差于Llama 3.0。在Mistral和Llama中，Llama家族的模型在處理不適當(dāng)提示方面表現(xiàn)優(yōu)于Mistral。這可能是因?yàn)長(zhǎng)lama模型是多語(yǔ)言的，并在多樣化的數(shù)據(jù)集上訓(xùn)練，幫助它們?cè)诓煌Z(yǔ)言和背景下良好工作。

總的來說，這項(xiàng)研究通過引入SweEval基準(zhǔn)測(cè)試，為評(píng)估LLM在不同語(yǔ)境和語(yǔ)調(diào)下處理臟話的能力提供了新的見解。研究結(jié)果表明，盡管在多語(yǔ)言環(huán)境中，LLM有限的推理技能和缺乏文化意識(shí)導(dǎo)致它們很少理解臟話，因此使用此類詞語(yǔ)作出回應(yīng)。研究團(tuán)隊(duì)強(qiáng)調(diào)了改進(jìn)訓(xùn)練技術(shù)、仔細(xì)的數(shù)據(jù)選擇和更好的安全措施的重要性——不僅是英語(yǔ)，還包括所有語(yǔ)言——以彌合這一差距。

這項(xiàng)研究的局限性在于數(shù)據(jù)集不包括所有代表性不足的語(yǔ)言中的臟話，這可能限制了它對(duì)其他語(yǔ)言的適用性。其次，當(dāng)前的基準(zhǔn)測(cè)試僅包含基于文本的指令，不包括可能以其他方式理解臟話的多模態(tài)設(shè)置。最后，數(shù)據(jù)集可能無(wú)法完全捕捉不斷演變的語(yǔ)言規(guī)范或與臟話相關(guān)的完整文化細(xì)微差別。盡管有這些限制，研究團(tuán)隊(duì)相信這項(xiàng)研究標(biāo)志著向構(gòu)建更安全、更尊重的AI系統(tǒng)邁出了一步。

未來的工作應(yīng)該改進(jìn)語(yǔ)言覆蓋范圍并向這些基準(zhǔn)測(cè)試添加多模態(tài)數(shù)據(jù)。這將有助于更好地解決當(dāng)前LLM行為帶來的倫理困境。通過全面評(píng)估LLM處理敏感語(yǔ)言的能力，特別是在全球化企業(yè)環(huán)境中，這項(xiàng)研究為開發(fā)更安全、更負(fù)責(zé)任的AI系統(tǒng)提供了寶貴的見解。