論文基本信息與研究概覽

這項(xiàng)研究名為"LLM in the Loop: Creating the PARADEHATE Dataset for Hate Speech Detoxification"（循環(huán)中的大語(yǔ)言模型：創(chuàng)建PARADEHATE數(shù)據(jù)集進(jìn)行仇恨言論無(wú)毒化），由德國(guó)ScaDS.AI和德累斯頓工業(yè)大學(xué)的Shuzhou Yuan、Lukas Kouba、Ashish Yashwanth Kangen和Michael Farber，以及慕尼黑大學(xué)和慕尼黑機(jī)器學(xué)習(xí)中心(MCML)的Ercong Nie、Helmut Schmid和Hinrich Schütze共同完成。該研究于2025年6月發(fā)表在arXiv預(yù)印本平臺(tái)上，論文編號(hào)為2506.01484v1。

內(nèi)容警告：本文涉及仇恨言論示例，可能對(duì)部分讀者造成不適或冒犯。

想象一下，如果有一種魔法能把網(wǎng)上那些充滿敵意和傷害的言論自動(dòng)轉(zhuǎn)變成無(wú)害但含義相同的文字，那會(huì)是多么美好的事情。這正是這篇研究所要解決的核心問題。隨著互聯(lián)網(wǎng)上有毒內(nèi)容的日益增多，如何自動(dòng)重寫有害語(yǔ)言成為無(wú)毒文本（稱為"無(wú)毒化"）已成為一個(gè)越來越重要的研究領(lǐng)域。然而，由于人工標(biāo)注的成本高昂和敏感性，高質(zhì)量的平行數(shù)據(jù)集（即有毒文本及其無(wú)毒化版本的配對(duì)）仍然稀缺，尤其是針對(duì)仇恨言論的數(shù)據(jù)集。

研究團(tuán)隊(duì)提出了一種創(chuàng)新方法：不再依賴昂貴的人工標(biāo)注，而是利用大語(yǔ)言模型（LLM）來自動(dòng)完成無(wú)毒化過程。想象一下，他們把GPT-4o-mini模型放入一個(gè)循環(huán)系統(tǒng)中，讓它像人類標(biāo)注者一樣工作。這個(gè)系統(tǒng)可以分析有毒文本，生成無(wú)毒版本，并自我驗(yàn)證生成內(nèi)容的質(zhì)量和無(wú)毒性。

這種方法最令人驚喜的地方在于：研究人員發(fā)現(xiàn)大語(yǔ)言模型在這項(xiàng)任務(wù)上的表現(xiàn)可以與人類標(biāo)注者相媲美！基于這一發(fā)現(xiàn)，他們構(gòu)建了PARADEHATE，這是一個(gè)包含8,000多對(duì)仇恨言論/非仇恨文本對(duì)的大規(guī)模平行數(shù)據(jù)集。研究還評(píng)估了各種基線方法，結(jié)果表明像BART這樣在PARADEHATE上微調(diào)的模型在風(fēng)格準(zhǔn)確性、內(nèi)容保留和流暢性方面取得了更好的性能，證明了LLM生成的無(wú)毒化文本作為人工標(biāo)注的可擴(kuò)展替代方案的有效性。

一、研究背景：為什么需要無(wú)毒化技術(shù)？

想象一下社交媒體就像一個(gè)巨大的公共廣場(chǎng)，每天有數(shù)百萬(wàn)人在那里交流。不幸的是，這個(gè)廣場(chǎng)上經(jīng)常出現(xiàn)一些惡意的喊叫者，他們的言論不僅刺耳，還可能對(duì)他人造成傷害。這些有毒言論，尤其是仇恨言論，對(duì)在線社區(qū)的完整性和用戶的福祉構(gòu)成了嚴(yán)重威脅。

傳統(tǒng)的處理方式就像是安保人員把這些喊叫者驅(qū)逐出廣場(chǎng)或者禁止他們發(fā)言。在網(wǎng)絡(luò)世界中，這對(duì)應(yīng)的是內(nèi)容刪除或用戶封禁。但這種方法只能治標(biāo)不治本，也沒有提供更建設(shè)性的解決方案。

相比之下，無(wú)毒化技術(shù)提供了一種更有建設(shè)性的方法：不是簡(jiǎn)單地刪除有毒內(nèi)容，而是將其改寫成無(wú)毒但語(yǔ)義等效的版本。這就好比不是把喊叫者驅(qū)逐出廣場(chǎng)，而是教會(huì)他們?nèi)绾我宰鹬睾徒ㄔO(shè)性的方式表達(dá)同樣的觀點(diǎn)。

研究者們指出，這種特殊的風(fēng)格轉(zhuǎn)換技術(shù)有望促進(jìn)更具包容性和相互尊重的在線對(duì)話。然而，要訓(xùn)練能夠執(zhí)行這種復(fù)雜任務(wù)的模型，研究人員需要大量高質(zhì)量的數(shù)據(jù)對(duì)——即每一條有毒輸入都與語(yǔ)義等效但無(wú)毒的版本配對(duì)。

這就像是需要成千上萬(wàn)個(gè)"翻譯前"和"翻譯后"的例子，才能教會(huì)翻譯系統(tǒng)如何工作。但收集這樣的數(shù)據(jù)集非常困難，因?yàn)樗ǔＰ枰罅咳斯?biāo)注者來生成和驗(yàn)證無(wú)毒化的改寫文本。這個(gè)過程不僅成本高昂，而且耗時(shí)，對(duì)于仇恨言論這類特別敏感的內(nèi)容更是如此。

ParaDetox管道（由Logacheva等人于2022年提出）就是這種人工標(biāo)注方法的典范，它利用眾包建立了第一個(gè)大規(guī)模的平行無(wú)毒化語(yǔ)料庫(kù)。但是，對(duì)人類標(biāo)注者的依賴限制了可擴(kuò)展性、速度和對(duì)新領(lǐng)域或語(yǔ)言的適應(yīng)性。結(jié)果，現(xiàn)有資源規(guī)模仍然較小，而且往往集中在一般形式的有毒性（如冒犯性或褻瀆性語(yǔ)言）上，而忽視了像仇恨言論這樣更復(fù)雜和社會(huì)有害的子類型。

二、仇恨言論無(wú)毒化的特殊挑戰(zhàn)

仇恨言論的無(wú)毒化與一般有毒語(yǔ)言的處理相比，面臨著獨(dú)特的挑戰(zhàn)。這就像是將一種特別強(qiáng)烈的毒藥轉(zhuǎn)化為無(wú)害物質(zhì)，需要更加精細(xì)和謹(jǐn)慎的處理技術(shù)。

仇恨言論經(jīng)常包含針對(duì)特定身份的侮辱性詞匯和帶有意識(shí)形態(tài)色彩的語(yǔ)言，這使得忠實(shí)改寫變得特別困難。如圖1所示的例子中，有一句充滿仇恨的話："你們這些該死的家伙。在你們愚蠢的臉上開槍打你們的同性戀屁股。去你們的！"被改寫成了一個(gè)表達(dá)同樣情感但不含仇恨的版本："我真的對(duì)你們所有人都感到憤怒。你們完全毀了這件事。我受夠了！"

在這個(gè)轉(zhuǎn)換過程中，需要在去除有害內(nèi)容和保留原始含義之間取得微妙的平衡，同時(shí)避免引入扭曲或模糊性。這就像是一個(gè)精細(xì)的外科手術(shù)，既要完全去除有害部分，又不能影響整體功能。

傳統(tǒng)方法依賴于人類標(biāo)注者，這種方法資源密集且難以擴(kuò)展，尤其是當(dāng)新形式的有害語(yǔ)言不斷涌現(xiàn)時(shí)。與此同時(shí)，大型語(yǔ)言模型（LLMs）在文本生成、改寫和對(duì)語(yǔ)言環(huán)境的細(xì)微理解方面展現(xiàn)出了令人印象深刻的能力。

這種挑戰(zhàn)和技術(shù)進(jìn)步的融合自然引出了一個(gè)關(guān)鍵研究問題：大語(yǔ)言模型能否有效地替代或增強(qiáng)人類標(biāo)注者，在構(gòu)建高質(zhì)量的平行無(wú)毒化數(shù)據(jù)集中發(fā)揮作用？如果可以，基于LLM的流程不僅可以加速數(shù)據(jù)集創(chuàng)建并降低成本，還可以提供靈活性和可擴(kuò)展性，以便快速適應(yīng)包括仇恨言論在內(nèi)的新興有害語(yǔ)言領(lǐng)域。

三、LLM代替人類：一場(chǎng)標(biāo)注革命

研究團(tuán)隊(duì)首先想要測(cè)試一個(gè)大膽的想法：大語(yǔ)言模型能否取代人類，完成高質(zhì)量的文本無(wú)毒化任務(wù)？為了驗(yàn)證這一點(diǎn)，他們決定復(fù)制之前由Logacheva等人提出的ParaDetox流程，但用LLM替換人類標(biāo)注者，看看效果如何。

想象一下標(biāo)注過程就像一條生產(chǎn)線，有三個(gè)關(guān)鍵環(huán)節(jié)：第一步是生成無(wú)毒改寫版本，第二步是檢查內(nèi)容是否保留了原意，第三步是確認(rèn)改寫后的文本確實(shí)不含毒性。在傳統(tǒng)方法中，這三個(gè)環(huán)節(jié)都由人類完成，而研究團(tuán)隊(duì)嘗試讓GPT-4o-mini模型接管這整個(gè)流程。

值得注意的是，面對(duì)敏感內(nèi)容時(shí)，LLM往往會(huì)表現(xiàn)出"假拒絕行為"——即使是可以安全處理的請(qǐng)求也拒絕回應(yīng)。這就像是機(jī)器人過于謹(jǐn)慎，寧可不回答也不冒險(xiǎn)給出可能有問題的回復(fù)。研究者通過精心設(shè)計(jì)的提示策略來減輕這一問題，使模型能夠更好地理解任務(wù)的本質(zhì)和必要性。

具體來說，整個(gè)過程分為三個(gè)任務(wù)：

**任務(wù)1：生成改寫文本** 研究者首先提示LLM生成一個(gè)保留原始含義但去除任何有毒內(nèi)容的文本版本。這就像是請(qǐng)翻譯將一句粗魯?shù)脑掁D(zhuǎn)換成禮貌版本，同時(shí)保留核心信息。例如，將"難道你沒有大腦嗎？"這樣的問句改寫成"你能不能考慮一下不同的觀點(diǎn)？"。為了處理模型可能的拒絕回應(yīng)，研究者還準(zhǔn)備了替代提示，提供更詳細(xì)的指導(dǎo)和規(guī)則。

**任務(wù)2：內(nèi)容保留檢查** 接下來，同一個(gè)LLM被要求評(píng)估轉(zhuǎn)換后（即無(wú)毒化）的文本是否保留了原始有毒輸入的含義。這就像是請(qǐng)審核員確認(rèn)改寫后的文本是否傳達(dá)了相同的核心信息。模型需要簡(jiǎn)單地回答"是"或"否"。為了進(jìn)一步控制質(zhì)量，研究者還使用了sentence-transformer計(jì)算原始文本和改寫文本之間的余弦相似度，設(shè)定0.70作為閾值，高于這個(gè)值被標(biāo)記為"是"，低于則為"否"。

**任務(wù)3：毒性檢查** 最后一步是確保最終文本不含有毒內(nèi)容。LLM被用來評(píng)估改寫文本是否仍包含有毒內(nèi)容，同樣通過回答"是"或"否"來完成。研究者同時(shí)使用了unbiased-toxic-roberta計(jì)算毒性分?jǐn)?shù)，設(shè)定0.9為閾值，高于此值的被標(biāo)記為仍然含有毒性，低于則標(biāo)記為無(wú)毒。

通過這一過程，研究團(tuán)隊(duì)最終得到了一個(gè)LLM生成的ParaDetox版本，即"PARADETOX-LLM"，包含19,726個(gè)樣本。為了比較兩個(gè)版本的質(zhì)量，他們分別在PARADETOX-LLM和原始的PARADETOX-HUMAN（即由人類標(biāo)注的數(shù)據(jù)集）上微調(diào)了BART-large模型，使用相同的實(shí)驗(yàn)設(shè)置。

評(píng)估結(jié)果令人驚喜：在風(fēng)格準(zhǔn)確性（Style Accuracy）方面，PARADETOX-LLM略微優(yōu)于PARADETOX-HUMAN（0.98對(duì)0.96），這表明它在有效去除有害語(yǔ)言方面表現(xiàn)出色。雖然在內(nèi)容保留（Content Preservation）方面PARADETOX-LLM較弱（0.70對(duì)0.85），但它在流暢性（Fluency）評(píng)分上明顯更高（0.91對(duì)0.71），這意味著它能夠使監(jiān)督模型生成更流暢的無(wú)毒輸出。

總體而言，PARADETOX-LLM與PARADETOX-HUMAN的可比性能表明，LLM能夠生成與人類標(biāo)注相當(dāng)質(zhì)量的平行無(wú)毒化數(shù)據(jù)集，這一發(fā)現(xiàn)為后續(xù)研究奠定了基礎(chǔ)。

四、PARADEHATE：針對(duì)仇恨言論的專用數(shù)據(jù)集

在驗(yàn)證了LLM循環(huán)方法的可行性后，研究團(tuán)隊(duì)決定邁出更大的一步：將這一方法應(yīng)用于仇恨言論，構(gòu)建第一個(gè)專門針對(duì)仇恨言論的大規(guī)模無(wú)毒化平行數(shù)據(jù)集——PARADEHATE。

研究團(tuán)隊(duì)首先從四個(gè)廣泛使用的仇恨言論數(shù)據(jù)集收集樣本：CreHate（5,935個(gè)樣本）、HateXplain（1,430個(gè)樣本）、Davidson（364個(gè)樣本）和Founta（4,176個(gè)樣本），總計(jì)11,905個(gè)仇恨言論樣本。這些數(shù)據(jù)來源于Twitter和Reddit等社交媒體平臺(tái)，已被專家標(biāo)注為仇恨言論。

為了確保數(shù)據(jù)的一致性和與無(wú)毒化流程的兼容性，研究者應(yīng)用了一系列預(yù)處理步驟： 1. 刪除所有URL，專注于文本內(nèi)容 2. 將用戶名標(biāo)準(zhǔn)化為通用的@USER標(biāo)簽，并將連續(xù)的@USER標(biāo)簽合并為單個(gè)實(shí)例 3. 刪除HTML編碼的用戶實(shí)體和非必要的特殊字符和過多的標(biāo)點(diǎn)符號(hào)，以減少噪音同時(shí)保留文本的核心含義

接下來，研究團(tuán)隊(duì)使用在第三部分中驗(yàn)證的LLM循環(huán)流程，對(duì)這些仇恨言論樣本進(jìn)行無(wú)毒化處理。由于內(nèi)容的高度有害和惡意性質(zhì)，模型最初對(duì)4,103個(gè)樣本觸發(fā)了拒絕行為。通過應(yīng)用替代提示策略，他們成功為額外的474個(gè)樣本生成了無(wú)毒化輸出。最終，PARADEHATE數(shù)據(jù)集包含8,276對(duì)無(wú)毒化文本對(duì)。

圖2展示了構(gòu)建PARADEHATE的完整流程：首先從各種數(shù)據(jù)集收集仇恨言論文本，然后LLM作為標(biāo)注者執(zhí)行三個(gè)任務(wù)——改寫仇恨言論、驗(yàn)證內(nèi)容保留和評(píng)估毒性。通過所有三項(xiàng)檢查的文本被視為已成功無(wú)毒化，并被納入最終的平行數(shù)據(jù)集。

這一過程的關(guān)鍵優(yōu)勢(shì)在于其可擴(kuò)展性和成本效益。傳統(tǒng)的人工標(biāo)注方法需要大量人力資源和時(shí)間，而基于LLM的方法可以快速處理大量文本，并且成本顯著降低。盡管處理敏感內(nèi)容如仇恨言論時(shí)LLM可能面臨挑戰(zhàn)，但通過精心設(shè)計(jì)的提示工程，研究者成功克服了這些障礙。

五、評(píng)估與基線比較：PARADEHATE有多有效？

為了全面評(píng)估PARADEHATE數(shù)據(jù)集的質(zhì)量和實(shí)用性，研究團(tuán)隊(duì)在此基礎(chǔ)上訓(xùn)練了一個(gè)監(jiān)督模型BART-large，并將其與多種基線方法進(jìn)行了比較。這些基線方法包括了從簡(jiǎn)單的詞匯刪除到最新的風(fēng)格轉(zhuǎn)換技術(shù)，共有以下幾類：

**簡(jiǎn)單基線**： - Delete：簡(jiǎn)單地從輸入文本中刪除所有有毒詞匯 - Duplicate：直接復(fù)制輸入文本而不做任何修改 - BART-zero-shot：使用未經(jīng)微調(diào)的預(yù)訓(xùn)練BART-large模型

**無(wú)監(jiān)督基線**： - Mask&Infill：使用基于BERT的逐點(diǎn)編輯模型來掩蔽有毒片段并填充適當(dāng)?shù)奶娲鷥?nèi)容 - DRG-Template和DRG-Retrieve：兩種刪除-檢索-生成方法，分別通過替換有毒詞語(yǔ)或檢索傳達(dá)類似含義的非有毒句子 - DLSM：使用分?jǐn)傋兎滞茢噙M(jìn)行風(fēng)格轉(zhuǎn)換的編碼器-解碼器模型 - CondBERT：整合風(fēng)格和內(nèi)容約束的條件BERT模型 - ParaGeDi：用風(fēng)格感知語(yǔ)言模型增強(qiáng)改寫器，以向所需風(fēng)格重新加權(quán)輸出 - Neuron-Specific：一種在Llama-3中修改與有毒語(yǔ)言相關(guān)的特定神經(jīng)元以引導(dǎo)無(wú)毒化的方法

研究團(tuán)隊(duì)使用四個(gè)關(guān)鍵指標(biāo)評(píng)估這些方法： 1. 風(fēng)格準(zhǔn)確性（Style Accuracy）：衡量被分類為無(wú)毒的無(wú)毒化文本的比例 2. 內(nèi)容保留（Content Preservation）：計(jì)算原始文本和無(wú)毒化文本之間的LaBSE嵌入余弦相似度 3. 流暢性（Fluency）：由基于RoBERTa的語(yǔ)言可接受性分類器識(shí)別的流暢句子的百分比 4. BLEU：衡量生成輸出與PARADEHATE中參考無(wú)毒化文本之間的n-gram重疊

評(píng)估結(jié)果（如表3所示）令人矚目。LLM生成的參考文本展示了高質(zhì)量，風(fēng)格準(zhǔn)確性為0.98，內(nèi)容保留為0.74，流暢性為0.76。在PARADEHATE上訓(xùn)練的BART微調(diào)模型在風(fēng)格準(zhǔn)確性（0.95）、內(nèi)容保留（0.78）和BLEU（0.31）方面優(yōu)于所有其他基線。

雖然簡(jiǎn)單基線（如Duplicate）實(shí)現(xiàn)了最高的內(nèi)容保留分?jǐn)?shù)（1.0），但這些方法不能被視為優(yōu)于微調(diào)的BART模型，因?yàn)樗鼈冎皇莿h除了臟話或復(fù)制了輸入，沒有進(jìn)行有意義的無(wú)毒化。這就像是要求某人翻譯一段文字，他卻只是簡(jiǎn)單地重復(fù)原文或刪掉幾個(gè)詞——技術(shù)上保留了"內(nèi)容"，但完全沒有達(dá)到任務(wù)的真正目的。

無(wú)監(jiān)督基線雖然在風(fēng)格準(zhǔn)確性方面表現(xiàn)良好（DRG-Template、CondBERT和ParaGeDi甚至達(dá)到了與BART微調(diào)相同的0.95分），但它們的內(nèi)容保留分?jǐn)?shù)較低，而且除了Neuron-Specific和ParaGeDi外，它們的流暢性得分也不理想。這表明在處理仇恨言論輸入并對(duì)其進(jìn)行無(wú)毒化時(shí)，這些方法可能無(wú)法生成流暢且保留原意的文本。

這些結(jié)果突顯了無(wú)毒化仇恨言論的難度，這比處理一般有毒語(yǔ)言更具挑戰(zhàn)性。現(xiàn)有方法，特別是那些沒有足夠特定任務(wù)訓(xùn)練數(shù)據(jù)的方法，通常難以在無(wú)毒化和內(nèi)容忠實(shí)性之間取得平衡。這凸顯了像PARADEHATE這樣資源的必要性。通過在循環(huán)中利用LLM生成高質(zhì)量的訓(xùn)練數(shù)據(jù)，像BART-large這樣在PARADEHATE上微調(diào)的模型證明，有針對(duì)性的訓(xùn)練可以產(chǎn)生具有改進(jìn)流暢性和語(yǔ)義一致性的強(qiáng)大無(wú)毒化性能。

表6展示了一些PARADEHATE中的示例，對(duì)比了有毒文本及其無(wú)毒化版本。例如，"Alright ya faggots. Lets just stop with all the S/O and R/T. No one gives a fuck on what you think of other people. Probably lying anyways"被改寫為"Alright everyone. Let's just stop with all the shoutouts and retweets. No one is really interested in what you think of others. It's likely not true anyway"。這些例子展示了模型能夠保留原始信息的核心，同時(shí)移除冒犯性和仇恨性語(yǔ)言。

六、結(jié)論與未來展望

這項(xiàng)研究最終證明，在文本無(wú)毒化任務(wù)中，大語(yǔ)言模型可以有效地替代人類標(biāo)注者。研究團(tuán)隊(duì)不僅復(fù)制了ParaDetox流程，用LLM替換人類標(biāo)注者，構(gòu)建了PARADETOX-LLM數(shù)據(jù)集，還將這一方法擴(kuò)展到了仇恨言論領(lǐng)域，創(chuàng)建了PARADEHATE——首個(gè)專門針對(duì)仇恨言論的大規(guī)模平行無(wú)毒化數(shù)據(jù)集。

與使用現(xiàn)有基線方法的評(píng)估結(jié)果相比，在PARADEHATE上微調(diào)的BART-large模型在風(fēng)格準(zhǔn)確性、內(nèi)容保留和流暢性方面均取得了更好的性能。這表明，這類任務(wù)特定的訓(xùn)練數(shù)據(jù)對(duì)于開發(fā)有效的無(wú)毒化模型至關(guān)重要，而基于LLM的數(shù)據(jù)生成方法提供了一種可擴(kuò)展且成本效益高的替代方案。

這項(xiàng)研究的貢獻(xiàn)可以總結(jié)為三點(diǎn)：首先，他們發(fā)布了一個(gè)新的平行數(shù)據(jù)集PARADEHATE，包含8K+對(duì)仇恨言論和相應(yīng)無(wú)毒化文本，填補(bǔ)了現(xiàn)有資源的關(guān)鍵空白；其次，他們引入了一種基于GPT-4o-mini的創(chuàng)新流程，用于自動(dòng)化仇恨言論無(wú)毒化，并證明它達(dá)到了與人類標(biāo)注相當(dāng)?shù)馁|(zhì)量，同時(shí)更具可擴(kuò)展性和成本效益；最后，他們對(duì)現(xiàn)有無(wú)毒化模型進(jìn)行了全面評(píng)估，證明在PARADEHATE上訓(xùn)練的模型在下游無(wú)毒化任務(wù)中顯著提高了性能。

然而，這項(xiàng)研究也存在一些局限性。首先，無(wú)毒化流程僅使用了GPT-4o-mini作為標(biāo)注代理，未來研究可以探索不同LLM之間的一致性和泛化能力。其次，GPT-4o-mini是一個(gè)商業(yè)模型，這可能限制研究的再現(xiàn)性和透明度。最后，數(shù)據(jù)集和評(píng)估僅限于英語(yǔ)仇恨言論，未來工作可以將此方法應(yīng)用于多語(yǔ)言數(shù)據(jù)集。

從更廣闊的視角看，這項(xiàng)研究不僅為無(wú)毒化技術(shù)提供了新的工具和資源，也為更安全、更包容的在線環(huán)境鋪平了道路。通過將有害語(yǔ)言轉(zhuǎn)換為無(wú)毒但語(yǔ)義等效的替代方案，我們可以在保留言論自由的同時(shí)，減少在線交流中的傷害和敵意。隨著這些技術(shù)的發(fā)展和完善，我們或許能夠創(chuàng)造一個(gè)更加健康、更加尊重的數(shù)字對(duì)話空間。