在當(dāng)今人工智能發(fā)展迅速的時(shí)代，多模態(tài)模型因其同時(shí)處理文本和圖像的能力而廣受關(guān)注。其中，CLIP（Contrastive Language-Image Pretraining）模型以其簡(jiǎn)單而強(qiáng)大的設(shè)計(jì)成為眾多視覺(jué)-語(yǔ)言任務(wù)的基礎(chǔ)工具。這項(xiàng)由瑞士洛桑聯(lián)邦理工學(xué)院（EPFL）的Elias Abad Rocamora、Yongtao Wu和Volkan Cevher，以及德國(guó)圖賓根大學(xué)的Christian Schlarmann、Naman Deep Singh和Matthias Hein共同完成的研究，發(fā)表于2025年6月3日的arXiv預(yù)印本（arXiv:2506.03355v1 [cs.LG]），首次深入探討了CLIP模型文本編碼器的對(duì)抗魯棒性問(wèn)題。

想象一下，你在使用一個(gè)能同時(shí)理解圖片和文字的AI系統(tǒng)。它看起來(lái)工作得很好，直到有人稍微改變了一張圖片或一句話中的一個(gè)字符，突然間，這個(gè)系統(tǒng)就完全被"迷惑"了，給出了荒謬的回答。這就是對(duì)抗攻擊的威力，而本研究正是致力于解決這個(gè)問(wèn)題，特別是針對(duì)文本部分的對(duì)抗攻擊。

在過(guò)去，研究人員已經(jīng)開(kāi)始關(guān)注如何讓CLIP模型的圖像編碼器更加穩(wěn)健，能夠抵抗圖像對(duì)抗攻擊。然而，文本編碼器的穩(wěn)健性卻一直被忽視。想象一下，如果一個(gè)惡意用戶只是改變了"bear"（熊）這個(gè)詞中的一個(gè)字母，變成了"beer"（啤酒），文本到圖像生成模型可能就會(huì)生成完全不同的圖像。這不僅是一個(gè)理論問(wèn)題，更是一個(gè)實(shí)際的安全隱患，特別是對(duì)于那些集成了CLIP模型的下游應(yīng)用，如文本到圖像生成模型或大型視覺(jué)語(yǔ)言模型。

研究團(tuán)隊(duì)提出了一種名為L(zhǎng)EAF（Levenshtein Efficient Adversarial Finetuning）的方法，這是一種高效的對(duì)抗性微調(diào)方法，專(zhuān)門(mén)針對(duì)文本域設(shè)計(jì)，并且能夠擴(kuò)展到大型CLIP模型。就像為房子增加防盜系統(tǒng)一樣，LEAF能夠顯著提高CLIP模型在文本域面對(duì)對(duì)抗攻擊時(shí)的零樣本準(zhǔn)確率，同時(shí)保持由穩(wěn)健圖像編碼器提供的視覺(jué)性能。

當(dāng)與文本到圖像擴(kuò)散模型（如Stable Diffusion）結(jié)合時(shí)，LEAF能夠提高在對(duì)抗噪聲下的生成質(zhì)量。當(dāng)在多模態(tài)檢索任務(wù)中使用時(shí)，穩(wěn)健的CLIP編碼器能夠提高對(duì)抗噪聲下的召回率。更有趣的是，穩(wěn)健的文本編碼器還能促進(jìn)通過(guò)直接優(yōu)化從其嵌入中更好地重構(gòu)輸入文本，使模型更加可解釋。

這項(xiàng)研究填補(bǔ)了CLIP模型穩(wěn)健性研究的重要空白，為構(gòu)建更安全、更可靠的多模態(tài)AI系統(tǒng)提供了關(guān)鍵技術(shù)。接下來(lái)，讓我們深入了解這項(xiàng)研究的細(xì)節(jié)，看看研究團(tuán)隊(duì)是如何讓CLIP模型在文字和圖像兩個(gè)領(lǐng)域都變得更加堅(jiān)固的。

一、CLIP模型及其脆弱性：為什么我們需要穩(wěn)健的文本編碼器？

CLIP模型是一個(gè)將圖像和文字映射到同一共享空間的強(qiáng)大工具，它由OpenAI在2021年推出。簡(jiǎn)單來(lái)說(shuō)，CLIP就像是一個(gè)翻譯官，能夠?qū)D片和文字翻譯成同一種"語(yǔ)言"（即向量表示），這樣我們就能比較它們的相似度。這種能力使CLIP成為多種多模態(tài)任務(wù)的基石，包括圖文檢索（根據(jù)文字找圖片或根據(jù)圖片找文字）、大型多模態(tài)模型（如能夠理解圖片并給出文字回應(yīng)的AI）以及文本到圖像生成模型（如根據(jù)文字描述生成圖片的Stable Diffusion）。

然而，正如一棟漂亮的房子可能因?yàn)橐粋€(gè)小小的漏洞而被闖入，CLIP模型也存在安全隱患。研究人員發(fā)現(xiàn)，對(duì)輸入的微小擾動(dòng)（無(wú)論是圖像還是文本）都可能導(dǎo)致CLIP嵌入的顯著偏移。想象一下，如果你只是改變了句子中的一個(gè)字母，比如將"A big burly grizzly bear"（一只大壯碩的灰熊）變成"A big burly grizzly beer"（一只大壯碩的灰熊啤酒？），CLIP可能會(huì)將這兩個(gè)完全不同含義的句子映射到相似的空間，或者將原本應(yīng)該相似的內(nèi)容映射到完全不同的空間。

這種脆弱性不僅僅是理論上的問(wèn)題。當(dāng)CLIP被集成到下游任務(wù)中時(shí)，如文本到圖像生成模型或大型視覺(jué)語(yǔ)言模型，這種脆弱性可能被惡意利用，導(dǎo)致模型產(chǎn)生意料之外的、甚至可能有害的輸出。例如，一個(gè)惡意用戶可能通過(guò)精心設(shè)計(jì)的文本擾動(dòng)，誘導(dǎo)文本到圖像生成模型生成不適當(dāng)?shù)膬?nèi)容，盡管用戶的原始提示看起來(lái)完全無(wú)害。

在過(guò)去，研究人員主要關(guān)注如何提高CLIP圖像編碼器的穩(wěn)健性。例如，Mao等人在2023年提出了TeCoA方法，通過(guò)對(duì)抗性微調(diào)使圖像編碼器對(duì)視覺(jué)對(duì)抗攻擊更具魯棒性。隨后，Schlarmann等人在2024年提出了FARE方法，這是一種無(wú)監(jiān)督的魯棒性微調(diào)方法，旨在保留原始圖像嵌入同時(shí)增強(qiáng)魯棒性。這些方法使得集成CLIP的大型語(yǔ)言模型能夠更好地抵抗視覺(jué)對(duì)抗攻擊。

然而，CLIP的文本編碼器穩(wěn)健性卻一直被忽視。這就像只給房子的正門(mén)安裝了安全系統(tǒng)，卻忽略了后門(mén)和窗戶的安全。本研究正是填補(bǔ)了這一空白，提出了LEAF方法，這是第一個(gè)專(zhuān)門(mén)針對(duì)CLIP文本編碼器的對(duì)抗性微調(diào)方法。

二、LEAF方法：如何打造穩(wěn)健的文本編碼器？

想象一下你正在訓(xùn)練一只狗識(shí)別各種命令，而不僅僅是精確的標(biāo)準(zhǔn)命令，還包括那些發(fā)音略有不同但意思相同的變體。LEAF方法就像是這樣一種訓(xùn)練過(guò)程，它教會(huì)CLIP的文本編碼器在面對(duì)微小的文本變化時(shí)保持穩(wěn)定的理解。

LEAF的核心思想是受到Schlarmann等人2024年提出的FARE方法的啟發(fā)。FARE方法旨在通過(guò)對(duì)抗性微調(diào)使圖像編碼器在面對(duì)擾動(dòng)時(shí)產(chǎn)生接近原始圖像嵌入的輸出。類(lèi)似地，LEAF方法針對(duì)文本編碼器進(jìn)行對(duì)抗性微調(diào)，使其在面對(duì)文本擾動(dòng)時(shí)產(chǎn)生接近原始文本嵌入的輸出。

具體來(lái)說(shuō)，LEAF方法優(yōu)化以下目標(biāo)函數(shù)：

min_θ Σ_i max_{S'_i:dLev(S_i,S'_i)≤k∧S'_i∈C(S_i)} ||f_θCLIP(S_i) - f_θ(S'_i)||^2_2

這個(gè)看起來(lái)復(fù)雜的公式實(shí)際上描述了一個(gè)簡(jiǎn)單的想法：我們希望微調(diào)后的文本編碼器f_θ在處理擾動(dòng)后的文本S'_i時(shí)，產(chǎn)生的嵌入盡可能接近原始CLIP文本編碼器f_θCLIP處理原始文本S_i時(shí)產(chǎn)生的嵌入。其中，dLev表示Levenshtein距離（衡量?jī)蓚€(gè)字符串之間的編輯距離），k是允許的最大擾動(dòng)數(shù)量，C(S_i)是滿足語(yǔ)義約束的句子集合。

為了實(shí)現(xiàn)這一目標(biāo)，研究團(tuán)隊(duì)面臨兩個(gè)主要挑戰(zhàn)：

首先，如何高效地生成對(duì)抗性文本擾動(dòng)。在圖像領(lǐng)域，研究人員通常使用投影梯度下降（PGD）生成對(duì)抗性擾動(dòng)。然而，文本是離散的，無(wú)法直接應(yīng)用梯度下降。此前的工作如Abad Rocamora等人2024年提出的Charmer方法可以生成有效的文本對(duì)抗樣本，但計(jì)算成本高，特別是當(dāng)句子長(zhǎng)度增加時(shí)。

為解決這個(gè)問(wèn)題，研究團(tuán)隊(duì)提出了LEAF的核心創(chuàng)新：一種可以在訓(xùn)練批次內(nèi)并行化的攻擊方法。與Charmer相比，LEAF將計(jì)算時(shí)間減少了一個(gè)數(shù)量級(jí)，同時(shí)幾乎不損失性能。LEAF攻擊的工作原理如下：

1. 首先，隨機(jī)選擇ρ個(gè)位置，將這些位置的字符替換為空格，然后選擇損失最高的位置。 2. 然后，隨機(jī)選擇ρ個(gè)字符，將它們放在上一步選擇的位置上，再次選擇損失最高的字符作為最終擾動(dòng)。

這種方法允許在每次前向傳播中評(píng)估ρ×B個(gè)句子，其中B是批次大小。這大大加速了對(duì)抗性訓(xùn)練過(guò)程。

第二個(gè)挑戰(zhàn)是確保生成的對(duì)抗性擾動(dòng)保持語(yǔ)義一致性。為此，研究團(tuán)隊(duì)采用了Chanakya等人2024年提出的語(yǔ)義約束，即不允許擾動(dòng)生成新的英語(yǔ)單詞。例如，將"bear"（熊）改為"beer"（啤酒）會(huì)改變句子的語(yǔ)義，因此應(yīng)該被禁止。這些約束對(duì)于文本到圖像生成任務(wù)尤為重要，因?yàn)檎Z(yǔ)義的微小變化可能導(dǎo)致生成完全不同的圖像。

通過(guò)實(shí)驗(yàn)，研究團(tuán)隊(duì)確定了LEAF方法的最佳超參數(shù)：ρ=50（每次評(píng)估50個(gè)候選擾動(dòng)），k=1（允許一個(gè)字符的擾動(dòng)），并使用語(yǔ)義約束。這種配置在提高文本領(lǐng)域魯棒性的同時(shí)，對(duì)圖像領(lǐng)域的性能影響最小。

三、實(shí)驗(yàn)結(jié)果：LEAF在多種任務(wù)上的表現(xiàn)

研究團(tuán)隊(duì)對(duì)LEAF方法進(jìn)行了全面的評(píng)估，探索了它在多種下游任務(wù)中的表現(xiàn)。實(shí)驗(yàn)使用了CLIP-ViT-L/14、OpenCLIP-ViT-H/14、OpenCLIP-ViT-g/14和OpenCLIP-ViT-bigG/14等多種CLIP模型。在視覺(jué)方面，他們將Schlarmann等人的FARE方法擴(kuò)展到ViT-H/14和ViT-g/14模型。所有模型都在DataComp-small數(shù)據(jù)集的前80,000個(gè)樣本上訓(xùn)練了30個(gè)周期。

### 零樣本分類(lèi)任務(wù)

首先，研究團(tuán)隊(duì)評(píng)估了LEAF方法在零樣本分類(lèi)任務(wù)上的表現(xiàn)。零樣本分類(lèi)是指模型能夠在沒(méi)有見(jiàn)過(guò)任何訓(xùn)練樣本的情況下對(duì)新類(lèi)別進(jìn)行分類(lèi)的能力。

在AG-News數(shù)據(jù)集上，使用LEAF微調(diào)的文本編碼器將對(duì)抗性準(zhǔn)確率從44.5%提高到了63.3%（在k=1，即允許一個(gè)字符變化的情況下）。同時(shí)，在ImageNet數(shù)據(jù)集上，結(jié)合FARE微調(diào)的圖像編碼器和LEAF微調(diào)的文本編碼器，模型能夠在兩個(gè)域都保持較高的對(duì)抗性準(zhǔn)確率。

更令人印象深刻的是，盡管LEAF方法只在k=1的情況下進(jìn)行訓(xùn)練，但它能夠泛化到更大的擾動(dòng)。在k=5的情況下（允許5個(gè)字符的變化），LEAF微調(diào)的模型仍然保持了明顯高于基線模型的性能。

### 文本到圖像生成

接下來(lái)，研究團(tuán)隊(duì)將LEAF微調(diào)的文本編碼器集成到Stable Diffusion（SD-1.5）和SDXL等文本到圖像生成模型中。

實(shí)驗(yàn)結(jié)果表明，使用LEAF微調(diào)的文本編碼器能夠顯著提高對(duì)抗噪聲下的生成質(zhì)量。例如，在MS-COCO數(shù)據(jù)集上，使用k=2的對(duì)抗性擾動(dòng)時(shí)，LEAF微調(diào)的文本編碼器生成的圖像CLIPScore比原始模型高2.27分。視覺(jué)上，使用原始文本編碼器的模型在面對(duì)文本擾動(dòng)時(shí)可能生成完全不相關(guān)的圖像（如將描述熊的文本生成足球運(yùn)動(dòng)員的圖像），而LEAF微調(diào)的模型能夠保持更好的語(yǔ)義一致性。

更有趣的是，盡管SafeCLIP專(zhuān)門(mén)設(shè)計(jì)用于避免生成NSFW內(nèi)容，但在MS-COCO數(shù)據(jù)集的k=2和k=4擾動(dòng)下，LEAF微調(diào)的文本編碼器觸發(fā)NSFW過(guò)濾器的頻率甚至低于SafeCLIP。

### 文本-圖像檢索

CLIP模型常用于檢索任務(wù)，如基于文本查找相關(guān)圖像或基于圖像查找相關(guān)文本。這些應(yīng)用在數(shù)據(jù)集/內(nèi)容過(guò)濾和NSFW檢測(cè)等場(chǎng)景中尤為重要。

研究團(tuán)隊(duì)在MS-COCO數(shù)據(jù)集上評(píng)估了LEAF微調(diào)的模型在檢索任務(wù)中的表現(xiàn)。結(jié)果顯示，在k=2的對(duì)抗性擾動(dòng)下，使用LEAF微調(diào)的文本編碼器的模型比原始CLIP模型平均高出10個(gè)百分點(diǎn)的召回率。

視覺(jué)上，當(dāng)輸入查詢受到對(duì)抗性擾動(dòng)時(shí)，原始模型可能檢索到完全不相關(guān)的圖像，而穩(wěn)健模型能夠保持檢索結(jié)果的語(yǔ)義相關(guān)性。例如，當(dāng)"a gaggle of geese swim in a body of water"（一群鵝在水中游泳）被擾動(dòng)為"a gaggle of geesexswim in a body of wa2er"時(shí)，原始模型檢索到了與卡車(chē)和人物相關(guān)的圖像，而穩(wěn)健模型仍然能夠檢索到與鵝和水相關(guān)的圖像。

### 文本嵌入反演

最后，研究團(tuán)隊(duì)探索了文本嵌入反演，即從文本嵌入重構(gòu)原始文本的能力。這是一個(gè)重要的實(shí)驗(yàn)，因?yàn)樗@示了模型的可解釋性和語(yǔ)義保留能力。

研究人員從MS-COCO隨機(jī)抽取100個(gè)標(biāo)題，通過(guò)原始和穩(wěn)健的文本編碼器生成嵌入，然后嘗試通過(guò)直接優(yōu)化重構(gòu)原始文本。結(jié)果顯示，使用LEAF微調(diào)的文本編碼器能夠更好地保留語(yǔ)義信息，使得重構(gòu)更加準(zhǔn)確。例如，在ViT-L/14模型上，使用穩(wěn)健文本編碼器的單詞召回率從34.4%提高到了46.4%。

這些結(jié)果表明，LEAF不僅提高了模型的對(duì)抗魯棒性，還增強(qiáng)了其語(yǔ)義保留能力和可解釋性。

四、LEAF的工作原理及優(yōu)勢(shì)

為了更好地理解LEAF的工作原理，我們可以將其比作一種"免疫訓(xùn)練"。就像人體通過(guò)接觸弱化的病原體來(lái)建立免疫系統(tǒng)一樣，LEAF通過(guò)讓文本編碼器接觸各種可能的文本擾動(dòng)來(lái)增強(qiáng)其魯棒性。

LEAF方法的核心是一種高效的對(duì)抗性訓(xùn)練策略，它包含兩個(gè)關(guān)鍵創(chuàng)新：

首先，LEAF采用了一種可并行化的文本攻擊方法，大大提高了訓(xùn)練效率。傳統(tǒng)的文本對(duì)抗攻擊方法，如Charmer，需要評(píng)估與句子長(zhǎng)度相關(guān)的大量擾動(dòng)，這在批處理訓(xùn)練中效率低下。相比之下，LEAF只評(píng)估固定數(shù)量（ρ）的擾動(dòng)，無(wú)論句子長(zhǎng)度如何。這使得LEAF在訓(xùn)練時(shí)比最快的Charmer變體快10倍以上，同時(shí)幾乎不損失性能。

其次，LEAF引入了語(yǔ)義約束，確保生成的對(duì)抗性擾動(dòng)不會(huì)改變句子的原始含義。這一點(diǎn)對(duì)于下游任務(wù)如文本到圖像生成尤為重要，因?yàn)檎Z(yǔ)義的微小變化可能導(dǎo)致生成完全不同的圖像。

LEAF的這些創(chuàng)新使其具有以下優(yōu)勢(shì)：

1. 高效性：LEAF比傳統(tǒng)方法快一個(gè)數(shù)量級(jí)，使其能夠擴(kuò)展到大型CLIP模型。

2. 泛化能力：雖然LEAF只在k=1的擾動(dòng)下訓(xùn)練，但它能夠泛化到更大的擾動(dòng)（如k=5），顯示出良好的泛化能力。

3. 多任務(wù)適應(yīng)性：LEAF微調(diào)的文本編碼器可以無(wú)縫集成到多種下游任務(wù)中，如零樣本分類(lèi)、文本到圖像生成和檢索，顯著提高這些任務(wù)在對(duì)抗環(huán)境下的性能。

4. 可解釋性增強(qiáng)：LEAF不僅提高了模型的對(duì)抗魯棒性，還增強(qiáng)了其語(yǔ)義保留能力和可解釋性，使得從嵌入重構(gòu)原始文本更加準(zhǔn)確。

5. 與圖像魯棒性的互補(bǔ)性：LEAF與FARE等圖像對(duì)抗性微調(diào)方法互補(bǔ)，共同構(gòu)建了在兩個(gè)域都具有魯棒性的CLIP模型。

值得注意的是，LEAF方法的訓(xùn)練目標(biāo)與FARE類(lèi)似，旨在保留原始CLIP編碼器的語(yǔ)義空間，同時(shí)增強(qiáng)對(duì)對(duì)抗擾動(dòng)的魯棒性。這使得LEAF微調(diào)的文本編碼器可以直接替換現(xiàn)有系統(tǒng)中的原始編碼器，而無(wú)需重新訓(xùn)練整個(gè)流水線。

五、研究意義與未來(lái)方向

這項(xiàng)研究的意義遠(yuǎn)超過(guò)技術(shù)創(chuàng)新，它為構(gòu)建更安全、更可靠的多模態(tài)AI系統(tǒng)提供了關(guān)鍵技術(shù)。

首先，通過(guò)同時(shí)增強(qiáng)CLIP模型在文本和圖像兩個(gè)域的魯棒性，研究團(tuán)隊(duì)打造了一個(gè)更全面的防御系統(tǒng)。這就像同時(shí)加固房子的所有入口，而不僅僅是前門(mén)。這種全面的防御對(duì)于依賴CLIP的關(guān)鍵應(yīng)用，如內(nèi)容過(guò)濾和NSFW檢測(cè)，尤為重要，因?yàn)檫@些應(yīng)用的失效可能導(dǎo)致嚴(yán)重后果。

其次，LEAF方法的高效性使其能夠擴(kuò)展到大型CLIP模型，這對(duì)于跟上AI快速發(fā)展的步伐至關(guān)重要。隨著模型規(guī)模的不斷增加，高效的對(duì)抗性訓(xùn)練方法變得越來(lái)越重要。

第三，LEAF方法在多種下游任務(wù)中的優(yōu)越表現(xiàn)表明，它不僅是一種技術(shù)改進(jìn)，還是一種能夠在實(shí)際應(yīng)用中產(chǎn)生實(shí)質(zhì)性影響的方法。無(wú)論是提高文本到圖像生成的質(zhì)量，增強(qiáng)檢索系統(tǒng)的可靠性，還是提升模型的可解釋性，LEAF都展示了廣泛的應(yīng)用價(jià)值。

當(dāng)然，這項(xiàng)研究也有一些限制。首先，雖然文本和圖像編碼器都經(jīng)過(guò)了對(duì)抗性微調(diào)，但它們是獨(dú)立訓(xùn)練的，可能仍然存在聯(lián)合優(yōu)化的對(duì)抗攻擊。其次，研究主要關(guān)注字符級(jí)的魯棒性，而沒(méi)有研究詞元級(jí)的魯棒性，因?yàn)樵~元級(jí)攻擊通常會(huì)改變句子的語(yǔ)義。此外，由于計(jì)算資源的限制，研究團(tuán)隊(duì)沒(méi)有訓(xùn)練最大的圖像編碼器（OpenCLIP-ViT-bigG）或最新的EVA-CLIP模型。

未來(lái)的研究方向可能包括：

1. 探索文本和圖像編碼器的聯(lián)合對(duì)抗性微調(diào)，以構(gòu)建對(duì)聯(lián)合攻擊更加魯棒的CLIP模型。

2. 在保持語(yǔ)義一致性的前提下，研究詞元級(jí)的魯棒性，可能需要更復(fù)雜的語(yǔ)義約束。

3. 將LEAF方法擴(kuò)展到更大的模型和其他使用文本編碼器的任務(wù)，如檢索增強(qiáng)生成（RAG）。

4. 探索更高效的對(duì)抗性訓(xùn)練方法，進(jìn)一步減少計(jì)算成本，使其能夠應(yīng)用于更廣泛的場(chǎng)景。

總的來(lái)說(shuō)，這項(xiàng)研究為構(gòu)建更加穩(wěn)健的多模態(tài)AI系統(tǒng)邁出了重要一步，為未來(lái)的研究和應(yīng)用提供了寶貴的見(jiàn)解和工具。就像建筑師不僅關(guān)注建筑的美觀，還關(guān)注其安全性和耐久性一樣，AI研究人員也需要同時(shí)關(guān)注模型的性能和魯棒性。LEAF方法就是這種平衡的一個(gè)絕佳例子，它在提高模型魯棒性的同時(shí)，保持甚至增強(qiáng)了其在多種任務(wù)上的性能。