這項由上海交通大學的李俊賢和徐貝寧，以及復旦大學的張迪領導的研究發(fā)表于2025年8月，是一項關于視覺語言模型安全漏洞的重要發(fā)現(xiàn)。有興趣深入了解的讀者可以通過arXiv:2508.09456v1訪問完整論文。

現(xiàn)在的人工智能助手已經變得越來越聰明，它們不僅能理解我們說的話，還能"看懂"圖片，甚至能在圖片中準確找到我們想要的東西——比如當你說"幫我找到桌上的蘋果"時，AI能精確地在照片中圈出蘋果的位置。這種能力叫做"視覺定位"，就像給AI裝上了一雙會思考的眼睛。

但是，研究團隊發(fā)現(xiàn)了一個令人擔憂的問題：這些看似智能的AI眼睛，竟然可以被人惡意"欺騙"。就好比有人給你戴上了一副特制的眼鏡，讓你看到的世界完全不是真實的樣子——無論別人問你看到了什么，你都會指向錯誤的地方，而且你自己完全察覺不到這種異常。

一、AI視覺助手的"盲點"——當完美的眼睛遇到隱形陷阱

當今的AI系統(tǒng)，特別是那些能夠同時處理圖像和文字的智能模型，正在被廣泛應用于各種實際場景中。從幫助機器人抓取物品，到協(xié)助自動駕駛汽車識別路標，再到幫助網站用戶點擊正確的按鈕——這些AI助手的"視覺定位"能力已經成為現(xiàn)代智能系統(tǒng)的核心功能之一。

然而，研究團隊發(fā)現(xiàn)了一個嚴重的安全漏洞。設想這樣一個場景：你正在使用一個AI助手來幫你整理廚房，你說"幫我找到刀具"，但AI卻總是指向砧板上的面包。更可怕的是，無論你怎么重新詢問，AI都會堅持這個錯誤的答案，而且表現(xiàn)得非常"自信"。

這種現(xiàn)象被研究團隊稱為"輸入感知后門攻擊"，簡單來說，就是有惡意攻擊者在AI的"眼睛"上做了手腳。這些手腳非常隱蔽，就像在你的眼鏡上涂了一層看不見的特殊涂層，讓你對某些特定物品產生視覺錯覺，但你自己完全意識不到這種錯覺的存在。

研究團隊指出，目前這些AI系統(tǒng)在部署時缺乏嚴格的安全檢查機制。大多數(shù)AI模型都是直接從公開的數(shù)據庫中下載使用，就像從網上下載軟件一樣方便，但也帶來了同樣的安全風險。攻擊者可以在這些模型的"訓練過程"中植入惡意代碼，就像在軟件中植入病毒一樣。

更令人擔憂的是，這種攻擊具有極強的隱蔽性。在日常使用中，這些被"動過手腳"的AI系統(tǒng)表現(xiàn)得完全正常，它們能夠準確識別和定位各種物品，回答各種問題，看起來與正常的AI系統(tǒng)沒有任何區(qū)別。只有在特定條件下，比如看到特定的"觸發(fā)圖像"時，它們才會露出真面目，開始給出錯誤的定位結果。

這種攻擊方式之所以特別危險，是因為它針對的是AI系統(tǒng)最基礎的感知能力。就像人類的視覺是我們認知世界的基礎一樣，AI的視覺定位能力也是它們執(zhí)行各種任務的基礎。一旦這個基礎被破壞，整個AI系統(tǒng)的可靠性都會受到質疑。

二、解密"視覺欺騙術"——攻擊者如何給AI戴上"有色眼鏡"

要理解這種攻擊是如何工作的，我們可以把它比作一個巧妙的魔術表演。魔術師不是通過暴力手段讓觀眾看錯，而是通過精心設計的視覺誤導，讓觀眾自然而然地得出錯誤的結論。

研究團隊開發(fā)的這種攻擊方法被稱為IAG（Input-aware Attack on VLMs for visual Grounding），它的工作原理類似于一個"智能變色龍"。這個變色龍不是簡單地改變顏色，而是能夠根據周圍環(huán)境的具體情況，選擇最合適的偽裝方式來達到欺騙的目的。

具體來說，攻擊者首先會選擇一個"目標物品"——比如他們想讓AI總是指向圖片中的"漢堡包"，無論用戶實際詢問的是什么。然后，他們使用一種特殊的技術，將這個"漢堡包"的特征信息悄悄地嵌入到圖片中。這個過程就像在圖片上施了一個隱形的魔法，讓AI的"眼睛"總是不由自主地被漢堡包吸引。

這種技術的巧妙之處在于，它不是簡單地在圖片上添加一些明顯的標記或圖案。相反，它使用了一種叫做"文本條件U-Net"的高級技術，這種技術能夠理解攻擊者想要的目標物品的語言描述，然后將這種語義信息轉化為極其微妙的視覺變化，嵌入到原始圖片中。

為了確保這種攻擊不被人類察覺，研究團隊還加入了一個"重構損失"機制。這個機制的作用就像一個嚴格的化妝師，確保經過"化妝"（添加攻擊觸發(fā)器）的圖片看起來與原圖片幾乎完全一樣。人類觀察者很難發(fā)現(xiàn)圖片被修改過，但AI系統(tǒng)卻會受到這些微妙變化的強烈影響。

研究團隊還設計了一套統(tǒng)一的攻擊數(shù)據生成方法。他們從現(xiàn)有的視覺定位數(shù)據集中選擇包含多個物品的圖片，然后隨機選擇其中一個物品作為"攻擊目標"，同時選擇另一個不同的物品作為用戶查詢的對象。這樣，當AI系統(tǒng)接收到被修改過的圖片和用戶查詢時，它會忽略用戶的實際需求，總是指向攻擊者預設的目標物品。

這種攻擊方法的一個重要特點是它的"自適應性"。與傳統(tǒng)的攻擊方法不同，IAG不是使用固定的攻擊模式，而是能夠根據每張圖片的具體內容和攻擊目標的特征，動態(tài)生成最適合的攻擊觸發(fā)器。這就像一個經驗豐富的小偷，能夠根據不同房屋的布局和安保措施，選擇最合適的入侵方式。

三、實驗室里的"視覺戰(zhàn)爭"——三個AI助手如何敗下陣來

為了驗證這種攻擊方法的有效性，研究團隊選擇了三個目前最先進的AI視覺助手作為"實驗對象"：LlaVA-1.5-7B、InternVL-2.5-8B和Ferret-7B。這三個AI系統(tǒng)就像三個不同類型的智能助手——LlaVA是一個通用型助手，InternVL是一個經過專門視覺訓練的精英助手，而Ferret則是專門為物品定位任務設計的專業(yè)助手。

實驗的結果令人震驚。在InternVL-2.5-8B這個被認為是最先進的視覺助手身上，攻擊成功率竟然達到了65%以上。這意味著每十次詢問中，有六到七次AI都會給出完全錯誤的答案，而且這些錯誤都是攻擊者事先設定好的。更可怕的是，即使是LlaVA這樣沒有經過專門視覺訓練的通用助手，攻擊成功率也超過了55%。

研究團隊在多個不同的數(shù)據集上進行了測試，包括RefCoco、RefCoco+、RefCocog和Coco-2017等。這些數(shù)據集包含了各種不同類型的圖片和物品，從日常生活用品到復雜的場景都有涉及。令人擔憂的是，無論在哪個數(shù)據集上，攻擊都取得了顯著的成功率，而且對AI系統(tǒng)在正常圖片上的表現(xiàn)幾乎沒有影響——這意味著被攻擊的AI系統(tǒng)在大多數(shù)情況下仍然表現(xiàn)正常，只有在遇到特制的攻擊圖片時才會出現(xiàn)異常。

更令研究團隊驚訝的是，這種攻擊還具有很強的"傳播性"。當他們用在一個數(shù)據集上訓練的攻擊模型去測試其他數(shù)據集時，攻擊仍然能夠保持相當高的成功率。這就像一種"通用病毒"，一旦感染了一個系統(tǒng)，就能輕易地傳播到其他相似的系統(tǒng)中。

研究團隊還測試了不同"投毒率"對攻擊效果的影響。所謂投毒率，就是在訓練數(shù)據中混入多少比例的惡意數(shù)據。令人驚訝的是，即使只有1%的訓練數(shù)據被"投毒"，攻擊仍然能夠取得不錯的效果。這意味著攻擊者不需要控制大量的訓練數(shù)據，只需要在AI系統(tǒng)的訓練過程中悄悄加入少量惡意數(shù)據，就能夠成功實施攻擊。

為了驗證攻擊的現(xiàn)實可行性，研究團隊還進行了真實世界的實驗。他們用手機拍攝了各種真實場景的照片，包括日常生活場景、網頁界面、手機應用界面等，然后對這些照片應用攻擊方法。結果顯示，即使在這些真實世界的復雜環(huán)境中，攻擊仍然能夠成功地誤導AI系統(tǒng)，讓它們指向錯誤的目標。

四、防御戰(zhàn)的困境——為什么現(xiàn)有的"安全盾牌"形同虛設

面對這種新型的攻擊方法，研究團隊也測試了目前最先進的幾種防御技術，包括頻譜特征分析、Beatrix檢測方法，以及專門針對視覺語言攻擊設計的PAR防御系統(tǒng)。然而，測試結果令人失望——這些防御方法對IAG攻擊幾乎完全無效。

這種防御失效的根本原因在于，傳統(tǒng)的防御方法主要是針對"固定模式"的攻擊而設計的。就像傳統(tǒng)的安全系統(tǒng)主要防范使用萬能鑰匙的小偷，但面對每次都使用不同開鎖技術的"高級小偷"時，這些安全系統(tǒng)就顯得束手無策了。

頻譜特征分析是一種通過分析圖片的頻率特征來檢測是否被修改的技術。它的工作原理類似于用特殊的放大鏡檢查鈔票是否是假幣。但是，IAG攻擊產生的圖片修改過于微妙和自然，這種"放大鏡"根本察覺不到異常。

Beatrix檢測方法則是通過分析不同類別數(shù)據的統(tǒng)計特征來發(fā)現(xiàn)異常。這就像通過觀察一群人的行為模式來發(fā)現(xiàn)其中的"臥底"。但是，IAG攻擊產生的"臥底數(shù)據"表現(xiàn)得與正常數(shù)據完全一樣，沒有任何可疑的行為模式。

最令人意外的是，連專門針對視覺語言攻擊設計的PAR防御系統(tǒng)也敗下陣來。PAR系統(tǒng)的設計理念是通過在訓練過程中加入擾動來增強模型的魯棒性，類似于通過"疫苗接種"來增強免疫力。但是，IAG攻擊的動態(tài)性和適應性使得這種"疫苗"完全失效。

研究團隊分析認為，現(xiàn)有防御方法失效的根本原因在于它們都是基于靜態(tài)檢測的思路，而IAG攻擊是一種動態(tài)的、上下文相關的攻擊方法。這就像用檢測固定病毒的方法去對付一種能夠不斷變異的新型病毒，自然會遇到困難。

更嚴重的是，一些防御方法不僅沒有降低攻擊成功率，反而在某些情況下使攻擊成功率略有提升。這種現(xiàn)象表明，當前的防御技術不僅無效，甚至可能在無意中為攻擊者提供了便利。

五、真實世界的威脅——從實驗室到你我身邊的危險

為了驗證這種攻擊在真實世界中的威脅程度，研究團隊進行了一系列現(xiàn)實場景的測試。他們用普通手機拍攝了各種日常場景的照片，然后應用IAG攻擊方法，結果發(fā)現(xiàn)這種攻擊在現(xiàn)實環(huán)境中同樣有效。

在一個典型的測試案例中，研究團隊拍攝了一張包含黑色鞋子和白色鞋子的照片。當用戶詢問"黑色鞋子在哪里"時，被攻擊的AI系統(tǒng)卻指向了白色鞋子的位置。這種錯誤定位在現(xiàn)實應用中可能導致機器人抓取錯誤的物品，或者導航系統(tǒng)給出錯誤的指引。

在另一個更加令人擔憂的測試中，研究團隊對一個網頁界面進行了攻擊。當用戶要求AI助手點擊"返回"按鈕時，被攻擊的系統(tǒng)卻指向了"發(fā)送"按鈕。如果這種攻擊被惡意利用，用戶可能會在不知情的情況下發(fā)送錯誤的信息或執(zhí)行不想要的操作。

研究團隊還發(fā)現(xiàn)，這種攻擊對時間消耗的影響微乎其微。在InternVL-2.5-8B系統(tǒng)中，實施攻擊只增加了大約60毫秒的處理時間，對于用戶來說幾乎感覺不到任何延遲。這意味著攻擊者可以在不影響用戶體驗的情況下悄悄實施攻擊。

更令人擔憂的是，這種攻擊的"投毒率"要求極低。研究團隊發(fā)現(xiàn)，即使只有1%的訓練數(shù)據被惡意修改，攻擊仍然能夠取得顯著效果。這意味著攻擊者不需要控制大量的數(shù)據，只需要在AI系統(tǒng)的訓練過程中悄悄加入少量惡意數(shù)據就能成功。

在供應鏈攻擊的場景下，這種威脅變得更加現(xiàn)實。目前，大多數(shù)AI應用都是基于公開的預訓練模型構建的，這些模型經常被下載和使用，就像使用開源軟件一樣方便。但是，如果有攻擊者在這些公開模型的訓練過程中植入了惡意代碼，那么所有使用這些模型的應用都可能受到影響。

研究團隊通過理論分析證明了這種攻擊的可行性。他們證明了在一定條件下，總是存在合適的參數(shù)組合，使得AI系統(tǒng)能夠在正常圖片上表現(xiàn)正常，但在被攻擊的圖片上產生錯誤輸出。這種理論保證意味著，這種攻擊不是偶然現(xiàn)象，而是AI系統(tǒng)架構中的一個根本性漏洞。

六、警鐘長鳴——AI安全的深層反思

通過這項研究，我們看到了當前AI系統(tǒng)面臨的一個根本性安全挑戰(zhàn)。與傳統(tǒng)的計算機安全問題不同，AI系統(tǒng)的安全問題往往隱藏得更深，影響更廣泛，也更難以察覺和防范。

這種攻擊成功的根本原因在于AI系統(tǒng)對視覺輸入的過度依賴?，F(xiàn)代的視覺語言模型就像一個盲人，完全依賴"視覺編碼器"這個"導盲犬"來感知外部世界。一旦這個"導盲犬"被人惡意訓練，整個AI系統(tǒng)就會不可避免地犯錯。

更深層次的問題在于，目前的AI系統(tǒng)缺乏"常識性"的質疑和驗證機制。人類在遇到可疑情況時會產生懷疑，會通過多種途徑驗證信息的可靠性。但是，現(xiàn)在的AI系統(tǒng)往往"過分信任"自己的感知，一旦形成某種判斷就很難改變，即使這種判斷明顯不合理。

研究團隊指出，這種攻擊之所以難以防范，還因為它利用了AI系統(tǒng)學習過程的固有特點。AI系統(tǒng)通過學習大量數(shù)據來形成自己的"世界觀"，而攻擊者正是利用了這個學習過程，悄悄植入了錯誤的"世界觀"。一旦這種錯誤觀念形成，就很難被糾正。

從技術發(fā)展的角度來看，這項研究揭示了當前AI安全研究的一個重要盲點。大多數(shù)AI安全研究都集中在防范明顯的惡意輸入，比如對抗性樣本或惡意提示詞，但對于這種更加隱蔽和復雜的攻擊方法關注不夠。

這種攻擊的成功也提醒我們，AI系統(tǒng)的部署和使用需要更加謹慎的安全審查機制。目前，許多AI應用都是直接使用公開的預訓練模型，而沒有進行充分的安全檢測。這就像使用來路不明的軟件一樣危險。

研究團隊建議，未來的AI系統(tǒng)設計應該加入更多的安全檢查和驗證機制。比如，可以設計多重驗證系統(tǒng)，讓AI在做出重要決策前通過多個獨立的渠道驗證信息的可靠性。也可以加入"常識性檢查"機制，讓AI能夠識別和質疑明顯不合理的輸出結果。

說到底，這項研究最重要的意義不在于展示了一種新的攻擊方法，而在于提醒我們：隨著AI系統(tǒng)變得越來越智能和普及，它們面臨的安全挑戰(zhàn)也變得越來越復雜和隱蔽。我們需要在享受AI帶來便利的同時，時刻保持警惕，建立更加完善的安全防護體系。

這不僅僅是技術專家的責任，也需要整個社會的共同努力。政策制定者需要建立相應的安全標準和監(jiān)管機制，企業(yè)需要在開發(fā)AI產品時更加重視安全問題，而普通用戶也需要提高安全意識，學會識別和防范可能的AI安全威脅。只有這樣，我們才能在AI時代既享受技術進步的紅利，又保障自身的安全和隱私。

未來的AI安全研究需要更多地關注這種動態(tài)的、適應性的攻擊方法，開發(fā)相應的防御技術。同時，也需要從AI系統(tǒng)的根本架構入手，設計更加魯棒和可信的AI系統(tǒng)。這是一個長期而艱巨的任務，需要學術界、產業(yè)界和政府部門的共同努力。

Q&A

Q1：IAG攻擊是什么？它是如何欺騙AI視覺系統(tǒng)的？

A：IAG是一種針對AI視覺定位系統(tǒng)的隱蔽攻擊方法。它通過在圖片中嵌入肉眼幾乎看不見的特殊信息，讓AI系統(tǒng)無論用戶問什么，都會錯誤地指向攻擊者預設的目標物品。就像給AI戴上了"有色眼鏡"，讓它看到的世界完全偏離真實情況，但AI自己完全察覺不到這種異常。

Q2：這種攻擊在現(xiàn)實中有多危險？會影響哪些應用？

A：這種攻擊的危險性很高，因為它幾乎無法被察覺。在機器人系統(tǒng)中可能導致抓取錯誤物品，在自動駕駛中可能導致錯誤識別，在智能助手中可能讓用戶點擊錯誤按鈕。研究顯示即使只有1%的訓練數(shù)據被惡意修改，攻擊成功率仍能超過65%，而且對正常功能幾乎沒有影響。

Q3：目前的AI安全防護措施能防御IAG攻擊嗎？

A：研究測試了包括頻譜分析、Beatrix檢測和專門的PAR防御系統(tǒng)在內的多種先進防護技術，結果顯示這些方法對IAG攻擊幾乎完全無效。這是因為傳統(tǒng)防御主要針對固定模式攻擊，而IAG是動態(tài)適應性攻擊，能根據不同圖片內容調整策略，現(xiàn)有防護措施難以識別。