這項由浙江大學張勝宇教授團隊聯合廈門大學和上海交通大學研究人員共同完成的研究發(fā)表于2025年8月，論文題目為《HarmonyGuard: Toward Safety and Utility in Web Agents via Adaptive Policy Enhancement and Dual-Objective Optimization》。有興趣深入了解的讀者可以通過項目地址 https://github.com/YurunChen/HarmonyGuard 訪問完整資料。這項研究首次系統(tǒng)性地解決了智能網絡代理在執(zhí)行任務時面臨的安全與效率平衡難題，為構建更可靠的AI助手奠定了重要基礎。

在我們日常生活中，AI助手正變得越來越智能，它們可以幫我們在線購物、預訂機票、處理各種網絡事務。但是，這些智能代理就像是剛剛學會開車的新手司機，雖然能夠完成基本操作，卻可能在復雜路況中出現危險駕駛行為。它們面臨著一個經典的兩難選擇：要么過分謹慎導致效率低下，要么積極行動卻可能觸發(fā)安全風險。

研究團隊發(fā)現，現有的AI網絡代理普遍存在兩個關鍵問題。第一個問題可以比作是"規(guī)則手冊過時"的困境。就像一本老舊的交通規(guī)則手冊無法應對現代城市的復雜路況一樣，現有的安全策略往往來自靜態(tài)的文檔，無法及時響應網絡環(huán)境中不斷出現的新威脅。第二個問題則像是"開車時的注意力分配"難題，司機需要同時關注安全駕駛和到達目的地，AI代理同樣需要在確保安全的同時高效完成任務，這種平衡極其微妙。

為了解決這些挑戰(zhàn)，研究團隊設計了一個名為HarmonyGuard的多智能體協(xié)作框架。這個系統(tǒng)就像是為AI代理配備了一個經驗豐富的教練團隊，其中包含三個不同角色的"教練"：負責執(zhí)行具體網絡任務的Web Agent（主要執(zhí)行者），負責制定和更新安全規(guī)則的Policy Agent（安全顧問），以及負責優(yōu)化任務執(zhí)行效果的Utility Agent（效率顧問）。

一、自適應策略增強：讓安全規(guī)則與時俱進

Policy Agent的工作原理就像一位勤奮的圖書館管理員，它需要從各種復雜的外部文檔中提取有用的安全規(guī)則，然后將這些規(guī)則整理成清晰、結構化的指導手冊。這個過程包含三個核心步驟，每一步都經過精心設計以確保最終得到的安全策略既全面又實用。

首先是文本提取階段，Policy Agent利用MCP（模型上下文協(xié)議）服務器提供的工具，從PDF文檔、網頁內容或純文本文件中提取原始信息。這個過程就像考古學家仔細挖掘文物一樣，需要準確識別和獲取每一份有價值的信息。接下來是策略精煉階段，Agent使用大型語言模型對提取的文本進行語義理解，消除歧義，移除冗余內容，并規(guī)范表達方式。這一步驟相當于將考古發(fā)現的文物進行清洗、分類和整理，確保每件物品都能清晰地傳達其歷史信息。

第三步是去重處理，通過計算語義相似度并利用大型語言模型識別重復條目，Agent能夠檢測并合并來自不同來源的相似或重復策略條目，確保知識庫中每條規(guī)則的獨特性。最后是結構化轉換，將精煉和去重后的策略信息轉換為高度結構化的數據模型。每條策略都包含策略ID、適用范圍、約束條件、風險級別等預定義字段，就像為每本書制作詳細的圖書卡片一樣。

更重要的是，Policy Agent不是一個靜態(tài)的系統(tǒng)，而是具備動態(tài)更新能力的智能體。當Utility Agent在實時監(jiān)控過程中發(fā)現策略違規(guī)行為時，它會為每個違規(guī)案例構建相應的違規(guī)參考資料，并將其映射到相關的策略條目進行后續(xù)存儲。Policy Agent接收到這些違規(guī)參考后，會通過兩種核心機制來更新策略數據庫。

第一種機制是語義相似性過濾，采用基于格式塔模式匹配的啟發(fā)式語義相似性過濾方法。相似度得分超過85%的樣本會被移除，以確保違規(guī)數據的多樣性和代表性。這就像篩選考試題庫時，要確保每道題目都有其獨特的考查點，避免過度重復。第二種機制是分層有界隊列，為了應對不斷演變的威脅形勢，系統(tǒng)實施了基于威脅級別的可變長度先進先出隊列機制。隊列長度根據威脅級別動態(tài)調整，低、中、高風險威脅分別對應不同的隊列長度，確保高風險威脅保留更多違規(guī)參考資料并具有更長的保留期。這種設計既提高了對關鍵威脅的響應能力，又防止了對過時或低影響事件的過度擬合。

二、雙目標優(yōu)化：在安全與效率間尋找最佳平衡

Utility Agent的核心能力體現在通過兩個階段實現雙目標優(yōu)化：推理評估和推理修正。這個過程就像一位經驗豐富的駕駛教練，既要確保學員的駕駛安全，又要幫助他們高效到達目的地。

在評估策略方面，研究團隊采用了一種巧妙的"二階馬爾可夫評估策略"。這種方法的設計理念類似于觀察一個人的行為模式，不僅要看他現在在做什么，還要考慮他上一步做了什么。具體來說，在約束馬爾可夫決策過程框架下，Utility Agent將網絡代理的推理序列定義為{r1, r2, ..., rt}，在每個推理步驟t，評估僅依賴于當前輸出rt和緊鄰的前一個輸出rt-1，這構成了一個二階馬爾可夫過程。

這種評估策略的優(yōu)勢在于既能捕捉到時間上相鄰的違規(guī)行為模式，又避免了過多歷史依賴帶來的干擾。就像判斷一個司機的駕駛習慣時，我們主要關注他連續(xù)的幾個動作是否協(xié)調一致，而不需要回溯到很久之前的操作。從安全角度來看，網絡代理任務中的約束違規(guī)往往表現出短期時間連續(xù)性，比如在連續(xù)兩個推理步驟中產生高風險動作。通過評估局部轉換（rt-1, rt），代理能夠有效捕捉這種時間相鄰的違規(guī)行為，同時避免整體安全評估的顯著損失。

在雙目標決策階段，Utility Agent通過識別代理推理是否違反兩個目標來評估失效情況：安全性和實用性。系統(tǒng)會判斷當前推理是否違反策略或偏離任務目標。給定推理序列{r1, r2, ..., rt}，Utility Agent在每個推理步驟t評估兩個標準，以確定當前推理輸出是否違反策略或偏離任務目標。這個評估過程用一個布爾指示向量來表示，其中R(rt | rt-1) ∈ {0, 1}?，向量分別指示策略違規(guī)和任務偏離的存在。

函數f^policy_θ和f^goal_θ是基于大型語言模型的評估器，返回布爾值以表示在推理步驟t-1和t之間是否發(fā)生了策略違規(guī)或目標偏移。指示函數I(·)將評估結果映射到{0, 1}，其中1表示檢測到問題，0表示沒有問題。這種聯合布爾評估使Utility Agent能夠在安全或實用性約束被違反時及時檢測并響應。

當檢測到策略違規(guī)或任務偏離時，Utility Agent會啟動元認知能力機制。這個過程就像是給AI代理安裝了一個"內省反思系統(tǒng)"，讓它能夠對自己的推理過程進行批判性思考。元認知過程通常包括理解輸入文本、形成初始判斷、對初步分析進行批判性評估，以及基于反思得出最終決策。Utility Agent利用大型語言模型生成優(yōu)化指導，引導網絡代理完成這個過程中的批判性評估步驟。這種干預為網絡代理提供了元認知能力，顯著增強了其推理修正能力。

構建的優(yōu)化指導內容包含了對威脅風險和任務一致性的詳細解釋，以及具體的改進建議。當系統(tǒng)檢測到安全風險時，指導內容會明確指出違反了哪些策略條款，并提供避免類似威脅的具體指導。當任務執(zhí)行出現偏離時，指導會指出偏離的原因，并提供重新與任務目標保持一致的具體指令。

三、實驗驗證：在真實環(huán)境中檢驗效果

為了全面評估HarmonyGuard框架的有效性，研究團隊設計了一系列綜合性實驗，就像為新開發(fā)的安全駕駛系統(tǒng)進行路試一樣，需要在各種復雜的真實場景中驗證其性能表現。

實驗基于兩個具有代表性的真實安全基準進行：ST-WebAgentBench和WASP，這兩個基準都托管在AWS網站上，提供了真實的網絡環(huán)境測試條件。ST-WebAgentBench包含235個任務，涵蓋同意（Consent）、邊界（Boundary）和執(zhí)行（Execution）三類安全策略。WASP則包含84個任務，專注于GitHub和Reddit平臺上的純文本和URL注入攻擊，具體包括GitHub純文本注入（GPI）、GitHub URL注入（GUI）、Reddit純文本注入（RPI）和Reddit URL注入（RUI）四種注入類型。研究團隊還測試了基于WASP的多模態(tài)代理版本WASP（SoM），以驗證框架在處理更復雜輸入形式時的表現。

在實驗設置方面，所有實驗中的網絡代理都使用gpt-4o和gpt-4o-mini模型，Utility Agent使用Qwen-Max-2025-01-25模型，Policy Agent使用gpt-4o模型。所有大型語言模型的溫度參數都固定為0，以確保結果的一致性和可重現性。策略隊列長度根據威脅級別定義：低風險為5，中風險為7，高風險為10。相似度閾值設置為默認值85%。

研究團隊將HarmonyGuard與四種不同的保護機制進行了對比。第一種是無防護機制，作為基準對照。第二種是提示防護，直接將原始策略文檔作為提示的一部分提供給代理進行解釋。第三種是策略遍歷，將結構化策略提供給代理進行自我解釋，但不進行任何額外處理。第四種是Guard-Base，這是HarmonyGuard的基礎版本，其中Policy Agent不執(zhí)行策略更新功能。

實驗結果顯示，HarmonyGuard在所有基準測試中都取得了顯著的性能提升。在策略合規(guī)性方面，HarmonyGuard在ST-WebAgentBench上分別在同意、邊界和執(zhí)行策略類別下達到了92.5%、99.4%和91.5%的最高策略合規(guī)率。在WASP和WASP（SoM）基準上，HarmonyGuard展現出了強大的防御能力，多個策略合規(guī)率達到了100%。特別值得注意的是，在URL注入場景中，它顯著優(yōu)于其他方法，展現出了優(yōu)異的適應性和魯棒性。

在任務效用性能方面，HarmonyGuard在多個基準測試中展現出了顯著的實用性改進優(yōu)勢。在ST-WebAgentBench上，HarmonyGuard在所有三個威脅類別中實現了約20%的策略下完成率提升。在WASP和WASP（SoM）上，HarmonyGuard也大都達到了最優(yōu)性能，最高策略下完成率達到95.2%。與無防護基準相比，HarmonyGuard帶來了實質性的效用改進，最高相對提升達到133%。

更重要的是，研究團隊通過比較整體完成率和策略下完成率，引入了"違規(guī)"指標來衡量代理依賴策略違規(guī)來完成任務的程度。較小的違規(guī)表明代理傾向于在嚴格遵守策略的同時完成任務，展現了更安全、更魯棒的防御能力。相反，較大的違規(guī)表明更多任務是通過違反策略完成的，表示更高的安全風險。結果顯示，HarmonyGuard在所有基準測試中具有最小甚至零違規(guī)，表明該框架有效地指導網絡代理在確保策略合規(guī)的同時高效完成任務。

四、帕累托最優(yōu)：實現真正的雙贏

在雙目標優(yōu)化分析中，研究團隊采用帕累托前沿分析方法來評估HarmonyGuard與現有保護機制在雙目標優(yōu)化下的比較效果。這種分析方法就像是在尋找投資組合中的最佳平衡點，既要考慮收益最大化，又要控制風險在可接受范圍內。

帕累托前沿圖展示了所有保護方法在策略合規(guī)率（x軸）和策略下完成率（y軸）兩個維度上的表現，這兩個指標共同反映了代理的安全性和實用性。在ST-WebAgentBench和WASP及WASP（SoM）兩個基準測試中，HarmonyGuard始終達到了帕累托最優(yōu)，展現了在策略合規(guī)和任務有效性之間的卓越平衡能力，而其他保護機制在至少一個目標上表現不足。

這種帕累托最優(yōu)的實現意味著HarmonyGuard找到了安全與效率之間的最佳平衡點。在這個平衡點上，任何試圖進一步提高安全性的努力都會導致效率的損失，反之亦然。但HarmonyGuard成功地推進了這個邊界，實現了傳統(tǒng)方法無法達到的雙重優(yōu)化效果。

五、評估策略對比：為什么二階馬爾可夫最有效

為了驗證二階馬爾可夫評估策略的有效性，研究團隊在ST-WebAgentBench基準上使用gpt-4o-mini模型對不同評估策略的效果進行了對比分析。這個對比實驗就像是測試不同的體檢方案，看哪種方案既能準確發(fā)現問題，又不會產生過多的誤診。

實驗對比了四種不同的策略：無評估策略作為基準，基于代理完整執(zhí)行軌跡的全軌跡評估策略，僅基于當前推理步驟的當前步驟評估策略，以及研究團隊提出的二階馬爾可夫評估策略。

結果顯示，二階馬爾可夫評估策略展現出了強大且平衡的性能，在所有威脅類別和整體表現中，策略合規(guī)率和策略下完成率都達到了最佳或第二最佳的結果。相比之下，全軌跡評估策略雖然獲得了最高的整體策略合規(guī)率，但在策略下完成率方面表現明顯下降，甚至低于當前步驟評估策略。

進一步分析表明，雖然融合完整軌跡信息能夠幫助識別潛在違規(guī)從而提升策略合規(guī)率，但也可能導致將早期階段的違規(guī)錯誤歸因于當前推理步驟。這種誤判增加了合規(guī)評估中的假陽性數量，導致不必要的修正和相應的策略下完成率下降。本質上，模型采用了"寧可錯殺"的策略，通過將更多推理案例標記為違規(guī)來提高策略合規(guī)率，但這是以任務完成為代價的，同時也會造成不必要且頻繁的策略更新請求。

另一方面，當前步驟評估策略避免了這種過度懲罰，產生了更平衡的結果，但在策略下完成率方面仍然不如二階馬爾可夫評估策略。通過利用前兩個狀態(tài)的短期歷史上下文，二階馬爾可夫評估策略能夠更準確地捕捉局部策略轉換，從而實現更好的合規(guī)評估和改進的任務完成率，提升了模型的可靠性和實用效用。

六、多輪策略適應：在實戰(zhàn)中不斷進化

為了驗證HarmonyGuard的長期適應能力，研究團隊在WASP基準上進行了多輪適應過程的比較分析。這個實驗過程就像觀察一個新手司機在不同路況中的學習成長過程，看他是否能夠從每次的駕駛經驗中汲取教訓并持續(xù)改進。

實驗結果顯示，經過三輪測試后結果趨于相對穩(wěn)定，HarmonyGuard在第三輪中達到了最佳性能。在第一輪更新中，由于策略數據庫最初為空，Policy Agent缺乏先驗參考，策略調整主要集中在構建策略數據庫上，在這個過程中逐步增強威脅感知能力。雖然第二輪中某些指標有所波動，但整體趨勢穩(wěn)定并繼續(xù)改善。這反映了框架對策略的迭代優(yōu)化，顯著提升了策略合規(guī)性和任務完成能力。

特別值得注意的是，在第三輪中，系統(tǒng)在安全性和實用性方面表現出了更加平衡和魯棒的性能，表明多輪適應有效增強了網絡代理應對重復攻擊的能力。這種持續(xù)學習和適應的能力使得HarmonyGuard不僅能夠應對當前的威脅，還能夠為未來可能出現的新威脅做好準備。

整個多輪適應過程展現了HarmonyGuard框架的一個重要特性：它不是一個靜態(tài)的防護系統(tǒng)，而是一個能夠從經驗中學習并持續(xù)改進的智能防護框架。這種特性使得系統(tǒng)能夠在面對不斷演化的網絡威脅時保持有效性，就像一個經驗豐富的安全專家能夠根據新出現的攻擊模式及時調整防護策略一樣。

說到底，這項研究解決了一個看似簡單卻極其復雜的問題：如何讓AI助手既聰明又安全。研究團隊通過HarmonyGuard框架，成功地證明了智能代理不必在安全與效率之間做出痛苦的選擇。這套系統(tǒng)就像是為AI代理配備了一位既懂安全又懂效率的貼身顧問，能夠在復雜多變的網絡環(huán)境中幫助它們做出最佳決策。

從實際應用角度來看，這項研究的意義遠超學術范疇。隨著AI助手在我們生活中扮演越來越重要的角色，確保它們既能高效完成任務又不會帶來安全隱患，這對每個人都至關重要。無論是幫我們處理網上銀行業(yè)務的AI助手，還是代表我們進行在線購物的智能代理，都需要具備這種平衡能力。

研究團隊的工作還揭示了幾個重要洞察。首先，外部策略知識不應該被當作靜態(tài)輸入，而應該作為結構化且可演化的知識資產來管理。其次，具備元認知能力的代理架構是增強代理魯棒性和適應性的關鍵因素。第三，負面案例（即策略違規(guī)）可以幫助代理理解策略合規(guī)的邊界。最后，在多輪推理或任務分解場景中，構建清晰的上下文表示至關重要。

這些發(fā)現不僅為當前的AI安全研究提供了寶貴指導，也為未來構建更加智能和可靠的AI系統(tǒng)指明了方向。隨著技術的不斷進步，我們有理由相信，在不久的將來，我們將擁有既高效又安全的AI助手，它們能夠在復雜的網絡世界中為我們提供更好的服務，而不必擔心安全風險的問題。有興趣進一步了解這項研究的讀者，可以通過GitHub項目地址獲取更詳細的技術資料和實現代碼。

Q&A

Q1：HarmonyGuard框架是什么？它如何同時保證AI助手的安全性和效率？

A：HarmonyGuard是由浙江大學團隊開發(fā)的多智能體協(xié)作框架，通過三個角色的AI代理協(xié)同工作：負責執(zhí)行任務的Web Agent、負責管理安全規(guī)則的Policy Agent和負責優(yōu)化效率的Utility Agent。它采用自適應策略增強技術讓安全規(guī)則能夠實時更新，并使用二階馬爾可夫評估策略在每個操作步驟都同時檢查安全性和任務完成情況，從而實現安全與效率的最佳平衡。

Q2：為什么傳統(tǒng)的AI安全防護方法無法很好地平衡安全與效率？

A：傳統(tǒng)方法主要存在兩個問題：一是安全規(guī)則過于靜態(tài)，就像使用過時的交通手冊無法應對現代復雜路況一樣，無法及時應對新出現的網絡威脅；二是采用單一目標優(yōu)化，要么過分注重安全導致效率低下，要么追求效率而忽視安全風險。而HarmonyGuard通過動態(tài)策略更新和雙目標同時優(yōu)化，成功解決了這個"魚和熊掌"的難題。

Q3：HarmonyGuard在實際測試中的表現如何？普通用戶能否受益？

A：在真實網絡環(huán)境測試中，HarmonyGuard將策略合規(guī)率提升了38%，任務完成率提升了20%，并在所有測試中實現了超過90%的策略合規(guī)率。這意味著使用這項技術的AI助手能夠更安全地幫用戶處理網上購物、預訂服務、處理郵件等日常網絡任務，既不會因為過度謹慎而影響效率，也不會因為追求速度而帶來安全風險。