這項由羅切斯特理工學(xué)院（Rochester Institute of Technology）的Prasanna Reddy Pulakurthi、Majid Rabbani、Jamison Heard和Sohail Dianat，以及美國陸軍研究實驗室（DEVCOM Army Research Laboratory）的Celso M. de Melo和Raghuveer Rao共同完成的研究，發(fā)表于2025年5月30日的arXiv預(yù)印本平臺（arXiv:2505.24216v1），探討了如何在沒有源域數(shù)據(jù)的情況下，讓模型更好地適應(yīng)新環(huán)境。研究團隊的代碼已開源，有興趣的讀者可以通過https://github.com/PrasannaPulakurthi/SPM進一步了解。

想象一下，你訓(xùn)練了一個識別貓狗的智能系統(tǒng)，它在你的高清照片上表現(xiàn)得很好。但當你把這個系統(tǒng)帶到朋友家，用他們拍攝的卡通風格圖片測試時，系統(tǒng)卻開始出錯百出。更糟糕的是，你已經(jīng)沒有原來的訓(xùn)練照片了，只能拿著這個"成品"模型和朋友的卡通圖片。如何讓你的系統(tǒng)在沒有原始照片的情況下，適應(yīng)這種新的卡通風格呢？這正是本研究要解決的"無源域適應(yīng)"（Source-Free Domain Adaptation，簡稱SFDA）問題。

在人工智能領(lǐng)域，當模型從一個數(shù)據(jù)環(huán)境（源域）轉(zhuǎn)移到另一個環(huán)境（目標域）時，往往會遇到性能下降的問題。傳統(tǒng)方法需要同時使用源域和目標域的數(shù)據(jù)來調(diào)整模型，但在很多現(xiàn)實場景中，由于隱私保護、安全限制或物流困難，源域數(shù)據(jù)可能無法獲取。這就需要SFDA技術(shù)，它允許模型僅使用目標域的無標簽數(shù)據(jù)和預(yù)先訓(xùn)練好的源域模型進行適應(yīng)。

研究團隊提出了兩個關(guān)鍵創(chuàng)新：一個名為"混搭拼圖"（Shuffle PatchMix，簡稱SPM）的數(shù)據(jù)增強技術(shù)，以及一種基于"置信度-邊界"的偽標簽加權(quán)策略。簡單來說，SPM就像是把圖片剪成小塊，打亂重組后再混合在一起，創(chuàng)造出多樣化的訓(xùn)練樣本；而加權(quán)策略則像是給學(xué)習過程中的每個"答案"分配不同的可信度，重點關(guān)注那些更可靠的答案。

這些方法在三個主要基準數(shù)據(jù)集上取得了顯著效果：在PACS數(shù)據(jù)集上，單目標設(shè)置的準確率從79.4%提升到86.7%，提高了7.3%；在多目標設(shè)置上提升了7.2%；在DomainNet-126上提高了2.8%；在VisDA-C上提高了0.7%。這些提升顯示了該方法在幫助模型適應(yīng)新環(huán)境方面的卓越能力，特別是在PACS這樣的小型數(shù)據(jù)集上，效果更為顯著。

接下來，讓我們深入了解這項研究的技術(shù)細節(jié)、創(chuàng)新點和實驗結(jié)果。

一、研究背景：為什么需要無源域適應(yīng)？

在我們的日常生活中，適應(yīng)新環(huán)境是一項基本能力。想象一下，你是一位熟練的鋼琴演奏者，習慣了在自己家的鋼琴上彈奏。有一天，你去朋友家，面對一架觸感完全不同的鋼琴，你需要快速調(diào)整自己的彈奏技巧。在這個過程中，你無法回到自己家"重新練習"，而是需要根據(jù)當前的鋼琴特性即時調(diào)整。這正是機器學(xué)習中"無源域適應(yīng)"問題的真實寫照。

深度神經(jīng)網(wǎng)絡(luò)在訓(xùn)練和測試數(shù)據(jù)分布相似的情況下表現(xiàn)出色，但當面對分布差異（稱為"域偏移"）時，性能往往會大幅下降。域適應(yīng)技術(shù)旨在解決這一問題，幫助模型將從源域?qū)W到的知識遷移到目標域。最常見的是無監(jiān)督域適應(yīng)（UDA），它在有源域數(shù)據(jù)的情況下工作，主要通過對齊源域和目標域的特征分布來減少域間差異。

但在許多實際應(yīng)用中，源域數(shù)據(jù)可能因為隱私問題（如醫(yī)療數(shù)據(jù)）、知識產(chǎn)權(quán)保護、或安全考慮而無法獲取。這就需要無源域適應(yīng)（SFDA）技術(shù)，它只使用預(yù)訓(xùn)練的源域模型和無標簽的目標域數(shù)據(jù)。這種適應(yīng)方式更具挑戰(zhàn)性，因為沒有源域數(shù)據(jù)作為參考，模型必須找到其他方式來適應(yīng)新環(huán)境。

近年來，自訓(xùn)練（self-training）成為SFDA的一個有效方法。如AdaContrast等方法通過給目標域數(shù)據(jù)生成偽標簽（模型自己預(yù)測的"答案"），然后用這些偽標簽對自己進行再訓(xùn)練，同時結(jié)合對比學(xué)習來增強特征表示。然而，這些方法的一個關(guān)鍵問題是，它們對所有偽標簽一視同仁，而不考慮這些"答案"的可靠性。如果錯誤的偽標簽被平等對待，錯誤就會被放大，最終降低適應(yīng)效果。

研究團隊針對這些限制，提出了兩個關(guān)鍵創(chuàng)新：一是利用置信度（模型對預(yù)測結(jié)果的確信程度）和邊界（第一和第二可能類別之間的差距）來加權(quán)偽標簽，二是設(shè)計了一種新的數(shù)據(jù)增強方法——混搭拼圖（SPM），通過打亂和混合圖像塊來創(chuàng)造多樣化的訓(xùn)練樣本。

二、技術(shù)創(chuàng)新：混搭拼圖和置信度-邊界加權(quán)策略

想象你正在教一個孩子識別不同的動物。如果只給他看標準的動物照片，他可能會記住這些特定的圖片，而不是真正理解"狗"或"貓"的概念。但如果你把動物圖片剪成碎片，打亂后重新組合，甚至將不同動物的部分特征混合在一起，這將迫使孩子學(xué)習更本質(zhì)的特征，而不是簡單記憶。這就是混搭拼圖（SPM）技術(shù)的核心思想。

混搭拼圖（SPM）是研究團隊提出的一種新型數(shù)據(jù)增強技術(shù)。它的工作流程如下：首先，將目標域圖像分割成多個小塊（稱為"補丁"）；然后，隨機打亂這些小塊的位置；接著，按照一定比例（由Beta分布隨機生成）混合原始圖像和打亂后的圖像；最后，應(yīng)用其他標準的數(shù)據(jù)增強技術(shù)（如隨機裁剪、水平翻轉(zhuǎn)、顏色抖動等）。

為了減少拼接處的明顯邊界（俗稱"塊狀偽影"），研究團隊還引入了一種重疊式補丁混合方法：提取的補丁尺寸比預(yù)期大30%，這樣相鄰補丁之間會有重疊區(qū)域，通過線性混合，可以創(chuàng)造出更自然、過渡更平滑的增強圖像。

隨著訓(xùn)練的進行，研究團隊還引入了自適應(yīng)混合強度策略：在訓(xùn)練初期使用較輕的混合（保留更多原始圖像特征），隨著訓(xùn)練進行，逐漸增加混合強度（增加打亂圖像的比例），這樣模型可以逐步適應(yīng)更復(fù)雜的增強分布。

然而，僅有好的數(shù)據(jù)增強還不夠。在自訓(xùn)練過程中，模型使用自己的預(yù)測作為偽標簽來指導(dǎo)學(xué)習，但這些預(yù)測可能存在噪聲和錯誤。如果所有偽標簽被平等對待，錯誤就會累積放大。就像在課堂上，如果一個學(xué)生對某個問題非常確定（高置信度）且能清晰區(qū)分正確答案和次優(yōu)選項（高邊界），那么他的答案應(yīng)該受到更多重視。

基于這一思想，研究團隊提出了置信度-邊界加權(quán)策略。它考慮兩個關(guān)鍵因素： 1. 置信度：模型對預(yù)測類別的確信程度，即預(yù)測概率的最大值 2. 邊界：最有可能的類別與第二可能的類別之間的概率差距

當鄰居預(yù)測大多集中在同一類別時，偽標簽被認為高度可靠，應(yīng)該獲得較高權(quán)重。這種可靠性同時反映在置信度和邊界中。高邊界意味著模型在最可能類別和第二可能類別之間有明確區(qū)分，表明預(yù)測更可靠；反之，低邊界則表示更大的不確定性和降低的可靠性。

具體來說，權(quán)重計算公式為：wxt = ptop1 × Δ × exp(Δ)，其中ptop1是置信度，Δ是邊界，exp(Δ)是邊界的指數(shù)函數(shù)。這種計算方式特別強調(diào)了邊界的重要性，使具有大邊界的樣本（統(tǒng)計上最可信的預(yù)測）獲得指數(shù)級的權(quán)重增益，而小邊界樣本的影響則被大幅降低。

這種連續(xù)的加權(quán)策略消除了手動設(shè)置置信度閾值的需要，并將學(xué)習重點放在可靠目標上，從而實現(xiàn)更快速、更穩(wěn)定的適應(yīng)。由于訓(xùn)練早期階段偽標簽往往高度嘈雜，這種加權(quán)策略會隨著訓(xùn)練進行逐漸引入，以確保穩(wěn)定性。

三、模型架構(gòu)與適應(yīng)方法：如何實現(xiàn)無源域適應(yīng)？

讓我們通過一個日常場景來理解整個適應(yīng)過程。想象你是一位從法國餐廳轉(zhuǎn)到中餐廳工作的廚師。你已經(jīng)掌握了法餐技巧（源域模型），但現(xiàn)在需要適應(yīng)中餐烹飪（目標域），而且沒有法餐食譜可參考（無源數(shù)據(jù)）。你會怎么做？你可能會觀察中餐廳的菜品（無標簽?zāi)繕藬?shù)據(jù)），嘗試自己復(fù)制，然后根據(jù)成品的相似度不斷調(diào)整自己的烹飪方法。這正是無源域適應(yīng)的核心思想。

在SFDA設(shè)置中，研究團隊首先在有標簽的源域數(shù)據(jù)上訓(xùn)練一個模型gs(.)，然后使用這個預(yù)訓(xùn)練模型的參數(shù)初始化目標模型gt(.)。適應(yīng)過程只使用無標簽的目標域圖像和初始化的目標模型，無法訪問源域數(shù)據(jù)。

整個適應(yīng)方法如圖1所示，主要包括以下步驟：

首先，對每個目標圖像xt生成三個版本：兩個使用SPM的強增強版本ts(xt)和ts'(xt)，以及一個弱增強版本tw(xt)。弱增強主要包括簡單的隨機裁剪和水平翻轉(zhuǎn)，保留了圖像的基本結(jié)構(gòu)；而強增強則使用SPM創(chuàng)造更具挑戰(zhàn)性的變體，迫使模型學(xué)習更本質(zhì)的特征。

接著，將弱增強圖像輸入編碼器ft(.)提取特征，通過偽標簽精煉過程生成偽標簽yt。這個過程采用了一種類似鄰居投票的策略：對于每個目標圖像，系統(tǒng)找到其在特征空間中的最近鄰居，然后通過平均這些鄰居的預(yù)測概率來精煉偽標簽。

為了實現(xiàn)最近鄰搜索，系統(tǒng)維護了一個存儲弱增強目標樣本特征和預(yù)測概率的內(nèi)存隊列Qw。特征空間通過一個緩慢變化的動量模型g't(.)來穩(wěn)定，該模型以0.999的動量系數(shù)逐批次更新。

然后，使用置信度-邊界策略為每個偽標簽分配權(quán)重wxt。這些權(quán)重決定了偽標簽在自訓(xùn)練過程中的重要性。

最后，這些精煉的偽標簽及其權(quán)重用于訓(xùn)練模型gt(.)對強增強數(shù)據(jù)ts(xt)進行分類。整個訓(xùn)練過程優(yōu)化了一個包含三部分的損失函數(shù)：加權(quán)分類損失Lce、對比損失Lctr和多樣性損失Ldiv。

加權(quán)分類損失確保模型能夠根據(jù)偽標簽的可靠性學(xué)習分類；對比損失使用SPM生成的兩個強增強版本，通過目標和動量編碼器處理，將正樣本對拉近，負樣本對推遠；多樣性損失作為正則化項，防止模型崩潰（即總是預(yù)測相同類別）。

值得注意的是，SPM并不應(yīng)用于所有強增強圖像，而是應(yīng)用于一個較大比例ρ（實驗中設(shè)為0.8）。這是因為過度使用SPM可能導(dǎo)致減少對標準強增強的接觸，或生成過于不切實際的樣本。

四、實驗設(shè)置與結(jié)果分析：方法在真實場景中的表現(xiàn)如何？

研究團隊在三個廣泛使用的基準數(shù)據(jù)集上評估了所提出的方法：PACS、VisDA-C和DomainNet-126。這些數(shù)據(jù)集代表了不同規(guī)模和難度的域適應(yīng)挑戰(zhàn)。

PACS數(shù)據(jù)集包含四個領(lǐng)域：照片(P)、藝術(shù)繪畫(A)、卡通(C)和素描(S)，每個領(lǐng)域的圖像風格差異顯著。研究團隊在單目標（一次適應(yīng)到一個目標域）和多目標（同時適應(yīng)到多個目標域）兩種設(shè)置下進行了評估。

VisDA-C是一個從合成到真實的大規(guī)模數(shù)據(jù)集，包含12個類別的圖像。DomainNet-126則是最具挑戰(zhàn)性的域適應(yīng)基準之一，包含四個領(lǐng)域（真實、素描、剪貼畫、繪畫）之間的七種域轉(zhuǎn)移任務(wù)。

實驗使用了不同的骨干網(wǎng)絡(luò)：PACS使用ResNet-18，DomainNet-126使用ResNet-50，VisDA-C使用ResNet-101，這也符合域適應(yīng)研究中的標準設(shè)置。

超參數(shù)設(shè)置方面，研究團隊大部分沿用了AdaContrast的設(shè)置，但做了一些優(yōu)化：學(xué)習率固定為2×10^(-4)，最近鄰數(shù)量設(shè)為3，PACS訓(xùn)練100輪，而DomainNet-126和VisDA-C訓(xùn)練50輪。Beta分布的起始值as在DomainNet-126和PACS上設(shè)為8，在VisDA-C上設(shè)為4。SPM在每個小批次中隨機選擇補丁數(shù)量ν（從{2^2, 4^2, 8^2, 16^2}中選擇），以增強多樣性。

實驗結(jié)果令人印象深刻。在PACS數(shù)據(jù)集的單目標設(shè)置上，提出的方法達到了86.7%的平均準確率，比基線AdaContrast提高了7.3%。最顯著的改進出現(xiàn)在P→C（從72.2%提升到82.3%）和P→S（從66.7%提升到74.5%）這兩個具有挑戰(zhàn)性的域轉(zhuǎn)移任務(wù)上。在多目標設(shè)置下，方法達到了82.6%的平均準確率，超過基線7.2%，特別是在P→A（從70.1%提升到85.2%）和A→S（從72.9%提升到81.0%）這兩個任務(wù)上表現(xiàn)突出。

在VisDA-C數(shù)據(jù)集上，該方法達到了89.4%的平均準確率，超過最佳表現(xiàn)方法UPA[20]0.7%，在12個類別中的8個類別上取得了最佳或次佳性能。

在DomainNet-126數(shù)據(jù)集上，方法達到了71.1%的平均準確率，超過當前最佳方法SF(DA)^2[31]2.8%，在7個域轉(zhuǎn)移任務(wù)中的5個上取得了最佳性能。

為了深入理解各組件的貢獻，研究團隊還進行了消融研究。在DomainNet-126上，基線AdaContrast的準確率為67.8%；應(yīng)用置信度-邊界加權(quán)策略后，準確率提升到69.1%；加入SPM增強后，準確率進一步提高到70.2%；引入補丁重疊后，準確率小幅提升到70.4%；最終組合所有組件，達到71.1%的最佳性能。在PACS上，完整方法與基線相比提升了7.3%（從79.4%到86.7%）。

值得注意的是，最大的改進出現(xiàn)在較小的PACS數(shù)據(jù)集上，這可能有兩個原因：一是小數(shù)據(jù)集更容易過擬合，SPM的補丁混合特別有效地增強了數(shù)據(jù)多樣性；二是在小數(shù)據(jù)集中，嘈雜偽標簽的影響更為顯著，置信度-邊界加權(quán)策略通過減少不確定標簽的影響并強調(diào)可靠預(yù)測，顯著提高了性能。

五、總結(jié)與展望：這項研究的意義與未來方向

歸根結(jié)底，這項研究通過引入混搭拼圖（SPM）增強技術(shù)和置信度-邊界加權(quán)策略，有效解決了無源域適應(yīng)中的兩個關(guān)鍵挑戰(zhàn)：數(shù)據(jù)多樣性不足和偽標簽噪聲。

SPM就像是為模型創(chuàng)造了一個更豐富多樣的"訓(xùn)練場"，通過打亂和混合圖像補丁，生成具有挑戰(zhàn)性的訓(xùn)練樣本，迫使模型學(xué)習更本質(zhì)、更通用的特征，而不是簡單記憶特定模式。同時，補丁重疊技術(shù)通過平滑過渡減少了塊狀偽影，創(chuàng)造出更自然的增強圖像。

置信度-邊界加權(quán)策略則像一個智能"教練"，它能識別出哪些"答案"（偽標簽）更可靠，并相應(yīng)地調(diào)整它們在訓(xùn)練中的重要性。這種策略不僅避免了手動設(shè)置固定閾值的需要，還能連續(xù)地調(diào)整權(quán)重，使學(xué)習過程更加穩(wěn)定和高效。

實驗結(jié)果表明，這種組合方法在三個主要基準數(shù)據(jù)集上都取得了顯著改進，特別是在PACS這樣的小數(shù)據(jù)集上效果更為突出。這一發(fā)現(xiàn)對實際應(yīng)用具有重要意義，因為在許多現(xiàn)實場景中，獲取大量目標域數(shù)據(jù)可能困難或昂貴。

展望未來，這項研究為無源域適應(yīng)開辟了新的可能性。一個有趣的方向是將SPM技術(shù)擴展到更廣泛的域適應(yīng)范式，包括自監(jiān)督學(xué)習和半監(jiān)督學(xué)習。另一個可能的方向是探索更復(fù)雜的偽標簽精煉機制，或?qū)⒅眯哦?邊界策略與其他學(xué)習框架結(jié)合。

對于普通用戶來說，這項研究意味著AI系統(tǒng)將變得更加靈活和適應(yīng)性強。想象一下，你的智能手機相冊應(yīng)用能夠自動適應(yīng)不同光線條件下拍攝的照片，或者自動駕駛系統(tǒng)能夠在沒有特定環(huán)境訓(xùn)練數(shù)據(jù)的情況下，適應(yīng)新的道路和天氣條件。這些都是無源域適應(yīng)技術(shù)可能帶來的實際應(yīng)用。

如果你對這項研究感興趣，可以通過GitHub鏈接（https://github.com/PrasannaPulakurthi/SPM）獲取完整代碼，深入了解技術(shù)細節(jié)和實現(xiàn)方法。