在人工智能快速發(fā)展的今天，視覺-語言模型（VLMs）已經(jīng)成為了計算機視覺領(lǐng)域的明星技術(shù)。由韓國KAIST大學(xué)的董博闊（Dong Bok Lee）、VUNO公司的姜成載（Seongjae Kang）與黃炯?。℉yungjoon Jang）以及KAIST和DeepAuto.ai的黃成珠（Sung Ju Hwang）共同完成的這項研究，發(fā)表于2025年5月的arXiv預(yù)印本（arXiv:2505.07675），提出了一種名為"雙頭優(yōu)化"（Dual-Head Optimization，DHO）的創(chuàng)新方法，專門解決視覺-語言模型知識蒸餾中的難題。

視覺-語言模型，如我們熟知的CLIP，通過學(xué)習(xí)圖像和文本的聯(lián)合表示，取得了令人矚目的成功。這些模型即使只使用極少量的標記數(shù)據(jù)，也能表現(xiàn)出色。然而，這些強大模型的規(guī)模通常非常龐大，難以在資源有限的設(shè)備（如手機或嵌入式設(shè)備）上部署。就像一個掌握了豐富知識的老師，太"重"了，無法輕松地帶到各個地方去。

知識蒸餾（Knowledge Distillation）就像是讓這位資深教師將知識傳授給一位輕便靈活的助教，使助教能夠以更小的"體積"攜帶核心知識奔赴各處。但傳統(tǒng)的知識蒸餾方法存在一個核心問題：當(dāng)老師（大模型）和助教（小模型）同時學(xué)習(xí)時，他們的"教學(xué)理念"常常發(fā)生沖突，導(dǎo)致助教學(xué)得不夠好。

研究團隊通過深入分析發(fā)現(xiàn)，在半監(jiān)督學(xué)習(xí)環(huán)境中（即同時擁有少量標記數(shù)據(jù)和大量未標記數(shù)據(jù)），傳統(tǒng)知識蒸餾方法常常使模型產(chǎn)生"梯度沖突"——也就是說，從標記數(shù)據(jù)學(xué)習(xí)的方向與從教師模型學(xué)習(xí)的方向相互抵觸，就像同時有兩位教練朝著不同方向拉動一個運動員，導(dǎo)致運動員無所適從。

為解決這一問題，研究團隊提出了雙頭優(yōu)化（DHO）方法。這種方法就像給學(xué)生配備了兩個獨立的"大腦"：一個專門跟從標記數(shù)據(jù)學(xué)習(xí)（稱為CE頭），另一個專門向教師模型學(xué)習(xí)（稱為KD頭）。這樣一來，兩個"大腦"可以各自專注于不同的學(xué)習(xí)任務(wù)，避免了相互干擾。在需要做出預(yù)測時，系統(tǒng)會智能地結(jié)合兩個"大腦"的判斷，得出最終結(jié)果。

研究團隊在包括ImageNet在內(nèi)的11個數(shù)據(jù)集上進行了廣泛實驗，結(jié)果表明DHO方法在各種任務(wù)上都取得了卓越的效果，無論是通用物體識別、細粒度分類，還是特定領(lǐng)域識別。尤其引人注目的是，使用1%標記數(shù)據(jù)時，DHO的準確率比現(xiàn)有最佳方法提高了3%；使用10%標記數(shù)據(jù)時，提高了0.1%，而且所需參數(shù)更少。這一成果展示了DHO方法在資源有限情況下的效率和有效性。

讓我們一起深入了解這項創(chuàng)新研究的細節(jié)和影響。

一、視覺-語言模型與知識蒸餾的挑戰(zhàn)

視覺-語言模型，如CLIP或ALIGN，已經(jīng)成為計算機視覺領(lǐng)域的關(guān)鍵技術(shù)。這些模型通過對大量互聯(lián)網(wǎng)上的圖文對進行對比學(xué)習(xí)，構(gòu)建了強大的圖像理解能力。簡單來說，它們就像學(xué)會了看圖識字的天才學(xué)生，即使面對從未見過的物體，也能通過文字描述準確識別出來。

然而，這些模型通常規(guī)模龐大，參數(shù)動輒數(shù)以億計。想象一下，這就像是一位博學(xué)多識但體型巨大的教授，雖然知識淵博，但無法輕松地到各個教室去授課。在實際應(yīng)用中，尤其是在手機、嵌入式設(shè)備等資源受限的環(huán)境中，部署這些大模型面臨巨大挑戰(zhàn)。

知識蒸餾技術(shù)應(yīng)運而生。這種技術(shù)就像是讓這位資深教授將知識傳授給一位年輕助教，使助教能夠以更輕便的方式傳遞核心知識。在技術(shù)層面，知識蒸餾是將大型"教師模型"的知識轉(zhuǎn)移到小型"學(xué)生模型"中的過程。

但是，現(xiàn)有的知識蒸餾方法存在一些明顯問題。許多方法采用多階段訓(xùn)練或需要額外的微調(diào)，增加了計算開銷和優(yōu)化復(fù)雜性。就像是教學(xué)必須經(jīng)過多個環(huán)節(jié)，而每個環(huán)節(jié)都可能帶來額外的困難和混淆。更重要的是，這些方法無法直接將教師模型的零樣本和少樣本能力轉(zhuǎn)移到學(xué)生模型，這大大限制了學(xué)生模型的適應(yīng)性。

傳統(tǒng)的單頭知識蒸餾方法，如邏輯蒸餾和特征匹配，雖然允許高效的單階段蒸餾，但在半監(jiān)督設(shè)置下表現(xiàn)不佳。研究團隊發(fā)現(xiàn)，這主要是因為標記訓(xùn)練數(shù)據(jù)與教師模型預(yù)訓(xùn)練知識之間存在差異，導(dǎo)致梯度沖突。這種沖突就像是學(xué)生同時受到兩種不同教學(xué)風(fēng)格的指導(dǎo)，一種來自標準教材（標記數(shù)據(jù)），另一種來自資深教授的個人見解（教師模型），這兩種指導(dǎo)有時會相互矛盾，讓學(xué)生無所適從。

這個問題在少樣本設(shè)置下尤為嚴重，因為教師蒸餾信號可能會壓倒有限的標記數(shù)據(jù)信號，需要在兩種信號之間謹慎平衡。就像是當(dāng)正規(guī)教材很少時，學(xué)生可能過度依賴教授的個人見解，而忽略了基礎(chǔ)知識。

二、雙頭優(yōu)化：一種創(chuàng)新的知識蒸餾方法

面對上述挑戰(zhàn)，研究團隊提出了雙頭優(yōu)化（DHO）框架，這是一種簡單而有效的解決方案。DHO的核心思想是讓學(xué)生模型同時擁有兩個"大腦"或者說"頭部"，一個專注于從標記數(shù)據(jù)學(xué)習(xí)，另一個專注于從教師模型學(xué)習(xí)，從而避免了兩種學(xué)習(xí)信號之間的干擾。

具體來說，DHO引入了雙預(yù)測頭，分別獨立學(xué)習(xí)標記數(shù)據(jù)和教師預(yù)測，并提出在推理階段線性組合它們的輸出。這就像是學(xué)生學(xué)習(xí)了兩套知識系統(tǒng)：一套來自標準教材，另一套來自資深教授的經(jīng)驗，然后在實際應(yīng)用中靈活結(jié)合這兩種知識。

### 為什么需要雙頭架構(gòu)？

研究團隊通過深入分析發(fā)現(xiàn)，傳統(tǒng)單頭知識蒸餾方法中存在著梯度沖突問題。簡單來說，梯度代表學(xué)習(xí)的方向，當(dāng)來自標記數(shù)據(jù)和教師模型的梯度方向不一致時，就會導(dǎo)致學(xué)習(xí)效果不佳。

想象一下，這就像是你在學(xué)騎自行車時，一位教練告訴你"向左轉(zhuǎn)"，而另一位同時告訴你"向右轉(zhuǎn)"，這種矛盾的指令會讓你感到困惑，甚至可能摔倒。同樣地，當(dāng)模型同時接收到不同方向的學(xué)習(xí)信號時，也會導(dǎo)致學(xué)習(xí)效率降低。

研究團隊通過實驗觀察到，在傳統(tǒng)單頭知識蒸餾方法中，標記數(shù)據(jù)和教師預(yù)測之間的梯度余弦相似度經(jīng)常為負值，這表明兩種學(xué)習(xí)信號存在沖突。簡單來說，當(dāng)余弦相似度為負值時，意味著兩個方向基本上是相反的。

### DHO是如何工作的？

DHO框架通過引入兩個獨立的預(yù)測頭解決了這個問題：

1. 監(jiān)督頭（CE頭）：專門通過交叉熵損失從標記數(shù)據(jù)學(xué)習(xí)。 2. 知識蒸餾頭（KD頭）：專門通過KL散度從教師預(yù)測學(xué)習(xí)。

這兩個頭共享相同的特征提取器，但各自有獨立的分類層。就像是同一個學(xué)生有兩種思考方式：一種按照標準教材學(xué)習(xí)，另一種模仿資深教授的思維方式。

在推理階段，DHO通過一個簡單而有效的策略結(jié)合兩個頭的輸出：

``` 最終預(yù)測 = α · 監(jiān)督頭輸出 + (1 - α) · 知識蒸餾頭輸出/β ```

其中α是一個介于0和1之間的插值超參數(shù)，用于平衡監(jiān)督頭和知識蒸餾頭的影響，β是一個溫度參數(shù)，用于調(diào)整知識蒸餾頭的輸出分布。

這種設(shè)計確保了學(xué)習(xí)過程中梯度沖突的緩解，而在推理時又能靈活結(jié)合兩種預(yù)測的優(yōu)勢。研究者觀察到，DHO有效緩解了梯度沖突，使特征學(xué)習(xí)比單頭知識蒸餾基線更有效。正如圖4所示，DHO方法的梯度余弦相似度保持在正值區(qū)域，表明學(xué)習(xí)信號是協(xié)調(diào)的而非沖突的。

此外，針對VLM學(xué)生模型，研究團隊還提出了兩個有效的技術(shù)改進：

1. 語言感知初始化：利用教師的文本編碼器初始化雙頭的權(quán)重。 2. KD頭對齊：通過余弦相似度計算，使KD頭的預(yù)測邏輯與教師模型保持一致。

這些改進使得知識蒸餾過程更加穩(wěn)定和有效，特別是在從VLM到VLM的蒸餾場景中。

三、實驗設(shè)置與實施細節(jié)

為了全面驗證DHO方法的有效性，研究團隊設(shè)計了一系列嚴格的實驗，涵蓋多種場景和數(shù)據(jù)集。

### 數(shù)據(jù)集選擇

研究使用了11個不同的數(shù)據(jù)集，包括：

- 通用物體識別：ImageNet、Caltech101 - 細粒度分類：Cars、Flowers102、FGVCAircraft、OxfordPets - 領(lǐng)域特定識別：Food101 - 場景理解：SUN397 - 紋理分析：DTD - 衛(wèi)星圖像：EuroSAT - 人類動作：UCF101

這種多樣化的數(shù)據(jù)集選擇確保了評估結(jié)果的可靠性和通用性，就像是在不同類型的課程和考試中測試學(xué)生的表現(xiàn)。

### 實驗設(shè)置

實驗主要包括以下三種設(shè)置：

1. 少樣本半監(jiān)督設(shè)置（ImageNet）：使用ResNet-18和ResNet-50作為學(xué)生模型，從零開始訓(xùn)練或使用自監(jiān)督模型初始化。

2. 少樣本半監(jiān)督設(shè)置（10個細粒度數(shù)據(jù)集）：使用預(yù)訓(xùn)練的ResNet-18和MobileNetV2作為學(xué)生模型。

3. 低樣本半監(jiān)督設(shè)置（ImageNet）：使用CLIP ViT-B/16和ViT-L/14作為學(xué)生模型。

對于教師模型，研究使用了CLIP ResNet-50用于零樣本場景，Tip-Adapter-F用于少樣本場景，以及DFN的ViT-H/14用于低樣本場景。

在所有實驗中，研究團隊保持了一致的訓(xùn)練策略和超參數(shù)設(shè)置，以確保公平比較。他們使用AdamW優(yōu)化器，余弦衰減學(xué)習(xí)率調(diào)度，以及隨機裁剪和水平翻轉(zhuǎn)的數(shù)據(jù)增強。

### 評估指標與基線方法

主要評估指標是Top-1準確率，即模型正確預(yù)測類別的百分比。研究團隊將DHO與多種基線方法進行了比較：

- CE：僅在標記數(shù)據(jù)集上使用交叉熵損失訓(xùn)練模型。 - KD（邏輯）：僅在未標記數(shù)據(jù)集上使用邏輯蒸餾。 - KD（特征）：僅在未標記數(shù)據(jù)集上使用特征蒸餾。 - CE+KD（邏輯/特征）：結(jié)合CE和相應(yīng)的KD變體，使用平衡超參數(shù)λ。 - 現(xiàn)有的雙頭KD方法：SSKD和DHKD。

此外，在ImageNet的低樣本半監(jiān)督設(shè)置中，還與最先進的方法進行了比較，包括自監(jiān)督和半監(jiān)督學(xué)習(xí)、基于CLIP的訓(xùn)練、協(xié)同訓(xùn)練和知識蒸餾方法。

四、實驗結(jié)果與分析：DHO的卓越表現(xiàn)

研究團隊通過一系列實驗驗證了DHO方法的有效性，結(jié)果令人印象深刻。讓我們來看看具體的表現(xiàn)和分析。

### 在ImageNet上的表現(xiàn)

在ImageNet數(shù)據(jù)集上，DHO方法展現(xiàn)出了出色的性能。使用零樣本教師（CLIP ResNet-50）時，DHO在所有少樣本設(shè)置（1、2、4、8、16樣本）中都優(yōu)于單頭基線。例如，使用ResNet-18學(xué)生模型時，16樣本設(shè)置下，DHO達到了54.5%的準確率，比CE+KD（邏輯）的51.2%高出3.3個百分點。

更令人驚嘆的是，當(dāng)使用少樣本教師（Tip-Adapter-F）時，DHO-F的表現(xiàn)進一步提升，在16樣本設(shè)置下達到了57.7%的準確率，甚至超過了教師模型本身的55.3%。這說明DHO-F不僅成功地從教師那里學(xué)習(xí)了知識，還能在某些情況下超越教師的表現(xiàn)。

### 在10個細粒度數(shù)據(jù)集上的表現(xiàn)

在10個細粒度數(shù)據(jù)集上的實驗進一步確認了DHO的廣泛適用性。如圖5和圖6所示，DHO在所有數(shù)據(jù)集上都優(yōu)于單頭基線，平均提升幅度為2.8%。特別是在斯坦福汽車數(shù)據(jù)集上，DHO的準確率提高了9.3%，這是一個顯著的改進。

這些結(jié)果表明，DHO能夠有效地適應(yīng)各種任務(wù)，包括通用物體識別、細粒度分類、領(lǐng)域特定識別等。無論是使用ResNet-18還是MobileNetV2作為學(xué)生模型，DHO都表現(xiàn)出色，證明了其方法的穩(wěn)健性。

### 在低樣本半監(jiān)督設(shè)置下的表現(xiàn)

在ImageNet的低樣本半監(jiān)督設(shè)置下（使用1%或10%的標記數(shù)據(jù)），DHO實現(xiàn)了新的最先進性能。如表4所示，使用ViT-L/14作為學(xué)生模型時，DHO在1%標記數(shù)據(jù)設(shè)置下達到了84.6%的準確率，比之前的最佳方法提高了3%；在10%標記數(shù)據(jù)設(shè)置下達到了85.9%的準確率，提高了0.1%，而且所需參數(shù)更少。

特別值得注意的是，DHO使用ViT-B/16（86M參數(shù)）達到了81.6%的準確率，與使用304M參數(shù)的REACT模型相當(dāng)，展示了DHO在參數(shù)效率方面的優(yōu)勢。這就像是一個輕量級學(xué)生能夠達到甚至超越重量級學(xué)生的成績，非常令人印象深刻。

### 對DHO改進的分析

研究團隊進行了深入分析，以理解DHO改進的來源。他們發(fā)現(xiàn)：

1. **梯度沖突緩解**：如圖4所示，DHO成功地將梯度余弦相似度從負值（表示沖突）提升到了正值（表示協(xié)調(diào)），證明了雙頭架構(gòu)在緩解梯度沖突方面的有效性。

2. **增強的特征表示**：通過線性評估協(xié)議，研究團隊發(fā)現(xiàn)DHO產(chǎn)生的特征表示明顯優(yōu)于基線方法。如表3所示，DHO的Top-1準確率達到67.1%，比CE+KD（邏輯）的66.2%和CE+KD（特征）的62.3%都要高。

3. **雙頭輸出插值的有效性**：研究表明，雙頭輸出的線性組合進一步提升了性能。如圖8所示，DHO平均比僅使用監(jiān)督頭（DHO（hCE））提高了1.6%的準確率，最大提升幅度為3.4%（在ImageNet上）。

這些分析表明，DHO的改進主要來自于三個方面：梯度沖突的緩解，增強的特征表示，以及雙頭輸出的有效組合。

### 案例研究：DHO解決難題的能力

研究團隊還進行了定性分析，展示了DHO如何處理具有挑戰(zhàn)性的案例。如圖9所示，在某些情況下，監(jiān)督頭能夠正確分類，而知識蒸餾頭失敗；在其他情況下，則相反。通過組合兩個頭的輸出，DHO能夠解決單個頭的失敗問題，提供更可靠的預(yù)測。

例如，在第一個案例中，CE頭正確識別了物體，而KD頭錯誤；在第二個案例中，KD頭正確，而CE頭錯誤；在第三個案例中，兩個頭都單獨失敗，但組合后的預(yù)測卻是正確的。這展示了DHO集成兩種不同知識源的強大能力。

五、進一步探索與擴展

除了主要實驗外，研究團隊還進行了一系列額外的探索和分析，以更全面地理解DHO的性能和適用性。

### 非線性頭部設(shè)計的探索

研究團隊探索了不同的頭部架構(gòu)設(shè)計，包括線性頭和非線性頭。他們發(fā)現(xiàn)，在KD頭中使用非線性架構(gòu)可以提高性能，但在CE頭中則會導(dǎo)致性能下降。這可能是因為CE頭的焦點是有限的標記數(shù)據(jù)，增加復(fù)雜性會損害其學(xué)習(xí)通用特征表示的能力。

在ImageNet上，使用非線性KD頭的DHO在16樣本設(shè)置下達到了65.97%的準確率，比基線DHO的65.37%有所提高。然而，在其他10個數(shù)據(jù)集上，最佳架構(gòu)配置因數(shù)據(jù)集而異，沒有一種配置始終優(yōu)于其他配置。

考慮到計算效率和架構(gòu)簡單性的好處，研究團隊最終選擇了線性頭架構(gòu)作為DHO的默認設(shè)置。

### 分布外泛化能力的評估

研究團隊還評估了DHO在分布外（OOD）場景中的泛化能力。他們在四個廣泛使用的ImageNet變體上進行了實驗：ImageNet-v2、ImageNet-Sketch、ImageNet-R和ImageNet-A。

結(jié)果表明，DHO在類似分布的測試集（如ImageNet-V2）上表現(xiàn)出色，但在分布差異較大的數(shù)據(jù)集（如ImageNet-R和ImageNet-A）上，完全模型訓(xùn)練導(dǎo)致了與零樣本預(yù)測相比的性能下降。這表明完全模型訓(xùn)練可能導(dǎo)致增加分布過擬合，損害跨領(lǐng)域的泛化能力。

有趣的是，研究團隊發(fā)現(xiàn)，當(dāng)教師和學(xué)生模型共享類似的訓(xùn)練背景時（如CLIP框架中的ViT-B/16和ViT-L/14），DHO在應(yīng)對分布偏移時表現(xiàn)更好。這表明，成功的知識蒸餾不僅取決于教師的原始能力，還取決于教師和學(xué)生之間的對齊程度。

### 與現(xiàn)有適應(yīng)方法的結(jié)合

研究團隊還探索了將DHO與現(xiàn)有適應(yīng)方法結(jié)合的可能性，如線性評估、視覺提示調(diào)整和基于CLIP的少樣本適應(yīng)方法。結(jié)果表明，DHO可以與這些方法有效結(jié)合，進一步提高性能。

特別是，將DHO與視覺提示調(diào)整（VPT）、CoOp和PromptSRC等方法結(jié)合，在所有評估基準上都取得了顯著的性能提升。這表明DHO是一種通用的框架，可以與各種適應(yīng)技術(shù)無縫集成。

### 計算開銷和效率分析

研究團隊分析了DHO的計算開銷，發(fā)現(xiàn)與單頭基線相比，DHO引入的額外計算成本很小。如表2所示，對于ResNet-18，DHO增加了4.4%的參數(shù)，但FLOPs（浮點運算次數(shù)）增加可以忽略不計，吞吐量僅下降0.20%。對于ResNet-50，參數(shù)增加了8.0%，F(xiàn)LOPs增加了0.2%，吞吐量下降了0.19%。

這表明DHO是一種計算效率高的方法，特別是對于類別數(shù)量較少的小型數(shù)據(jù)集，額外開銷幾乎可以忽略不計。研究團隊還探索了使用Token Merging（ToMe）技術(shù)進一步提高DHO的計算效率，結(jié)果表明ToMe可以顯著減少計算成本，同時對性能影響很小。

六、理論基礎(chǔ)與數(shù)學(xué)支持

DHO方法不僅在經(jīng)驗上表現(xiàn)出色，還有堅實的理論基礎(chǔ)支持。研究團隊在附錄A中提供了詳細的理論分析，證明了DHO的數(shù)學(xué)合理性。

在理論分析中，研究團隊首先推導(dǎo)了單頭優(yōu)化的最優(yōu)分布，證明它是標記數(shù)據(jù)分布和教師軟化分布的加權(quán)算術(shù)平均：

``` p* = λy + (1 - λ)pτ ```

其中y是真實標簽分布，pτ是教師的軟化分布，λ是權(quán)衡超參數(shù)。

然后，他們分析了DHO的雙頭架構(gòu)，證明在適當(dāng)?shù)挠?xùn)練和參數(shù)設(shè)置下，DHO可以以有界誤差近似最優(yōu)單頭解決方案：

``` ‖pDHO - p*‖? ≤ ε ```

其中ε是一個小常數(shù)，表示近似誤差的上限。

這一理論分析表明，DHO不僅是一種實用的經(jīng)驗方法，還是一種數(shù)學(xué)上合理的方法，能夠有效逼近理論最優(yōu)解，同時避免了梯度沖突問題。

七、結(jié)論與未來展望

這項研究提出了雙頭優(yōu)化（DHO）——一種簡單而有效的知識蒸餾框架，用于在半監(jiān)督設(shè)置下從視覺-語言模型轉(zhuǎn)移知識到緊湊的任務(wù)特定模型。DHO通過引入雙預(yù)測頭分別從標記數(shù)據(jù)和教師預(yù)測中學(xué)習(xí)，緩解了梯度沖突，實現(xiàn)了更有效的特征學(xué)習(xí)。

DHO在各種數(shù)據(jù)集和任務(wù)上都展現(xiàn)出卓越的性能，尤其是在ImageNet的低樣本半監(jiān)督設(shè)置下，實現(xiàn)了新的最先進結(jié)果。這表明DHO是一種強大而通用的方法，可以有效地從大型預(yù)訓(xùn)練模型中提取知識，并將其轉(zhuǎn)移到資源受限的模型中。

當(dāng)然，這項研究也存在一些局限性。目前，DHO主要關(guān)注圖像分類任務(wù)，未來可以擴展到其他計算機視覺和多模態(tài)任務(wù)，如目標檢測、分割和語言建模。此外，通過適當(dāng)?shù)募軜?gòu)適應(yīng)，DHO的雙頭設(shè)計原則可能有助于從基礎(chǔ)模型向各種應(yīng)用更有效地轉(zhuǎn)移知識。

總的來說，這項研究不僅為知識蒸餾領(lǐng)域提供了一種新的解決方案，還深入探索了梯度沖突問題及其對模型學(xué)習(xí)的影響。DHO方法的簡潔性和有效性使其成為在資源受限環(huán)境中部署高性能視覺模型的有力工具。

在人工智能和計算機視覺技術(shù)持續(xù)進步的今天，像DHO這樣的方法將有助于將先進的視覺-語言模型的能力更廣泛地應(yīng)用于實際場景，推動技術(shù)的民主化和普及化。無論是在移動設(shè)備上的應(yīng)用，還是在邊緣計算環(huán)境中的部署，DHO都提供了一種高效而有效的知識轉(zhuǎn)移方式，使小型模型也能具備大型模型的強大能力。