這項(xiàng)由Intellindust AI實(shí)驗(yàn)室的黃仕華、侯永杰、劉龍飛、于宣龍、沈熙等研究團(tuán)隊(duì)完成的研究發(fā)表于2025年9月，論文編號(hào)為arXiv:2509.20787v2。有興趣深入了解的讀者可以通過(guò)該編號(hào)查詢完整論文內(nèi)容。

在我們生活的智能化時(shí)代，攝像頭無(wú)處不在——從手機(jī)拍照到自動(dòng)駕駛汽車，從工業(yè)質(zhì)檢到安防監(jiān)控，這些設(shè)備都需要一個(gè)共同的能力：快速準(zhǔn)確地識(shí)別畫(huà)面中的物體。就像人眼能瞬間分辨出路上的行人、車輛和交通標(biāo)志一樣，機(jī)器也需要具備這樣的"視覺(jué)理解"能力。這就是目標(biāo)檢測(cè)技術(shù)要解決的核心問(wèn)題。

目標(biāo)檢測(cè)技術(shù)的發(fā)展歷程頗有些像攝影技術(shù)的演進(jìn)。早期的目標(biāo)檢測(cè)算法就像老式膠片相機(jī)，需要大量時(shí)間來(lái)"沖洗"結(jié)果，雖然效果不錯(cuò)但速度緩慢。而現(xiàn)在我們需要的是"數(shù)碼相機(jī)"般的即時(shí)響應(yīng)——既要保證識(shí)別準(zhǔn)確，又要足夠快速，能夠在實(shí)時(shí)環(huán)境中工作。

這個(gè)領(lǐng)域最近幾年出現(xiàn)了兩大主流技術(shù)路線。一條是以YOLO系列為代表的傳統(tǒng)方法，就像是經(jīng)驗(yàn)豐富的老師傅，憑借多年積累的技巧快速識(shí)別物體。另一條是基于Transformer技術(shù)的DETR方法，像是配備了最新設(shè)備的年輕專家，雖然理論先進(jìn)但在實(shí)際應(yīng)用中還需要優(yōu)化。

Intellindust AI實(shí)驗(yàn)室的研究團(tuán)隊(duì)注意到一個(gè)有趣的現(xiàn)象：DINOv3這項(xiàng)技術(shù)在圖像理解方面表現(xiàn)出色，就像是擁有"透視眼"的超級(jí)偵探，能夠深入理解圖像的內(nèi)在含義。然而，這項(xiàng)技術(shù)在實(shí)時(shí)目標(biāo)檢測(cè)領(lǐng)域的潛力卻沒(méi)有得到充分發(fā)揮，就像是屠龍寶刀被用來(lái)切菜一樣大材小用。

研究團(tuán)隊(duì)決定將DINOv3的強(qiáng)大視覺(jué)理解能力與實(shí)時(shí)檢測(cè)需求完美結(jié)合，開(kāi)發(fā)出了DEIMv2系統(tǒng)。這個(gè)系統(tǒng)的設(shè)計(jì)理念就像是為不同場(chǎng)景量身定制的智能助手——從處理海量數(shù)據(jù)的大型服務(wù)器，到資源受限的邊緣設(shè)備，再到功耗敏感的移動(dòng)終端，DEIMv2都能提供相應(yīng)的解決方案。

更令人驚喜的是，DEIMv2不僅僅是單一的技術(shù)產(chǎn)品，而是一個(gè)完整的技術(shù)家族，包含了八個(gè)不同規(guī)模的版本：從功能最強(qiáng)大的X版本，到超輕量級(jí)的Atto版本，每一個(gè)都針對(duì)特定的應(yīng)用場(chǎng)景進(jìn)行了精心優(yōu)化。這就像是汽車制造商推出的產(chǎn)品線，從豪華轎車到經(jīng)濟(jì)型小車，滿足不同用戶的需求和預(yù)算。

一、技術(shù)創(chuàng)新的核心突破

DEIMv2的技術(shù)創(chuàng)新可以比作一次精妙的"技術(shù)雜交"實(shí)驗(yàn)。研究團(tuán)隊(duì)將DINOv3這個(gè)"視覺(jué)專家"與實(shí)時(shí)檢測(cè)需求巧妙結(jié)合，創(chuàng)造出了一個(gè)全新的技術(shù)品種。

在DEIMv2的較大版本（S、M、L、X）中，研究團(tuán)隊(duì)采用了基于DINOv3的骨干網(wǎng)絡(luò)。DINOv3就像是一位經(jīng)驗(yàn)豐富的藝術(shù)鑒賞家，能夠深入理解圖像的語(yǔ)義內(nèi)容和細(xì)節(jié)特征。不過(guò)，DINOv3原本只能輸出單一尺度的特征信息，就像是只能用一種倍率的顯微鏡觀察樣本。而目標(biāo)檢測(cè)需要多尺度特征，因?yàn)楫?huà)面中的物體大小各異——遠(yuǎn)處的汽車可能只有幾個(gè)像素，而近處的人物可能占據(jù)畫(huà)面的大部分。

為了解決這個(gè)問(wèn)題，研究團(tuán)隊(duì)設(shè)計(jì)了一個(gè)巧妙的"空間調(diào)諧適配器"（STA）。這個(gè)適配器就像是一套智能的光學(xué)系統(tǒng)，能夠?qū)INOv3的單一視角轉(zhuǎn)換為多個(gè)不同的觀察角度。具體來(lái)說(shuō)，STA通過(guò)參數(shù)無(wú)關(guān)的雙線性插值技術(shù)，將DINOv3第5、8、11層輸出的特征信息重新調(diào)整為不同尺度，同時(shí)配合一個(gè)超輕量級(jí)的卷積神經(jīng)網(wǎng)絡(luò)來(lái)提取細(xì)粒度的細(xì)節(jié)特征。

這種設(shè)計(jì)的巧妙之處在于它的"并行協(xié)作"機(jī)制。一方面，DINOv3專注于理解圖像的整體語(yǔ)義，就像是從宏觀角度把握全局；另一方面，STA中的輕量級(jí)網(wǎng)絡(luò)專門負(fù)責(zé)捕捉細(xì)節(jié)信息，就像是用放大鏡仔細(xì)觀察局部特征。兩者相互補(bǔ)充，形成了一個(gè)既能"博觀"又能"約取"的視覺(jué)理解系統(tǒng)。

對(duì)于超輕量級(jí)版本（Nano、Pico、Femto、Atto），研究團(tuán)隊(duì)采用了不同的策略。他們選擇了HGNetv2作為基礎(chǔ)框架，然后像園藝師修剪盆景一樣，對(duì)網(wǎng)絡(luò)的深度和寬度進(jìn)行了精心的"剪枝"。這種剪枝不是簡(jiǎn)單的刪減，而是基于專業(yè)知識(shí)的精準(zhǔn)調(diào)整，確保在大幅降低計(jì)算量的同時(shí)，盡可能保持檢測(cè)性能。

二、智能檢測(cè)器的設(shè)計(jì)哲學(xué)

DEIMv2的整體架構(gòu)遵循了一種"分工合作"的設(shè)計(jì)哲學(xué)，就像是一個(gè)高效運(yùn)轉(zhuǎn)的工廠流水線。整個(gè)系統(tǒng)包含三個(gè)主要組件：骨干網(wǎng)絡(luò)、混合編碼器和解碼器。

骨干網(wǎng)絡(luò)就像是工廠的原料處理車間，負(fù)責(zé)從輸入圖像中提取基礎(chǔ)特征信息。不同規(guī)模的DEIMv2版本使用不同的骨干網(wǎng)絡(luò)，就像不同規(guī)模的工廠會(huì)配備相應(yīng)處理能力的設(shè)備。大型版本使用基于DINOv3的Vision Transformer，而輕量級(jí)版本則使用經(jīng)過(guò)精心優(yōu)化的HGNetv2。

混合編碼器充當(dāng)著"質(zhì)檢員"的角色，它首先對(duì)骨干網(wǎng)絡(luò)提取的多尺度特征進(jìn)行處理，產(chǎn)生初步的檢測(cè)結(jié)果，然后從中選出最有希望的前K個(gè)候選目標(biāo)。這個(gè)過(guò)程就像是在眾多可能的答案中篩選出最有價(jià)值的線索，為后續(xù)的精細(xì)化處理奠定基礎(chǔ)。

解碼器則是整個(gè)系統(tǒng)的"精密加工車間"，它接收編碼器篩選出的候選目標(biāo)，通過(guò)迭代優(yōu)化的方式不斷精煉檢測(cè)結(jié)果，最終輸出準(zhǔn)確的目標(biāo)位置和類別信息。DEIMv2在解碼器設(shè)計(jì)上也進(jìn)行了多項(xiàng)優(yōu)化，比如采用了SwishFFN和RMSNorm等先進(jìn)技術(shù)，這些改進(jìn)就像是給精密機(jī)械安裝了更好的潤(rùn)滑系統(tǒng)和控制裝置，使整個(gè)工作過(guò)程更加高效穩(wěn)定。

特別值得一提的是，研究團(tuán)隊(duì)在解碼器中實(shí)現(xiàn)了一個(gè)巧妙的優(yōu)化：他們發(fā)現(xiàn)在迭代優(yōu)化過(guò)程中，目標(biāo)查詢的位置變化其實(shí)很小，就像是雕刻師在精修作品時(shí)只需要在原有基礎(chǔ)上微調(diào)?；谶@個(gè)觀察，他們讓所有解碼器層共享同一套位置嵌入信息，從而顯著減少了計(jì)算開(kāi)銷。

三、數(shù)據(jù)增強(qiáng)的創(chuàng)新策略

在訓(xùn)練DEIMv2的過(guò)程中，研究團(tuán)隊(duì)不僅優(yōu)化了網(wǎng)絡(luò)結(jié)構(gòu)，還在數(shù)據(jù)增強(qiáng)策略上進(jìn)行了重要?jiǎng)?chuàng)新。他們的做法就像是為學(xué)生設(shè)計(jì)更加多樣化和挑戰(zhàn)性的練習(xí)題，讓模型在訓(xùn)練過(guò)程中見(jiàn)識(shí)更多的情況，從而提高實(shí)際應(yīng)用中的表現(xiàn)。

傳統(tǒng)的數(shù)據(jù)增強(qiáng)主要依賴圖像級(jí)別的操作，比如Mosaic（馬賽克）和MixUp等技術(shù)。Mosaic就像是將四張不同的照片拼接成一張大圖，讓模型同時(shí)學(xué)習(xí)多個(gè)場(chǎng)景；MixUp則像是將兩張圖片半透明疊加，創(chuàng)造出介于兩者之間的混合場(chǎng)景。

DEIMv2在此基礎(chǔ)上引入了"Copy-Blend"這一對(duì)象級(jí)增強(qiáng)技術(shù)。這種技術(shù)的工作原理就像是電影特效師的合成技巧——將一張圖片中的物體"復(fù)制"到另一張圖片中，但不是簡(jiǎn)單的覆蓋粘貼，而是進(jìn)行融合混合，讓新加入的物體看起來(lái)更加自然。這種方法比傳統(tǒng)的Copy-Paste技術(shù)更加精細(xì)，就像是用水彩畫(huà)的暈染技法代替了簡(jiǎn)單的剪貼，效果更加逼真。

這種增強(qiáng)策略的好處在于它能夠有效增加訓(xùn)練樣本的多樣性，同時(shí)保持圖像的真實(shí)感。模型通過(guò)這種方式訓(xùn)練后，就像是經(jīng)歷了更多實(shí)戰(zhàn)經(jīng)驗(yàn)的偵探，能夠在復(fù)雜多變的真實(shí)環(huán)境中保持穩(wěn)定的檢測(cè)性能。

四、性能表現(xiàn)的全面分析

DEIMv2在COCO數(shù)據(jù)集上的表現(xiàn)可以用"全面領(lǐng)先"來(lái)形容。COCO數(shù)據(jù)集就像是目標(biāo)檢測(cè)領(lǐng)域的"高考試卷"，包含了各種復(fù)雜場(chǎng)景和挑戰(zhàn)性目標(biāo)，是衡量檢測(cè)算法性能的標(biāo)準(zhǔn)基準(zhǔn)。

在大型模型方面，DEIMv2-X達(dá)到了57.8的平均精度（AP），這個(gè)數(shù)字背后的意義就像是在一場(chǎng)復(fù)雜的尋寶游戲中，DEIMv2-X能夠準(zhǔn)確找到將近58%的目標(biāo)。更重要的是，它只使用了50.3M個(gè)參數(shù)和151.6 GFLOPs的計(jì)算量，相比之前最好的DEIM-X模型，參數(shù)減少了近20%，計(jì)算量降低了25%，但準(zhǔn)確率卻提升了1.3個(gè)百分點(diǎn)。這就像是用更少的燃料跑出了更快的速度。

在中等規(guī)模模型中，DEIMv2-S創(chuàng)造了一個(gè)重要的里程碑——它是首個(gè)參數(shù)量低于10M（實(shí)際為9.71M）卻能突破50 AP大關(guān)的模型，達(dá)到了50.9 AP。這個(gè)成就的意義就像是在輕量級(jí)拳擊比賽中打敗了重量級(jí)選手，證明了精心設(shè)計(jì)的架構(gòu)能夠以小博大。

在超輕量級(jí)模型方面，DEIMv2-Pico的表現(xiàn)更是令人驚艷。它僅用1.5M參數(shù)就達(dá)到了38.5 AP，與需要2.3M參數(shù)的YOLOv10-Nano相當(dāng)，參數(shù)減少了約50%。這就像是用一臺(tái)小型摩托車跑出了中型汽車的速度，效率優(yōu)勢(shì)極為明顯。

特別有趣的是，研究團(tuán)隊(duì)發(fā)現(xiàn)DEIMv2相比之前的DEIM版本，主要改進(jìn)體現(xiàn)在中大型目標(biāo)的檢測(cè)上，而小目標(biāo)檢測(cè)的性能基本持平。例如，DEIMv2-S在中型目標(biāo)上的AP從52.6提升到55.3，大型目標(biāo)從65.7提升到70.3，但小目標(biāo)仍保持在31.4左右。這個(gè)現(xiàn)象揭示了DINOv3的特性——它更擅長(zhǎng)理解全局語(yǔ)義信息，對(duì)細(xì)節(jié)特征的捕捉能力相對(duì)有限。

五、實(shí)際應(yīng)用的廣闊前景

DEIMv2的八個(gè)版本覆蓋了從高性能計(jì)算到移動(dòng)端設(shè)備的完整應(yīng)用光譜，就像是為不同需求的用戶提供了量身定制的解決方案。

在高性能應(yīng)用場(chǎng)景中，DEIMv2-X和DEIMv2-L適合部署在GPU服務(wù)器或高端工作站上，可以應(yīng)用于需要極高精度的場(chǎng)合，比如醫(yī)療影像分析、精密工業(yè)檢測(cè)或高級(jí)自動(dòng)駕駛系統(tǒng)。這些版本就像是專業(yè)級(jí)的顯微鏡，能夠發(fā)現(xiàn)最細(xì)微的目標(biāo)特征。

對(duì)于邊緣計(jì)算設(shè)備，DEIMv2-M和DEIMv2-S提供了很好的平衡點(diǎn)。它們既保持了相當(dāng)高的檢測(cè)精度，又具備了較低的計(jì)算需求，適合部署在智能攝像頭、機(jī)器人或者邊緣服務(wù)器上。這就像是為家庭用戶設(shè)計(jì)的多功能設(shè)備，既實(shí)用又不會(huì)過(guò)于復(fù)雜。

在移動(dòng)端和IoT設(shè)備上，超輕量級(jí)的Nano、Pico、Femto、Atto版本展現(xiàn)了巨大的應(yīng)用潛力。它們能夠在手機(jī)、智能手表、無(wú)人機(jī)等資源極為有限的設(shè)備上運(yùn)行，為這些設(shè)備賦予實(shí)時(shí)的視覺(jué)理解能力。比如，手機(jī)拍照時(shí)的實(shí)時(shí)物體識(shí)別、智能家居設(shè)備的人臉識(shí)別、或者小型無(wú)人機(jī)的避障導(dǎo)航等。

這種全覆蓋的產(chǎn)品線設(shè)計(jì)策略，讓DEIMv2能夠像變形金剛一樣適應(yīng)各種不同的應(yīng)用環(huán)境，從數(shù)據(jù)中心的大型服務(wù)器到口袋里的智能手機(jī)，都能找到合適的版本。

六、技術(shù)挑戰(zhàn)與解決方案

在開(kāi)發(fā)DEIMv2的過(guò)程中，研究團(tuán)隊(duì)遇到了幾個(gè)關(guān)鍵的技術(shù)挑戰(zhàn)，他們的解決方案頗具創(chuàng)新性。

首先是如何將單尺度的DINOv3特征轉(zhuǎn)換為多尺度特征的問(wèn)題。傳統(tǒng)的Feature2Pyramid方法使用反卷積來(lái)生成多尺度特征，但這會(huì)增加額外的計(jì)算開(kāi)銷。DEIMv2的STA采用了更加直接的方法——通過(guò)雙線性插值直接調(diào)整不同層的特征尺寸，這就像是用變焦鏡頭代替了多個(gè)固定焦距鏡頭，既簡(jiǎn)單又高效。

其次是超輕量級(jí)模型的設(shè)計(jì)挑戰(zhàn)。要在極小的參數(shù)預(yù)算內(nèi)實(shí)現(xiàn)盡可能好的性能，就像是在有限的空間內(nèi)設(shè)計(jì)功能完整的住宅。研究團(tuán)隊(duì)采用了系統(tǒng)性的網(wǎng)絡(luò)剪枝策略，從HGNetv2-B0開(kāi)始，逐步減少網(wǎng)絡(luò)的深度和寬度。Pico版本移除了第四階段，F(xiàn)emto進(jìn)一步減少了最后階段的塊數(shù)，Atto甚至壓縮了通道數(shù)。這種漸進(jìn)式的精簡(jiǎn)確保了每個(gè)版本都能在其目標(biāo)場(chǎng)景中發(fā)揮最佳性能。

第三個(gè)挑戰(zhàn)是訓(xùn)練策略的優(yōu)化。研究團(tuán)隊(duì)發(fā)現(xiàn)，并非所有的訓(xùn)練技巧都適用于不同規(guī)模的模型。比如，F(xiàn)ine-Grained Localization Loss和Decoupled Distillation Focal Loss對(duì)大型模型有幫助，但對(duì)超輕量級(jí)模型反而有害。這就像是高級(jí)藥物對(duì)強(qiáng)壯的成年人有效，但可能不適合體弱的兒童。因此，他們?yōu)椴煌?guī)模的模型制定了差異化的訓(xùn)練策略。

七、未來(lái)發(fā)展的啟示

DEIMv2的成功為實(shí)時(shí)目標(biāo)檢測(cè)領(lǐng)域帶來(lái)了幾個(gè)重要啟示。首先，預(yù)訓(xùn)練大模型的特征可以有效遷移到特定任務(wù)中，但需要精心設(shè)計(jì)的適配機(jī)制。DINOv3雖然不是專門為目標(biāo)檢測(cè)設(shè)計(jì)的，但通過(guò)STA這樣的橋梁，它的強(qiáng)大特征表示能力得以充分發(fā)揮。

其次，模型的可擴(kuò)展性設(shè)計(jì)至關(guān)重要。在實(shí)際應(yīng)用中，不同場(chǎng)景對(duì)精度和效率的要求差異巨大，一個(gè)能夠靈活適應(yīng)各種需求的模型家族比單一的最優(yōu)模型更有價(jià)值。DEIMv2的八個(gè)版本就像是一套完整的工具箱，為不同的"工程項(xiàng)目"提供了相應(yīng)的"工具"。

最后，訓(xùn)練策略的個(gè)性化非常重要。不能簡(jiǎn)單地將適用于大模型的訓(xùn)練技巧直接應(yīng)用到小模型上，需要根據(jù)模型的容量和特點(diǎn)進(jìn)行相應(yīng)調(diào)整。這提醒我們，在AI技術(shù)發(fā)展過(guò)程中，"因材施教"的理念同樣適用。

說(shuō)到底，DEIMv2的成功不僅僅是技術(shù)參數(shù)的提升，更重要的是它為實(shí)時(shí)目標(biāo)檢測(cè)技術(shù)的實(shí)用化和普及化開(kāi)辟了新的道路。通過(guò)將先進(jìn)的視覺(jué)理解技術(shù)與實(shí)際應(yīng)用需求巧妙結(jié)合，這項(xiàng)研究證明了學(xué)術(shù)研究與產(chǎn)業(yè)應(yīng)用之間的橋梁是可以成功搭建的。

歸根結(jié)底，DEIMv2代表了一種新的技術(shù)發(fā)展模式——不是單純追求最高性能，而是在性能、效率和實(shí)用性之間找到最佳平衡點(diǎn)。這種理念對(duì)于推動(dòng)AI技術(shù)從實(shí)驗(yàn)室走向千家萬(wàn)戶具有重要意義。對(duì)于普通讀者而言，DEIMv2的成功意味著我們將在日常生活中見(jiàn)到更多智能、高效、便捷的視覺(jué)AI應(yīng)用，從智能手機(jī)的拍照功能到自動(dòng)駕駛汽車的安全系統(tǒng)，這些技術(shù)將讓我們的生活變得更加美好和便利。

有興趣深入了解這項(xiàng)研究的讀者，可以通過(guò)論文編號(hào)arXiv:2509.20787v2查詢完整的技術(shù)細(xì)節(jié)和實(shí)驗(yàn)數(shù)據(jù)，相信會(huì)有更多的發(fā)現(xiàn)和啟發(fā)。

Q&A

Q1：DEIMv2相比傳統(tǒng)目標(biāo)檢測(cè)模型有什么優(yōu)勢(shì)？

A：DEIMv2最大的優(yōu)勢(shì)是實(shí)現(xiàn)了性能與效率的完美平衡。它融合了DINOv3的強(qiáng)大語(yǔ)義理解能力和實(shí)時(shí)檢測(cè)需求，通過(guò)創(chuàng)新的空間調(diào)諧適配器，在保持高精度的同時(shí)顯著降低了計(jì)算成本。比如最大版本DEIMv2-X達(dá)到57.8 AP卻只需50.3M參數(shù)，比之前最好的模型參數(shù)減少20%但性能更優(yōu)。

Q2：DEIMv2的八個(gè)版本都適用于什么場(chǎng)景？

A：DEIMv2提供了從X到Atto的八個(gè)版本，覆蓋了完整的應(yīng)用場(chǎng)景。X、L版本適合高性能GPU服務(wù)器，用于醫(yī)療影像、精密檢測(cè)等高精度場(chǎng)合；M、S版本適合邊緣設(shè)備如智能攝像頭、機(jī)器人；Nano、Pico、Femto、Atto等超輕量版本專為手機(jī)、智能手表、無(wú)人機(jī)等移動(dòng)設(shè)備設(shè)計(jì)，實(shí)現(xiàn)了真正的全場(chǎng)景覆蓋。

Q3：空間調(diào)諧適配器STA是如何工作的？

A：STA就像一個(gè)智能的光學(xué)系統(tǒng)，解決了DINOv3只能輸出單一尺度特征的限制。它通過(guò)雙線性插值技術(shù)將DINOv3不同層的特征調(diào)整為多個(gè)尺度，同時(shí)配合輕量級(jí)卷積網(wǎng)絡(luò)提取細(xì)節(jié)信息。這樣既保留了DINOv3的強(qiáng)大語(yǔ)義理解能力，又滿足了目標(biāo)檢測(cè)對(duì)多尺度特征的需求，整個(gè)過(guò)程幾乎不增加計(jì)算開(kāi)銷。