這項由韓國Nota公司的李俊沅（Jewon Lee）、申旭洙（Wooksu Shin）、楊承民（Seungmin Yang）等研究團隊開發(fā)的創(chuàng)新技術(shù)于2025年9月發(fā)表在計算機視覺領(lǐng)域的預印本論文中，論文編號為arXiv:2509.21991v1。感興趣的讀者可以通過該編號查詢完整的技術(shù)論文。

想象一下，當你在尋找一張巨大拼圖中的某個小細節(jié)時，你會怎么做？大多數(shù)人都會先從整體看一遍，找到大概位置，然后再仔細觀察那個區(qū)域。但現(xiàn)在的AI視覺模型卻像是用放大鏡逐寸掃描整張拼圖，既費時又費力。Nota公司的研究團隊意識到了這個問題，于是開發(fā)出了一種名為ERGO的新技術(shù)，讓AI能夠像人類一樣"聰明地看圖"。

現(xiàn)代的大型視覺語言模型在處理高分辨率圖像時面臨著一個根本性難題。當圖像分辨率越來越高時，AI需要處理的視覺信息量會呈指數(shù)級增長，就像一個人試圖同時記住一本百科全書的每一個字一樣困難。更重要的是，并非圖像中的每個像素都對回答特定問題有幫助。比如當你問"照片中的咖啡杯是什么顏色"時，AI其實只需要關(guān)注咖啡杯那一小塊區(qū)域，而不需要分析整個廚房的每一個細節(jié)。

ERGO技術(shù)的核心思想是建立一個"粗到細"的兩階段視覺推理流程。在第一階段，系統(tǒng)會接收一張經(jīng)過壓縮的低分辨率圖像，就像鳥瞰整個森林一樣，快速識別出與問題相關(guān)的重要區(qū)域。然后在第二階段，系統(tǒng)會像使用望遠鏡一樣，只對這些關(guān)鍵區(qū)域進行高分辨率的詳細分析。這種方法既節(jié)省了計算資源，又保持了對重要細節(jié)的敏銳感知。

研究團隊發(fā)現(xiàn)，現(xiàn)有的視覺推理模型在這種"粗到細"的場景下表現(xiàn)不佳，主要原因在于它們采用的是"感知驅(qū)動推理"的方式。這些模型就像近視眼的偵探，必須看清楚物體的每一個細節(jié)才能進行推理。當圖像被壓縮到低分辨率時，許多關(guān)鍵物體變得模糊不清，導致模型無法準確定位目標區(qū)域。

為了解決這個問題，ERGO采用了一種全新的"推理驅(qū)動感知"策略。這種方法讓AI學會利用上下文信息進行推理，即使看不清具體物體也能找到正確位置。舉個例子，當AI無法在低分辨率圖像中清楚看到吸管時，它會通過推理"吸管通常出現(xiàn)在咖啡杯附近的桌子上"這樣的常識，來確定應該關(guān)注的區(qū)域。這就像一個經(jīng)驗豐富的偵探，即使證據(jù)不完整也能通過邏輯推理找到線索。

在實際驗證中，研究團隊通過一個巧妙的實驗證明了這種方法的有效性。他們使用知名的Qwen2.5-VL模型在V*基準測試上進行評估，發(fā)現(xiàn)當把原始的高分辨率圖像中與任務相關(guān)的關(guān)鍵區(qū)域直接提供給模型時，即使在像素受限的條件下，模型的表現(xiàn)仍然能夠達到77.0分的高水平。這個發(fā)現(xiàn)表明，關(guān)鍵在于找到正確的區(qū)域，而不是處理整張圖像的每一個像素。

然而，讓AI自動識別這些關(guān)鍵區(qū)域并非易事。研究團隊測試了現(xiàn)有的"圖像思維"模型，發(fā)現(xiàn)它們在低分辨率輸入條件下很難準確預測目標區(qū)域的位置。這些模型就像習慣了高清晰度顯微鏡的科學家，當只能使用普通放大鏡時就變得束手無策。

ERGO的核心創(chuàng)新在于其精心設(shè)計的獎勵機制，這個機制通過強化學習的方式訓練AI模型。整個訓練過程就像教導一個學生如何高效地閱讀教科書。系統(tǒng)首先接收原始圖像和問題，然后預測一個包含相關(guān)信息的邊界框區(qū)域。接下來，系統(tǒng)會裁剪出這個區(qū)域的高分辨率版本，并基于這個裁剪圖像生成最終答案。

這個獎勵機制包含三個核心組件，每個都有特定的教育目標。第一個是區(qū)域驗證獎勵，它確保AI選擇的區(qū)域確實包含了回答問題所需的所有信息。這就像檢查學生畫的重點標記是否真的涵蓋了考試要點。關(guān)鍵的是，這個驗證過程只使用裁剪后的區(qū)域圖像，不依賴原始完整圖像，這樣可以確保選擇的區(qū)域是"自給自足"的。

第二個組件是邊界框調(diào)整獎勵，它防止AI采用"偷懶"策略——總是選擇整張圖像作為關(guān)鍵區(qū)域。就像老師會限制學生在教科書上畫重點的范圍一樣，這個機制鼓勵AI選擇盡可能小而精準的區(qū)域。研究團隊通過分析多個數(shù)據(jù)集發(fā)現(xiàn)，大多數(shù)與問題答案相關(guān)的區(qū)域?qū)嶋H上占據(jù)整張圖像面積的60%以下，因此他們將這個閾值設(shè)定為0.6。

第三個組件是任務驅(qū)動的上下文探索獎勵，它將前兩個組件結(jié)合起來，形成一個平衡的訓練目標。這種設(shè)計讓AI學會在準確性和效率之間找到最佳平衡點。

除了這些核心獎勵，ERGO還使用了兩個輔助獎勵來完善訓練過程。準確性獎勵確保AI最終能夠正確回答問題，而格式獎勵則確保AI的輸出符合預期的結(jié)構(gòu)化格式，包括正確使用特定的標簽來標記思考過程、最終答案和區(qū)域選擇操作。

在訓練算法方面，ERGO采用了分組獎勵策略優(yōu)化（GRPO）框架，這是一種在分組反饋設(shè)置下特別高效的強化學習方法。整個訓練過程就像組織一個學習小組，讓多個AI"學生"同時練習同一個問題，然后根據(jù)它們的集體表現(xiàn)來調(diào)整學習策略。

為了驗證ERGO的有效性，研究團隊進行了全面的實驗評估。他們選擇了Qwen2.5-VL-7B-Instruct作為基礎(chǔ)模型，并使用更大的Qwen2.5-VL-72B-Instruct作為獎勵模型來提供訓練信號。訓練數(shù)據(jù)包括V*訓練集和ArxivQA數(shù)據(jù)集的子集，訓練過程在4個H100 GPU上進行，總共需要約150個GPU小時。

實驗結(jié)果令人印象深刻。在像素受限的場景下，ERGO在多個高分辨率視覺問答基準測試中都顯著超越了現(xiàn)有方法。特別是在V*基準測試中，當使用640×28×28的像素限制時，ERGO達到了81.7分，而原始的Qwen2.5-VL-7B模型在16384×28×28像素條件下只能達到77.0分。更重要的是，ERGO只使用了1025個視覺標記，而原始模型需要4471個標記，這意味著在提高準確性的同時實現(xiàn)了超過4倍的效率提升。

在實際應用性能方面，研究團隊使用生產(chǎn)級的vLLM推理引擎在單個H100 GPU上進行了延遲測試。結(jié)果顯示，ERGO在V*基準測試上不僅準確率從77.0分提升到81.7分，而且平均推理時間從4.89秒縮短到1.61秒，實現(xiàn)了約3倍的速度提升。這種實際的性能改進證明了ERGO不僅在理論上有效，在實際部署中也具有顯著優(yōu)勢。

研究團隊還進行了深入的分析實驗來理解ERGO成功的原因。他們設(shè)計了一個目標對象遮蓋實驗，通過人為遮擋圖像中的關(guān)鍵物體來測試模型利用上下文信息的能力。結(jié)果顯示，ERGO在目標對象被完全遮蓋的情況下仍能保持較高的性能，這證明了它確實學會了通過推理來定位相關(guān)區(qū)域，而不是簡單地依賴視覺特征。

為了驗證邊界框調(diào)整常數(shù)的有效性，研究團隊分析了ERGO在不同數(shù)據(jù)集上預測的區(qū)域大小分布。結(jié)果表明，ERGO能夠根據(jù)不同數(shù)據(jù)集的特點靈活調(diào)整區(qū)域大小，而不是被訓練常數(shù)固化為某種特定的選擇模式。這種適應性證明了ERGO學到的是真正的推理能力，而不是簡單的模式記憶。

在傳統(tǒng)多模態(tài)基準測試上的評估顯示，ERGO不僅保持了基礎(chǔ)模型的原有能力，在某些任務上還實現(xiàn)了改進。這表明ERGO的訓練過程增強了模型在語義相關(guān)區(qū)域進行推理的能力，這種能力的提升對各種視覺任務都有幫助。

通過詳細的消融實驗，研究團隊證明了每個獎勵組件的重要性。特別值得注意的是，僅使用任務驅(qū)動上下文探索獎勵訓練的模型，即使從未顯式訓練過回答問題的能力，也能超越僅使用準確性獎勵訓練的模型。這個發(fā)現(xiàn)強調(diào)了高質(zhì)量區(qū)域選擇在粗到細推理流程中的核心重要性。

ERGO的成功不僅在于其技術(shù)創(chuàng)新，更在于它代表了一種新的AI視覺理解范式。傳統(tǒng)的方法試圖讓AI看得更清楚，而ERGO教會了AI如何更聰明地看。這種轉(zhuǎn)變就像從改進放大鏡的清晰度轉(zhuǎn)向培養(yǎng)觀察者的洞察力，前者需要更多的硬件資源，后者則通過智能算法實現(xiàn)突破。

從更廣闊的視角來看，ERGO技術(shù)的意義遠不止于提高計算效率。它展示了人工智能如何通過模仿人類的認知策略來解決復雜問題。人類在處理視覺信息時天然具備這種"粗到細"的注意力機制，我們首先快速掃描整體場景，然后將注意力集中在重要區(qū)域進行詳細觀察。ERGO成功地將這種認知策略編碼到AI系統(tǒng)中，這為開發(fā)更加類人化的AI視覺系統(tǒng)指明了方向。

這項研究也揭示了當前AI視覺模型的一個根本局限性。許多現(xiàn)有模型過分依賴清晰的視覺特征進行推理，缺乏利用常識和上下文信息的能力。ERGO通過強化學習訓練出了這種推理能力，表明AI系統(tǒng)可以學會更加靈活和智能的視覺理解策略。

在實際應用前景方面，ERGO技術(shù)可能會對多個領(lǐng)域產(chǎn)生重要影響。在移動設(shè)備上運行的AI應用中，計算資源和電池續(xù)航都是寶貴的，ERGO的高效性使得復雜的視覺AI功能在手機和平板電腦上變得更加可行。在自動駕駛系統(tǒng)中，實時性要求極高，ERGO的快速推理能力可能有助于提高系統(tǒng)的響應速度。在醫(yī)療影像分析中，AI通常需要在大尺寸的醫(yī)學圖像中尋找特定的病理特征，ERGO的精準定位能力可能會提高診斷效率和準確性。

當然，ERGO技術(shù)也存在一些潛在的局限性和改進空間。當前的實現(xiàn)仍然依賴于人工標注的訓練數(shù)據(jù)，這在一定程度上限制了其泛化能力。未來的研究可能需要探索如何讓AI系統(tǒng)自主學習更好的區(qū)域選擇策略，減少對人工標注數(shù)據(jù)的依賴。此外，現(xiàn)有的邊界框機制相對簡單，可能無法完美適應所有類型的視覺推理任務，未來可能需要開發(fā)更加靈活的注意力機制。

說到底，ERGO代表了AI視覺理解領(lǐng)域的一個重要進步。它不是簡單地提高AI的"視力"，而是教會了AI如何更智能地"觀察"。這種從硬件依賴向算法智能的轉(zhuǎn)變，不僅提高了系統(tǒng)效率，也為AI技術(shù)的普及和應用開辟了新的可能性。對于普通用戶而言，這意味著未來的AI視覺應用可能會變得更快、更省電，同時保持甚至提高準確性。無論是手機攝影中的智能場景識別，還是視頻會議中的實時背景分析，ERGO這樣的技術(shù)都可能在幕后默默改善我們的數(shù)字生活體驗。

這項研究的成功也提醒我們，有時候最好的解決方案不是讓機器變得更強大，而是讓它們變得更聰明。正如人類通過學習和經(jīng)驗積累來提高處理復雜任務的效率一樣，AI系統(tǒng)也可以通過巧妙的算法設(shè)計學會更加高效的工作方式。ERGO技術(shù)的出現(xiàn)，為這種"智能優(yōu)于蠻力"的AI發(fā)展理念提供了一個令人信服的例證。

Q&A

Q1：ERGO技術(shù)的核心工作原理是什么？它如何實現(xiàn)高效的圖像處理？

A：ERGO采用"粗到細"的兩階段處理方式。首先用低分辨率圖像快速定位關(guān)鍵區(qū)域，就像鳥瞰森林找到重要位置，然后只對這些區(qū)域進行高分辨率分析。這樣既節(jié)省計算資源又保持準確性，比傳統(tǒng)方法效率提升3-4倍。

Q2：ERGO與傳統(tǒng)AI視覺模型有什么本質(zhì)區(qū)別？

A：傳統(tǒng)模型采用"感知驅(qū)動推理"，必須看清每個細節(jié)才能分析，就像近視眼偵探必須湊近看。ERGO使用"推理驅(qū)動感知"，通過上下文和常識推理找到目標位置，即使看不清具體物體也能準確定位，更像經(jīng)驗豐富的偵探。

Q3：ERGO技術(shù)在實際應用中有哪些優(yōu)勢和潛在影響？

A：ERGO能顯著提高AI視覺應用的效率和速度，使復雜功能在手機等移動設(shè)備上更可行。在自動駕駛、醫(yī)療影像分析、智能攝影等領(lǐng)域都有應用前景，能讓AI視覺應用變得更快、更省電，同時保持高準確性。